WO2022168721A1 - 撮像装置および撮像方法 - Google Patents

撮像装置および撮像方法 Download PDF

Info

Publication number
WO2022168721A1
WO2022168721A1 PCT/JP2022/003026 JP2022003026W WO2022168721A1 WO 2022168721 A1 WO2022168721 A1 WO 2022168721A1 JP 2022003026 W JP2022003026 W JP 2022003026W WO 2022168721 A1 WO2022168721 A1 WO 2022168721A1
Authority
WO
WIPO (PCT)
Prior art keywords
signature
data
signature data
image data
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2022/003026
Other languages
English (en)
French (fr)
Inventor
久美子 馬原
徹 秋下
弘毅 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to JP2022579490A priority Critical patent/JPWO2022168721A1/ja
Priority to EP22749595.9A priority patent/EP4290855A4/en
Priority to US18/260,716 priority patent/US20240056310A1/en
Priority to CN202280008361.3A priority patent/CN116803092A/zh
Publication of WO2022168721A1 publication Critical patent/WO2022168721A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3247—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials involving digital signatures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0816—Key establishment, i.e. cryptographic processes or cryptographic protocols whereby a shared secret becomes available to two or more parties, for subsequent use
    • H04L9/0819—Key transport or distribution, i.e. key establishment techniques where one party creates or otherwise obtains a secret value, and securely transfers it to the other(s)
    • H04L9/0825—Key transport or distribution, i.e. key establishment techniques where one party creates or otherwise obtains a secret value, and securely transfers it to the other(s) using asymmetric-key encryption or public key infrastructure [PKI], e.g. key signature or public key certificates
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8352—Generation of protective data, e.g. certificates involving content or source identification data, e.g. Unique Material Identifier [UMID]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/705—Pixels for depth measurement, e.g. RGBZ

Definitions

  • the present disclosure relates to an imaging device and an imaging method.
  • Patent Literature 1 describes an image sensor that outputs signature information in association with image information.
  • RAW data can be proven to be true based on the attached signature data. Therefore, by comparing a processed image obtained by performing image processing on the RAW data and an image based on the RAW data outside the sensor, it is possible to determine whether or not the processed image has been tampered with.
  • RAW data and its signature for indicating that the processed image has not been tampered with are stored together with the processed image.
  • the common key method which uses a common key for encryption and decryption, is an encryption method for preventing tampering because the image checking side has the same key as the sensor side. inappropriate.
  • the public key cryptosystem is suitable as an encryption system for falsification because different keys are used on the sensor side and the confirmation side.
  • the public key cryptosystem takes a long time to encrypt compared to the common key cryptosystem. Therefore, for example, when the authentication method described above is applied to a moving image and the signature is encrypted using the public key cryptosystem, the frame rate of the moving image may limit the processing time of the signature.
  • An object of the present disclosure is to provide an imaging device and an imaging method capable of outputting a moving image whose authenticity can be verified while suppressing the impact on the frame rate.
  • An imaging device includes a plurality of pixels that are arranged in a matrix arrangement and each generates a pixel signal corresponding to light received by exposure, and image data based on each of the pixel signals generated by the plurality of pixels. , a pixel array unit that outputs in a frame cycle, a signature generation unit that generates signature data based on image data, and an output control unit that controls output of the image data and the signature data, the signature generation unit having a frame cycle
  • the image data output from is thinned out in thinning units based on the frame period to generate signature data.
  • FIG. 10 is a schematic diagram showing an example of fake image generation by an existing technique
  • FIG. 10 is a schematic diagram showing an example of fake image generation by an existing technique
  • FIG. 2 is a schematic diagram schematically showing a configuration example of a camera using a sensor that adds signature data to image data and outputs the image data according to an existing technique
  • FIG. 3 is a schematic diagram showing an example of RAW data and signature data output from a sensor according to existing technology
  • FIG. 10 is a diagram for explaining a method of outputting signature data generated based on a moving image according to existing technology
  • FIG. 10 is a diagram for explaining a method of outputting signature data generated based on a moving image according to existing technology
  • 1 is a block diagram showing an example configuration of a camera applicable to each embodiment
  • FIG. 3 is a block diagram showing an example configuration of a pixel array unit applicable to each embodiment;
  • FIG. It is a figure which shows the example which formed the pixel array part which concerns on each embodiment by the lamination type CIS of a two-layer structure. It is a figure which shows the example which formed the pixel array part which concerns on each embodiment by the lamination-type CIS of a 3-layer structure.
  • FIG. 4 is a diagram schematically showing a first example of an output format of moving image data applicable to each embodiment;
  • FIG. 7 is a diagram schematically showing a second example of an output format of moving image data applicable to each embodiment;
  • FIG. 7 is a diagram schematically showing a second example of an output format of moving image data applicable to each embodiment; It is a block diagram showing roughly the composition of the camera concerning each embodiment. BRIEF DESCRIPTION OF THE DRAWINGS It is a schematic diagram for demonstrating the outline
  • FIG. 7 is a diagram for explaining a method of outputting signature data generated based on a moving image according to the embodiment;
  • FIG. 5 is a schematic diagram for explaining the timing at which a signature processing unit executes signature data generation and encryption processing, which is applicable to each embodiment.
  • 1 is a block diagram showing an example configuration of a sensor according to a first embodiment;
  • FIG. FIG. 4 is a diagram for explaining a method of outputting signature data in the sensor according to the first embodiment;
  • FIG. 4 is a diagram showing a first example of output positions of signature data applicable to the first embodiment
  • FIG. 10 is a diagram showing a second example of output positions of signature data applicable to the first embodiment
  • FIG. 10 is a diagram illustrating a third example of output positions of signature data applicable to the first embodiment
  • FIG. 11 is a diagram for explaining an outline of a second embodiment
  • FIG. 10 is a block diagram showing an example configuration of a sensor according to the first specific example of the second embodiment
  • FIG. 11 is a diagram showing an example of a signature data calculation completion notification method according to the first specific example of the second embodiment
  • FIG. 11 is a block diagram showing an example configuration of a sensor according to a second specific example of the second embodiment
  • FIG. 12 is a diagram showing an example of a signature data calculation completion notification method according to a second specific example of the second embodiment
  • FIG. 10 is a diagram showing an example of generation and output of signature data according to the third embodiment
  • FIG. 12 is a diagram showing a usage example using a camera to which the above-described first, second and third embodiments are applicable, according to a fourth embodiment
  • 1 is a block diagram showing a schematic configuration example of a vehicle control system, which is an example of a mobile body control system to which technology according to the present disclosure may be applied
  • FIG. FIG. 4 is a diagram showing an example of an installation position of an imaging unit
  • Figures 1 and 2 are schematic diagrams showing examples of fake image generation using existing technology.
  • an image 301 that hides the lower half of an original image 300 is created, and based on this image 301, the lower half is predicted to generate an image 302a (fake image a) or a different image from the image 302a.
  • a technique for generating an image 302b (fake image b) is known.
  • a method is known in which a signature is added to the captured image, which is the original image, inside the sensor that acquires the captured image.
  • FIG. 3A is a schematic diagram schematically showing a configuration example of a camera using a sensor that adds signature data to image data and outputs it, according to existing technology.
  • camera 2000 includes sensor 2100 and image processor 2120 .
  • the sensor 2100 includes a pixel array section 2110 and a signature processing section 2111, and is composed of, for example, one semiconductor chip (or a plurality of bonded semiconductor chips).
  • the pixel array section 2110 includes a plurality of pixels that generate pixel signals according to the received light, and obtains image data in units of frames.
  • the image data acquired here is unprocessed data in which pixel data based on pixel signals is not subjected to demosaic processing or the like.
  • RAW data acquired by the pixel array unit 2110 is output from the interface 2101 according to the frame period.
  • a signature processing unit 2111 generates signature data based on the RAW data acquired by the pixel array unit 2110 .
  • the signature data generated by the signature processing unit 2111 is encrypted by a predetermined encryption method, and output from the interface 2101 in association with the corresponding RAW data.
  • the signature data generated in the sensor 2100 is added to the RAW data output from the interface 2101, it is possible to prove that the RAW data is genuine (not falsified). For example, based on the RAW data output from the sensor 2100, signature data is generated in the same manner as the signature processing unit 2111, and when the generated signature data matches the signature data output from the sensor 2100, the RAW data It can prove that the data is genuine (not tampered with) RAW data.
  • the RAW data and signature data output from the sensor 2100 are supplied to the image processing unit 2120.
  • the image processing unit 2120 compresses and encodes the supplied RAW data using a moving picture compression method such as the MPEG (Moving Picture Experts Group) method. Compression-encoded MPEG data, for example, is output to the outside of the camera 2000 .
  • MPEG Motion Picture Experts Group
  • FIG. 3B is a schematic diagram showing an example of RAW data and signature data output from the sensor 2100 according to existing technology. As shown in FIG. 3B, RAW data 2201 and encrypted signature data 2202 are output for each frame according to the frame period.
  • Common key cryptography and public key cryptography are examples of typical encryption schemes that can be applied to encrypt the signature data 2202 .
  • DES Data Encryption Standard
  • common key cryptosystem for example, operations equivalent to transposition and substitution that change according to the bit string of the encryption key, and exclusive logic for the data to be encrypted (plaintext) Encrypt the plaintext by repeating the operation with the sum (XOR).
  • XOR exclusive logic for the data to be encrypted
  • the computational load is relatively small, but since a common key is used for encryption and decryption, the side checking the image has the same key as the sensor side. It is inappropriate as an encryption method.
  • the public key cryptosystem is suitable as an encryption system for falsification because different keys are used on the sensor side and the confirmation side.
  • the plaintext P is encrypted into the ciphertext C by the following equation (1).
  • Equation (1) is based on RSA (Rivest-Shamir-Adleman) encryption, which is one of public key cryptosystems.
  • the value N is the product of two large prime numbers that are different from each other, and "mod N" represents the remainder modulo the value N.
  • the value E is an arbitrarily chosen positive integer. A set of value E and value N is used as a public key.
  • C P E mod N (1)
  • the plaintext P is multiplied by a large value E to the power of E, and the remainder by the value N is calculated to obtain the ciphertext C. Therefore, compared with the encryption processing by the above-mentioned common key cryptosystem, the calculation load in encryption is very large, and encryption takes a long time.
  • FIGS. 4A and 4B are diagrams for explaining a method of outputting signature data generated based on a moving image according to existing technology.
  • [FS] and [FE] are lines including flags indicating frame start and frame end, respectively.
  • [EBD] is a line containing a flag indicating embedded data. Multiple sets of [FS] and [FE] can be output in one frame period.
  • [BLK] indicates a line with blank data.
  • a signal Fsync indicates a frame synchronization signal and indicates passage of time in the right direction.
  • FIG. 4A schematically shows an example of outputting signature data Sig for each frame of a moving image.
  • the signature processing unit 2111 After reading one frame of image data (RAW data) from the pixel array unit 2110, the signature processing unit 2111 starts an operation for generating signature data based on the read image data.
  • the signature data Sig is output for each frame by outputting the signature data Sig within the same frame period as the original image data.
  • the signature data generation calculation by the signature processing unit 2111 includes the encryption calculation based on the above equation (1). , tens [msec (milliseconds)]. When the frame rate is 60 [fps (frames per second)], one frame period is approximately 16.7 [msec]. Therefore, when the signature data generation operation is started after the image data is read from the pixel array unit 2110, it is extremely difficult to output the signature data Sig within the same frame period as the image data. If it is necessary to output the signature data Sig in the same frame period as the reading of the image data, for example, it is necessary to reduce the frame rate or parallelize the processor.
  • FIG. 4B schematically shows an example in which a frame for reading image data and a frame for outputting signature data Sig based on the image data are different.
  • the signature processing unit 2111 starts signature data generation processing after image data is read out from the pixel array unit 2110, and generates signature data after the image data period of the next frame after the image data is read out. It outputs the signature data Sig.
  • the signature data Sig can be output without failure.
  • this method may complicate the management of the signature data Sig that is output with a delay for each frame.
  • the frame rate is increased to 120 [fps] and 240 [fps]
  • the frame rate is increased, the length of one frame period may become less than the time required for the signature processing unit 2111 to generate signature data. may become bulky.
  • signature data is output every few frames of image data. As a result, it is possible to secure a sufficient amount of time from when the image data is output from the pixel array section in the sensor until when the signature data is output. In addition, it is possible to cope with the increase in frame rate by adjusting the interval of outputting the signature data.
  • FIG. 5 is a block diagram showing an example configuration of a camera applicable to each embodiment.
  • camera 10 includes host device 20 and sensor 100 .
  • the host device 20 includes an image processing section 120 .
  • the sensor 100 includes a pixel array section 101 , a sensor control section 110 and a signature processing section 1000 .
  • the sensor control unit 110 includes, for example, a processor and memory, and controls the operation of the entire sensor 100 according to a program stored in the memory.
  • the pixel array unit 101 includes a plurality of pixels arranged in a matrix and each of which generates a pixel signal corresponding to the light received by exposure, and acquires image data based on each of the pixel signals generated by the plurality of pixels. .
  • the pixel array unit 101 can acquire image data in frame cycles.
  • the image data acquired by the pixel array unit 101 is unprocessed RAW data.
  • the signature processing unit 1000 generates signature data based on the RAW data acquired by the pixel array unit 101 under the control of the sensor control unit 110, for example.
  • RAW data acquired by the pixel array unit 101 in frame cycles is supplied to the image processing unit 120 included in the host device 20 .
  • the image processing unit 120 performs predetermined image processing on the supplied RAW data to generate visible moving image data.
  • the image processing unit 120 compresses and encodes the generated visible moving image data using a moving image compression encoding method such as the MPEG (Moving Picture Experts Group) method.
  • the image processing unit 120 outputs the compressed moving image data obtained by compressing and encoding the moving image data to the outside of the camera 10 via a predetermined interface as output moving image data.
  • the output video data output from the camera 10 is supplied to, for example, the display device 30 and displayed.
  • the host device 20 includes the image processing unit 120 described above, and has, for example, a CPU (Central Processing Unit), a memory, and a predetermined interface, and gives instructions to the sensor 100 .
  • the host device 20 is connected to the sensor 100 via a predetermined communication interface such as I 2 C (Inter-Integrated Circuit) or SPI (Serial Peripheral Interface).
  • the host device 20 can give instructions to the camera 10 via this communication interface.
  • the host device 20 can further have a communication interface capable of communicating with the outside of the camera 10 .
  • the camera 10 according to each embodiment can be applied to surveillance purposes such as surveillance cameras and drive recorders. Not limited to this, the camera 10 according to each embodiment can also be applied to a camera mounted on a smart phone or a general video camera. Note that the uses of the camera 10 according to each embodiment are not limited to these.
  • FIG. 6 is a block diagram showing an example configuration of the pixel array unit 101 applicable to each embodiment.
  • the pixel array section includes a pixel array 102 , a vertical scanning section 400 , a horizontal scanning/AD conversion section 402 and a control section 401 .
  • the pixel array 102 includes a plurality of pixels 103 each having an imaging element that generates a voltage according to the received light.
  • a photodiode can be used as the imaging device.
  • a plurality of pixels 103 are arranged in rows and columns in the horizontal direction (row direction) and vertical direction (column direction).
  • the arrangement of the pixels 103 in the row direction is called a line.
  • One frame of image (image data) is formed based on pixel signals read from a predetermined number of lines in the pixel array 102 . For example, when an image of one frame is formed by 3000 pixels ⁇ 2000 lines, the pixel array 102 includes at least 2000 lines each including at least 3000 pixels 103 .
  • an area including pixels 103 used to form an image of one frame is called an effective pixel area.
  • Image data formed in the pixel array 102 is RAW data.
  • a pixel signal line HCTL is connected to each row and column of each pixel 103, and a vertical signal line VSL is connected to each column.
  • the ends of the pixel signal lines HCTL that are not connected to the pixel array 102 are connected to the vertical scanning unit 400 .
  • the vertical scanning unit 400 transmits a plurality of control signals such as drive pulses for reading out pixel signals from the pixels 103 to the pixel array 102 via the pixel signal lines HCTL according to control signals supplied from the control unit 401, for example.
  • the ends of the vertical signal lines VSL that are not connected to the pixel array 102 are connected to the horizontal scanning/AD conversion unit 402 .
  • the horizontal scanning/AD conversion unit 402 includes an AD (Analog to Digital) conversion unit, an output unit, and a signal processing unit.
  • a pixel signal read from the pixel 103 is transmitted to the AD conversion unit of the horizontal scanning/AD conversion unit 402 via the vertical signal line VSL.
  • a pixel signal is read out from the pixel 103 by transferring the charge accumulated in the image sensor due to exposure to a floating diffusion layer (FD) and converting the transferred charge into a voltage in the floating diffusion layer.
  • FD floating diffusion layer
  • a voltage resulting from charge conversion in the floating diffusion layer is output to the vertical signal line VSL via an amplifier.
  • the floating diffusion layer and the vertical signal line VSL are connected according to the selection signal supplied through the pixel signal line HCTL. Furthermore, the floating diffusion layer is connected to the power supply voltage VDD or the black level voltage supply line for a short period of time in response to a reset pulse supplied through the pixel signal line HCTL to reset the floating diffusion layer.
  • a reset level voltage (referred to as voltage P) of the floating diffusion layer is output to the vertical signal line VSL.
  • a transfer pulse supplied through the pixel signal line HCTL turns on (closes) the state between the imaging element and the floating diffusion layer, thereby transferring the charges accumulated in the imaging element to the floating diffusion layer.
  • a voltage (referred to as voltage Q) corresponding to the amount of charge in the floating diffusion layer is output to the vertical signal line VSL.
  • the AD conversion unit includes an AD converter provided for each vertical signal line VSL, and pixel signals supplied from the pixels 103 via the vertical signal line VSL are converted by the AD converter.
  • AD conversion processing is performed to generate two digital values (values corresponding to voltage P and voltage Q, respectively) for correlated double sampling (CDS) processing for noise reduction.
  • CDS correlated double sampling
  • the two digital values generated by the AD converter are subjected to CDS processing by the signal processing unit to generate pixel signals (pixel data) as digital signals.
  • the generated pixel data is output from the pixel array section.
  • the horizontal scanning/AD conversion unit 402 Under the control of the control unit 401, the horizontal scanning/AD conversion unit 402 performs selective scanning for selecting the AD converter for each vertical signal line VSL in a predetermined order. It sequentially outputs each digital value stored in the signal processing unit.
  • the horizontal scanning/AD conversion unit 402 realizes this operation by a configuration including, for example, a shift register and an address decoder.
  • the control unit 401 controls the driving of the vertical scanning unit 400, the horizontal scanning/AD conversion unit 402, etc. according to the control signal supplied from the sensor control unit 110, for example.
  • the control unit 401 generates various drive signals that serve as references for the operations of the vertical scanning unit 400 and the horizontal scanning/AD conversion unit 402 .
  • the vertical scanning unit 400 supplies the signal to each pixel 103 via the pixel signal line HCTL.
  • Generate a control signal for The control section 401 supplies the generated control signal to the vertical scanning section 400 .
  • the control unit 401 may be part of the functions of the sensor control unit 110 .
  • the vertical scanning unit 400 Based on the control signal supplied from the control unit 401, the vertical scanning unit 400 supplies various signals including drive pulses to the pixel signal line HCTL of the pixel row selected in the pixel array 102 to each pixel 103 line by line. , to output a pixel signal from each pixel 103 to the vertical signal line VSL.
  • the vertical scanning unit 400 is configured using, for example, shift registers and address decoders.
  • the pixel array section configured in this manner is a column AD type CMOS (Complementary Metal Oxide Semiconductor) image sensor in which an AD converter is arranged for each column.
  • CMOS Complementary Metal Oxide Semiconductor
  • the pixel array section 101 can apply a CMOS image sensor (CIS) in which each section included in the pixel array section 101 is integrally formed using CMOS (Complementary Metal Oxide Semiconductor).
  • CMOS Complementary Metal Oxide Semiconductor
  • the pixel array section 101 can be formed on one substrate.
  • the pixel array section 101 is not limited to this, and may be a laminated CIS in which a plurality of semiconductor chips are laminated and integrally formed.
  • the pixel array unit 101 is not limited to this example, and may be another type of optical sensor such as an infrared light sensor that performs imaging using infrared light.
  • the pixel array section 101 can be formed by a stacked CIS having a two-layer structure in which semiconductor chips are stacked in two layers.
  • FIG. 7A is a diagram showing an example in which the pixel array section 101 according to each embodiment is formed by a laminated CIS having a two-layer structure.
  • the pixel section 3020a is formed in the semiconductor chip of the first layer
  • the memory+logic section 3020b is formed in the semiconductor chip of the second layer.
  • the pixel section 3020 a includes at least the pixel array 102 in the pixel array section 101 .
  • the memory+logic unit 3020b can include, for example, a vertical scanning unit 400, a control unit 401, a horizontal scanning/AD conversion unit 402, and a signature processing unit 1000.
  • the memory+logic unit 3020b may further include a memory for storing image data such as RAW data.
  • the pixel array section 101 is configured as one solid-state imaging device by bonding the semiconductor chips of the first layer and the semiconductor chips of the second layer in electrical contact with each other. .
  • the pixel array section 101 can be formed with a three-layer structure in which semiconductor chips are stacked in three layers.
  • FIG. 7B is a diagram showing an example in which the pixel array section 101 according to each embodiment is formed by a laminated CIS having a three-layer structure.
  • the pixel section 3020a is formed in the semiconductor chip of the first layer
  • the memory section 3020c is formed in the semiconductor chip of the second layer
  • the logic section 3020d is formed in the semiconductor chip of the third layer.
  • the logic unit 3020d can include a vertical scanning unit 400, a control unit 401, a horizontal scanning/AD conversion unit 402, and a signature processing unit 1000, for example.
  • the memory unit 3020c can include a memory for storing image data such as RAW data.
  • the first layer semiconductor chip, the second layer semiconductor chip, and the third layer semiconductor chip are bonded while being in electrical contact with each other, thereby forming the pixel array section 101. It is configured as one solid-state imaging device.
  • FIG. 8 is a diagram schematically showing a first example of a moving image data output format applicable to each embodiment.
  • section (a) shows the data arrangement for one frame of moving image data according to the format of the first example.
  • the horizontal direction corresponds to the row direction (line)
  • the vertical direction corresponds to the column direction
  • XVS indicates a vertical synchronizing signal
  • XHS indicates a horizontal synchronizing signal.
  • the left side of the drawing indicates the head side of the line. That is, the moving image data is output line by line from left to right in the drawing, and each line is output from top to bottom in the drawing.
  • a field [Start Code] and a field [Packet Header] are arranged from the beginning.
  • a field [Start Code] indicates the beginning of each line.
  • the field [Packet Header] will be described later.
  • a data field is placed following the field [Packet Header].
  • the data fields are arranged in the order of field [Blanking Data], field [Embedded Data], field [Pixel Data], and field [Blanking Data] from the top of the frame.
  • the field [Pixel Data] is a field in which each pixel data in a moving image of one frame is output line by line. Also, the two fields [Blanking Data] correspond to the vertical blanking period of moving image data.
  • the field [Embedded Data] is a field in which arbitrary data can be embedded.
  • the field [End Code], the field [Deskew Code], and the field [Idle Code] are arranged.
  • the field [End Code] indicates the end of each line.
  • the field [Deskew Code] is a field for packet synchronization.
  • the field [Idle Code] corresponds to the horizontal ranking period of each line.
  • Section (b) of FIG. 8 shows in more detail the contents of the field [Packet Header] shown in section (a).
  • the field [Packet Header] is assigned a data size of 48 bits from the 0th bit to the 47th bit, and stores information indicating the line corresponding to the field [Packet Header].
  • the 47th bit stores a flag [FS] indicating the frame start.
  • the 46th bit stores a flag [FE] indicating the frame end.
  • the 45th bit stores a flag [Valid] indicating that the line is valid.
  • the line number [Line Number] of the line is stored in the 44th to 32nd bits.
  • a flag [EBD] indicating embedded data is stored in the 31st bit.
  • Identification information [ID] indicating the type of the line is stored in the 30th to 27th bits. Bits 26 to 0 are reserved areas (RESERVE).
  • identification information [ID] can be used to indicate that the line is related to signature data Sig.
  • MIPI Mobile Industry Processor Interface
  • 9A and 9B are diagrams schematically showing a second example of the output format of moving image data applicable to each embodiment.
  • MIPI registered trademark
  • MIPI defines a long packet and a short packet as data formats for output data. It should be noted that in FIGS. 9A and 9B, the left side is the leading side of the data.
  • FIG. 9A shows a data format by long packets in MIPI (registered trademark).
  • the upper part of FIG. 9A shows the packet structure.
  • a long packet starts with a 4-byte packet header [PH], followed by n-byte payload data (Payload Data), and ends with a 4-byte packet footer [PF].
  • Payload data is the main part of the data transferred by this packet, and image data and signature data can be applied.
  • FIG. 9A shows the contents of the packet header [PH].
  • a 1-byte data identifier [DI] In the packet header [PH], a 1-byte data identifier [DI], a 2-byte word count [WC], and a 1-byte error correction code [ECC] are arranged in order from the top.
  • the lower part of FIG. 9A shows the contents of the data identifier [DI].
  • a virtual channel [VC] and a data type [DT] are arranged in order from the top.
  • FIG. 9B shows a data format by short packets in MIPI (registered trademark).
  • the upper part of FIG. 9B shows the packet structure. Thus, in short packets, only the packet header [PH] is defined.
  • the lower part of FIG. 9B shows the contents of the packet header [PH].
  • a 1-byte data identifier [DI] a 2-byte frame number or line number [FN/LN]
  • ECC error correction code
  • the data identifier [DI] can be used to indicate that the line is related to the signature data Sig.
  • FIG. 10A schematically shows the configuration of the camera 10 according to each embodiment.
  • the camera 10 includes a host device 20 and a sensor 100, similar to the camera 10 shown in FIG.
  • the host device 20 includes an image processing section 120 .
  • the sensor 100 also includes a pixel array section 101 and a signature processing section 1000 .
  • the sensor control unit 110 includes, for example, a processor and memory, and controls the operation of the sensor 100 according to programs stored in the memory.
  • the host device 20 also includes a CPU and memory, and controls the overall operation of the camera 10, such as giving instructions to the sensor 100, according to programs stored in the memory.
  • the sensor 100 generates the signature data 210 by the signature processing unit 1000 based on the image data (RAW data 200) acquired by the pixel array unit 101 in frame cycles.
  • the RAW data 200 acquired by the unit 101 is output from the interface 130 .
  • the signature data 210 and the RAW data 200 output from the interface 130 are supplied to the image processing section 120 .
  • the image processing unit 120 performs compression encoding processing on the supplied RAW data 200 and outputs output moving image data 230 based on the compression encoded RAW data 200 . Further, the image processing unit 120 outputs the signature data 210 generated based on the RAW data 200 before compression encoding in the output moving image data 230 as authentication data for the RAW data 200 .
  • FIG. 10B is a schematic diagram for explaining data output from the interface 130 of the sensor 100.
  • FIG. 10B the passage of time is shown in the right direction.
  • the signature processing unit 1000 generates signature data 210 for every n frames (n is an integer equal to or greater than 2) for the RAW data 200 output by the pixel array unit 101 at frame intervals.
  • the signature processing unit 1000 thins out the RAW data 200 output by the pixel array unit 101 in frame cycles, using (n ⁇ 1) frames as a thinning unit, and thins out the RAW data 200 in units of thinning to obtain signature data.
  • 210 is generated.
  • the signature processing unit 1000 generates the signature data 210 based on the RAW data 200 of the first frame Frame#1, for example. does not generate signature data 210 . That is, signature processing section 1000 generates signature data 210 by thinning out (n ⁇ 1) frames of frames Frame#2 to Frame#n.
  • the signature processing unit 1000 generates signature data 210 based on the RAW data 200 of the next frame Frame#(n+1), and from the next frame Frame#(n+2) to Frame#2n (not shown), Do not generate signature data 210 .
  • FIG. 11 is a diagram for explaining a method of outputting signature data 210 generated based on a moving image according to the embodiment.
  • signature processing section 1000 performs generation and encryption processing of signature data 210 based on image data #1 (RAW data) of first frame Frame #1. It should be completed within a period from the rear end of the output to the rear end of the n-th frame Frame#n at the longest. Therefore, the signature processing unit 1000 according to each embodiment can generate the signature data 210 in a sufficiently long time compared to the generation of the signature data by the existing technology described with reference to FIGS. 4A and 4B. can.
  • RAW data image data #1
  • the value n in FIG. 11, that is, the interval for generating the signature data 210 is not fixed, and can be set as appropriate to an interval at which the generation and encryption of the signature data 210 can be completed.
  • setting the value n to the register of the sensor 100 from the host device 20 is conceivable.
  • FIG. 12 is a schematic diagram for explaining the timing at which the signature processing unit 1000 generates and encrypts the signature data 210, which is applicable to each embodiment.
  • the passage of time is shown in the right direction, and the frame synchronization signal (signal Fsync), for example, processor processing in the sensor control unit 110, and output data from the interface 130 are shown from the top.
  • the frame synchronization signal signal Fsync
  • processing #1 indicates processing for the next frame, such as setting the operation mode.
  • Processing #2 indicates processing after acquisition of image data, such as exposure and white balance adjustment. These process #1 and process #2 are executed for each frame.
  • Processing #3 and processing #4 are processing other than processing #1 and processing #2, such as MAC (Memory Access Control) processing in register communication of sensor 100 and temperature calculation processing within sensor 100. Process #3 and process #4 are interrupt processes that are not executed for each frame.
  • MAC Memory Access Control
  • the sensor control unit 110 controls the signature processing unit 1000 to generate and encrypt the signature data 210 during periods P#1, P#2, . . . between these processes #1 to #4. do.
  • the senor outputs image data (RAW data 200) output from the pixel array unit 101 and encrypted signature data 210 generated based on the image data from one interface. For example.
  • FIG. 13 is a block diagram showing an example configuration of a sensor according to the first embodiment.
  • the sensor 100a includes a pixel array section 101, a signature processing section 1000a, an output interface (I/F) 104, and a communication/sensor control section 105a.
  • the communication/sensor control unit 105 communicates with the host device 20 via the interface 131 .
  • I 2 C Inter-Integrated Circuit
  • SPI Serial Peripheral Interface
  • I 3 C Inter Integrated Circuits
  • I 2 C Inter-Integrated Circuits
  • I 3 C Inter Integrated Circuits
  • the communication/sensor control unit 105 corresponds to the sensor control unit 110 in FIG. 10A, and includes, for example, a processor and a memory. control behavior.
  • the pixel array section 101 is shown to include a pixel array 102, a pixel control section 107, and an ADC (Analog to Digital Converter) .
  • the pixel control unit 107 corresponds to, for example, the vertical scanning unit 400 and the output unit in the horizontal scanning/AD conversion unit 402 shown in FIG.
  • the ADC 108 corresponds to the AD converter in the horizontal scanning/AD converter 402 shown in FIG.
  • the signature processing unit 1000a includes a data processing unit 1010 and a signature generation unit 1021.
  • RAW data 200 output from the pixel array unit 101 is input to the data processing unit 1010 .
  • the data processing unit 1010 performs predetermined data processing on the input RAW data 200 so that the image processing unit 120 (not shown) in the subsequent stage performs image processing.
  • the RAW data 200 processed by the data processing unit 1010 is supplied to the output I/F 104 and signature generation unit 1021 .
  • the signature generation unit 1021 generates signature data 210 based on the RAW data 200 supplied from the data processing unit 1010 .
  • the signature generation unit 1021 generates a hash value from the supplied RAW data 200 and uses the generated hash value as the signature data 210 .
  • the signature generation unit 1021 can use a value generated by another algorithm as the signature data 210 as long as the value can uniquely identify the RAW data 200 and is difficult to guess.
  • the signature generation unit 1021 encrypts the generated signature data 210 using a pre-stored private key in public key cryptography, and supplies the encrypted signature data 210 to the output I/F 104. .
  • the encrypted signature data 210 is simply referred to as "signature data 210".
  • FIG. 14 is a diagram for explaining a method of outputting the signature data 210 in the sensor 100a according to the first embodiment.
  • the signature data 210 is shown as signature data Sig.
  • the output I/F 104 outputs the signature data Sig generated based on the image data #1, which is RAW data, output in the first frame Frame#1, for example, in the nth frame. It is output sandwiched between the second [FS] and [FE] in frame #n after image data #n of #n.
  • the output I/F 104 functions as an output control unit that controls the output of the image data and the signature data Sig.
  • FIG. 15 is a diagram showing a first example of output positions of signature data Sig applicable to the first embodiment.
  • the first example shown in FIG. 15 corresponds to the output position of the signature data Sig in FIG. 14 described above. That is, the output I/F 104 converts the signature data Sig generated based on the image data #1 output in the first frame Frame#1 into a packet indicating the start and end of the frame Frame#n (SLVS-EC In this case, it is sandwiched between the second set [FS] and [FE]) and output.
  • the output I/F 104 makes the value of the identification information [ID] in the packet header of each line different between the area containing the signature data Sig and the area not containing the signature data Sig.
  • identification information [ID] [4'h1] in an area (line) containing signature data Sig
  • identification information [ID] [4'h1] in an area (line) not containing signature data Sig. [4'h0].
  • [4'h] indicates that the following number is a value represented by 4 bits.
  • VC] [2′h0].
  • [2'h] indicates that the following number is a value represented by 2 bits.
  • the value of the data type [DT] may indicate an area (line) containing the signature data Sig and an area (line) not containing the signature data Sig. For example, it is possible to switch between the virtual channel [VC] and the data type [DT] according to the configuration of the receiving side (for example, the host device 20) of the output from the sensor 100a.
  • FIG. 16 is a diagram showing a second example of the output position of signature data Sig applicable to the first embodiment.
  • an embedding area for storing the signature data Sig is provided in the frame.
  • the line can be made an embedding area in which predetermined data can be embedded.
  • the output I/F 104 puts the signature data Sig generated based on the image data #1 output in the first frame Frame#1 after the image data #n of the frame Frame#n. It is embedded in an embedding area provided for data Sig.
  • the signature data Sig obtained in the previous frame may be re-output. Also, if the frame for which the signature data Sig is not output is known, it is conceivable that nothing is done.
  • lines containing signature data Sig and lines not containing signature data Sig can be indicated by the value of virtual channel [VC] or data type [DT], as described above.
  • FIG. 17 is a diagram showing a third example of the output position of signature data Sig applicable to the first embodiment.
  • signature data Sig is output as line data by lines with different header information from lines of normal image data.
  • the value of the line number [Line Number] in the packet header [Packet Header] is different between lines containing signature data Sig and lines not containing signature data Sig.
  • the value of the virtual channel [VC] or the data type [DT] is made different between lines containing signature data Sig and lines not containing signature data Sig.
  • the timing of outputting the signature data Sig is the last frame of the thinning unit.
  • the signature data Sig generated based on the RAW data 200 output in the first frame is the n-th Output in frames.
  • the output timing of the signature data Sig is not limited to this example.
  • the output I/F 104 may output the signature data Sig in the frame following the last frame of the thinning unit. In this case, as indicated by the dotted arrow in FIG. 14, for example, output may be performed at the timing of [BLK] at the rear end of the next frame.
  • the output I/F 104 may output the signature data Sig in a frame corresponding to the timing when the computation of the signature data Sig is completed. In this case, the output I/F 104 outputs the signature data Sig from the frame next to the frame of the RAW data 200 corresponding to the signature data Sig to the end of (n ⁇ 1) frames in the thinning unit. will do.
  • the output I/F 104 may output the signature data Sig in a frame specified in advance based on the frame of the RAW data 200 corresponding to the signature data Sig.
  • the second embodiment is an example in which the sensor outputs image data (RAW data 200) output from the pixel array unit 101 and encrypted signature data 210 generated based on the image data from different interfaces. is.
  • RAW data 200 image data
  • encrypted signature data 210 generated based on the image data from different interfaces.
  • FIG. 18 is a diagram for explaining the outline of the second embodiment.
  • the configuration of the sensor 100a in FIG. 13 will be referred to.
  • the passage of time is shown to the right, and from the top, the frame synchronization signal (signal Fsync), the output data from the interface 133, the internal state of the signature processing unit 1000a (internal state), and the signature data by the signature processing unit 1000a.
  • the completion notification of the generation calculation and the output by the communication I/F (interface 131) are shown respectively.
  • the signature generation unit 1021 starts the calculation of signature data Sig generation (signature data Sig generation and encryption) based on the image data #1. be done.
  • signature data Sig generation signature data Sig generation and encryption
  • the signature generation unit 1021 notifies the communication/sensor control unit 105a of the completion of the operation at time t11 immediately after time t10 .
  • the signature data Sig is acquired by the host device 20 via the interface 131 at time t 12 after a predetermined time from time t 11 .
  • the process of embedding the signature data Sig into the output video data 230 output from the interface 130 becomes unnecessary, and the load on the output I/F 104 can be reduced. It becomes possible.
  • the signature generating unit 1021 can add information indicating the RAW data 200 corresponding to the generated signature data Sig to the generated signature data Sig.
  • the communication/sensor control unit 105a may add information indicating the RAW data 200 to the signature data Sig.
  • the generated signature data Sig is stored in a storage unit such as a register of the communication/sensor control unit 105a, and stored in the storage unit from the host device 20 via the interface 131.
  • signature data Sig is stored in a storage unit such as a register of the communication/sensor control unit 105a, and stored in the storage unit from the host device 20 via the interface 131.
  • the second embodiment proposes the following first and second specific examples.
  • FIG. 19 is a block diagram showing an example configuration of a sensor according to the first specific example of the second embodiment.
  • the senor 100b is provided with an interrupt signal port 132 for transmitting an interrupt signal to the outside (for example, the host device 20).
  • signature processing section 1000 b signature generation section 1021 outputs an interrupt signal to this interrupt signal port 132 .
  • Interrupt signal port 132 and interface 131 are connected to host device 20 (not shown).
  • FIG. 20 is a diagram showing an example of a signature data computation completion notification method according to the first specific example of the second embodiment.
  • the passage of time is shown to the right, and from the top, the frame synchronization signal (signal Fsync), the output data from the interface 133, the internal state of the signature processing unit 1000b (internal state), and the output from the interrupt signal port 132. interrupt signal and output from the communication I/F (interface 131).
  • the signature generation unit 1021 stores the generated signature data Sig in the register 1051 as a storage unit of the communication/sensor control unit 105b. Further, upon completion of generation of signature data Sig at time t10, signature generation section 1021 outputs an interrupt signal indicating completion of computation from interrupt signal port 132 at time t11 immediately after time t10.
  • the host device 20 connected to the interrupt signal port 132 communicates with the communication/sensor control unit 105b via the interface 131, and at time t12 after a predetermined time from time t11 , Acquisition of signature data Sig from register 1051 is started.
  • the host device 20 previously knows the register address where the signature data Sig is stored in the register 1051, and reads out the signature data Sig from the register 1051 based on this register address.
  • the output I/F 104, the signature generation unit 1021, and the communication/sensor control unit 105b control the output of the image data and the signature data Sig.
  • An output control section is configured.
  • the interrupt signal is output as a pulse signal from the interrupt signal port 132 in the example of FIG. 20, this is not limited to this example.
  • the signature generation unit 1021 may output interrupt completion in a state.
  • the signature generation unit 1021 sets the interrupt signal port 132 to a high state at the completion of the operation (time t 10 ), and at the timing (time t 11 ) at which the signature data Sig can be read from the register 1051, It is conceivable to set the interrupt signal port 132 to a low state.
  • FIG. 21 is a block diagram showing an example configuration of a sensor according to a second specific example of the second embodiment.
  • the signature processing unit 1000c is provided with a signature generation/update management unit 1022 instead of the signature generation unit 1021.
  • the signature generation/update management unit 1022 generates and encrypts the signature data Sig based on the RAW data supplied from the data processing unit 1010, similarly to the signature generation unit 1021 described above, and transmits the generated signature data Sig. ⁇ Store in the register 1051 of the sensor control unit 105c.
  • the signature generation/update management unit 1022 transmits state data 1061 indicating that the signature data Sig has been newly stored in the register 1051 to the communication/sensor control unit 105c.
  • the communication/sensor control unit 105 c updates the information indicating the state of the register 1051 according to the state data 1061 .
  • Information indicating the state of this register 1051 is polled from the host device 20 (not shown) via the interface 131 .
  • the host device 20 accesses the register 1051 via the interface 131 and acquires the signature data Sig stored in the register 1051 when a change in the state of the register 1051 is detected based on the polling result.
  • FIG. 22 is a diagram showing an example of a signature data calculation completion notification method according to the second specific example of the second embodiment.
  • the passage of time is shown to the right, and from the top, the frame synchronization signal (signal Fsync), the output data from the interface 133, the internal state of the signature processing unit 1000c (internal state), and information indicating the state of the register 1051. (count value), output from the communication I/F (interface 131), and polling from the host device 20, respectively.
  • signature generation/update management unit 1022 stores generated signature data Sig in register 1051 as a storage unit of communication/sensor control unit 105c. to the communication/sensor control unit 105c.
  • the communication/sensor control unit 105 c updates the information indicating the state of the register 1051 according to the state data 1061 .
  • the communication/sensor control unit 105c has a counter. is incremented by 1.
  • the count value indicating the state of the register is incremented from [0] to [ 1 ] before and after time t11. This count value is written to the register 1051, for example.
  • the host device 20 connected to the interface 131 polls the register 1051 through the interface 131 at predetermined intervals to obtain a count value indicating the state of the register. If the acquired count value is different from the previously acquired count value, the host device 20 assumes that new signature data Sig is stored in the register 1051, and at time t 20 , the signature data Sig from the register 1051 is Start reading.
  • the output I/F 104, the signature generation/update management unit 1022, and the communication/sensor control unit 105c output image data and signature data Sig.
  • An output control unit for controlling is configured.
  • the communication/sensor control unit 105c uses the count value incremented according to the state data 1061 as information indicating the state of the register 1051, but this is not limited to this example.
  • the communication/sensor control unit 105 c may indicate the state of the register 1051 by switching between a high state and a low state according to the state data 1061 .
  • the third embodiment of the present disclosure is an example of generating signature data Sig for an image data group including multiple image data.
  • any of the sensor 100a according to the first embodiment and the sensors 100b and 100c according to the first and second specific examples of the second embodiment can be applied. In the following description, it is assumed that the sensor 100a according to the first embodiment is applied to the third embodiment.
  • image data captured in distance measurement processing of iToF indirect ToF (Time of Flight)
  • iToF Indirect ToF (Time of Flight)
  • the object to be measured is irradiated with light source light (for example, infrared laser light) modulated by PWM (Pulse Width Modulation)
  • the reflected light is received by a light receiving element, and the received reflected light is
  • PWM Pulse Width Modulation
  • the reflected light is received by a light receiving element, and the received reflected light is
  • This is a technique for measuring the distance to the object to be measured based on the phase difference between the two.
  • the light amount values C 0 and C 90 , C 180 and C 270 respectively.
  • the image data (iToF data 0°) obtained by exposure with a phase of 0° is obtained in Frame#1
  • the image data (iToF data 180°) obtained by exposure with a phase of 180° is obtained in the next frame Frame#2.
  • image data (iToF90°) is obtained by exposure of phase 90° in frame #3
  • image data (iToF270°) is obtained by exposure of phase 270° in the next frame (Frame#4 (not shown)).
  • FIG. 23 is a diagram showing an example of generation and output of signature data according to the third embodiment.
  • the signature generation unit 1021 configures one image data group by collecting iToF data 0° and iToF data 180°, for example.
  • the signature generation unit 1021 generates signature data Sig based on iToF data 0° and iToF data 180° included in this image data group.
  • the signature generation unit 1021 integrates iToF data 0° and iToF data 180° to generate one signature data Sig.
  • the generated signature data Sig is output, for example, at a predetermined position of Frame#n.
  • the signature generation unit 1021 collects the iToF data 90° and the iToF data 270° to form one image data group, and iToF data included in this image data group.
  • Signature data Sig is generated based on the data 90° and the iToF data 270°. Although illustration is omitted, the generated signature data Sig is output, for example, at a predetermined position of Frame#(n+2).
  • the signature generation unit 1021 may generate signature data Sig for each of a plurality of image data included in one image data group. In this case, a plurality of generated signature data Sig can be output for the same frame.
  • the method of generating and outputting signature data Sig according to the third embodiment is applied to image data acquired in the iToF range finding process, but this is not limited to this example. That is, the image data group may include other types of image data as long as the image data makes sense in a plurality of frames. Also, in the above description, two image data are grouped into one image data group, but this is not limited to this example, and three or more image data may be grouped into one image data group.
  • FIG. 24 is a diagram showing a usage example using the camera 10 to which the above-described first, second, and third embodiments are applicable, according to the fourth embodiment.
  • the camera 10 described above can be used in various cases for sensing light such as visible light, infrared light, ultraviolet light, and X-rays as follows.
  • a device that takes pictures for viewing such as a digital camera or a mobile device with a camera function.
  • a device used for transportation such as a ranging sensor that measures the distance of a vehicle.
  • a device used in home appliances such as TVs, refrigerators, air conditioners, etc., to photograph a user's gesture and operate the device according to the gesture.
  • Medical and health care devices such as endoscopes and devices that perform angiography by receiving infrared light.
  • ⁇ Devices used for security such as monitoring cameras for crime prevention and cameras for person authentication.
  • ⁇ Equipment used for beauty care such as a skin measuring instrument for photographing the skin and a microscope for photographing the scalp.
  • ⁇ Equipment used for sports such as action cameras and wearable cameras for sports.
  • Equipment for agricultural use such as cameras for monitoring the condition of fields and crops.
  • FIG. 25 is a block diagram showing a schematic configuration example of a vehicle control system, which is an example of a mobile control system to which the technology according to the present disclosure can be applied.
  • a vehicle control system 12000 includes a plurality of electronic control units connected via a communication network 12001.
  • vehicle control system 12000 includes drive system control unit 12010 , body system control unit 12020 , vehicle exterior information detection unit 12030 , vehicle interior information detection unit 12040 , and integrated control unit 12050 .
  • integrated control unit 12050 As the functional configuration of the integrated control unit 12050, a microcomputer 12051, an audio/image output section 12052, and an in-vehicle network I/F (interface) 12053 are illustrated.
  • the drive system control unit 12010 controls the operation of devices related to the drive system of the vehicle according to various programs.
  • the driving system control unit 12010 includes a driving force generator for generating driving force of the vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism to adjust and a brake device to generate braking force of the vehicle.
  • the body system control unit 12020 controls the operation of various devices equipped on the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as headlamps, back lamps, brake lamps, winkers or fog lamps.
  • the body system control unit 12020 can receive radio waves transmitted from a portable device that substitutes for a key or signals from various switches.
  • the body system control unit 12020 receives the input of these radio waves or signals and controls the door lock device, power window device, lamps, etc. of the vehicle.
  • the vehicle exterior information detection unit 12030 detects information outside the vehicle in which the vehicle control system 12000 is installed.
  • the vehicle exterior information detection unit 12030 is connected with an imaging section 12031 .
  • the vehicle exterior information detection unit 12030 causes the imaging unit 12031 to capture an image of the exterior of the vehicle, and receives the captured image.
  • the vehicle exterior information detection unit 12030 may perform object detection processing or distance detection processing such as people, vehicles, obstacles, signs, or characters on the road surface based on the received image.
  • the vehicle exterior information detection unit 12030 for example, performs image processing on the received image, and performs object detection processing and distance detection processing based on the result of the image processing.
  • the imaging unit 12031 is an optical sensor that receives light and outputs an electrical signal according to the amount of received light.
  • the imaging unit 12031 can output the electric signal as an image, and can also output it as distance measurement information.
  • the light received by the imaging unit 12031 may be visible light or non-visible light such as infrared rays.
  • the in-vehicle information detection unit 12040 detects in-vehicle information.
  • the in-vehicle information detection unit 12040 is connected to, for example, a driver state detection section 12041 that detects the state of the driver.
  • the driver state detection unit 12041 includes, for example, a camera that captures an image of the driver, and the in-vehicle information detection unit 12040 detects the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated, or it may be determined whether the driver is dozing off.
  • the microcomputer 12051 calculates control target values for the driving force generator, the steering mechanism, or the braking device based on the information inside and outside the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, and controls the drive system control unit.
  • a control command can be output to 12010 .
  • the microcomputer 12051 realizes the functions of ADAS (Advanced Driver Assistance System) including collision avoidance or shock mitigation, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, vehicle lane departure warning, etc. Cooperative control can be performed for the purpose of ADAS (Advanced Driver Assistance System) including collision avoidance or shock mitigation, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, vehicle lane departure warning, etc. Cooperative control can be performed for the purpose of ADAS (Advanced Driver Assistance System) including collision avoidance or shock mitigation, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, vehicle
  • the microcomputer 12051 controls the driving force generator, the steering mechanism, the braking device, etc. based on the information about the vehicle surroundings acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, so that the driver's It is possible to perform cooperative control for the purpose of automatic driving, etc., in which the vehicle autonomously runs without depending on the operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12020 based on the information outside the vehicle acquired by the information detection unit 12030 outside the vehicle.
  • the microcomputer 12051 controls the headlamps according to the position of the preceding vehicle or the oncoming vehicle detected by the vehicle exterior information detection unit 12030, and performs cooperative control aimed at anti-glare such as switching from high beam to low beam. It can be carried out.
  • the audio/image output unit 12052 transmits at least one of audio and/or image output signals to an output device capable of visually or audibly notifying the passengers of the vehicle or the outside of the vehicle.
  • an audio speaker 12061, a display section 12062 and an instrument panel 12063 are illustrated as output devices.
  • the display unit 12062 may include at least one of an on-board display and a head-up display, for example.
  • FIG. 26 is a diagram showing an example of the installation position of the imaging unit 12031.
  • vehicle 12100 has imaging units 12101 , 12102 , 12103 , 12104 and 12105 as imaging unit 12031 .
  • the imaging units 12101, 12102, 12103, 12104, and 12105 are provided at positions such as the front nose, side mirrors, rear bumper, back door, and windshield of the vehicle 12100, for example.
  • An image pickup unit 12101 provided in the front nose and an image pickup unit 12105 provided above the windshield in the passenger compartment mainly acquire images in front of the vehicle 12100 .
  • Imaging units 12102 and 12103 provided in the side mirrors mainly acquire side images of the vehicle 12100 .
  • An imaging unit 12104 provided in the rear bumper or back door mainly acquires an image behind the vehicle 12100 .
  • the forward images acquired by the imaging units 12101 and 12105 are mainly used for detecting preceding vehicles, pedestrians, obstacles, traffic lights, traffic signs, lanes, and the like.
  • FIG. 25 shows an example of the imaging range of the imaging units 12101-12104.
  • the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided in the front nose
  • the imaging ranges 12112 and 12113 indicate the imaging ranges of the imaging units 12102 and 12103 provided in the side mirrors, respectively
  • the imaging range 12114 The imaging range of an imaging unit 12104 provided on the rear bumper or back door is shown. For example, by superimposing the image data captured by the imaging units 12101 to 12104, a bird's-eye view image of the vehicle 12100 viewed from above can be obtained.
  • At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the imaging units 12101 to 12104 may be a stereo camera composed of a plurality of imaging elements, or may be an imaging element having pixels for phase difference detection.
  • the microcomputer 12051 determines the distance to each three-dimensional object within the imaging ranges 12111 to 12114 and changes in this distance over time (relative velocity with respect to the vehicle 12100). , it is possible to extract, as the preceding vehicle, the closest three-dimensional object on the course of the vehicle 12100, which runs at a predetermined speed (for example, 0 km/h or more) in substantially the same direction as the vehicle 12100. can. Furthermore, the microcomputer 12051 can set the inter-vehicle distance to be secured in advance in front of the preceding vehicle, and perform automatic brake control (including following stop control) and automatic acceleration control (including following start control). In this way, cooperative control can be performed for the purpose of automatic driving in which the vehicle runs autonomously without relying on the operation of the driver.
  • automatic brake control including following stop control
  • automatic acceleration control including following start control
  • the microcomputer 12051 based on the distance information obtained from the imaging units 12101 to 12104, converts three-dimensional object data to other three-dimensional objects such as two-wheeled vehicles, ordinary vehicles, large vehicles, pedestrians, and utility poles. It can be classified and extracted and used for automatic avoidance of obstacles. For example, the microcomputer 12051 distinguishes obstacles around the vehicle 12100 into those that are visible to the driver of the vehicle 12100 and those that are difficult to see. Then, the microcomputer 12051 judges the collision risk indicating the degree of danger of collision with each obstacle, and when the collision risk is equal to or higher than the set value and there is a possibility of collision, an audio speaker 12061 and a display unit 12062 are displayed. By outputting an alarm to the driver via the drive system control unit 12010 and performing forced deceleration and avoidance steering via the drive system control unit 12010, driving assistance for collision avoidance can be performed.
  • the microcomputer 12051 based on the distance information obtained from the imaging units 12101 to 12104, converts three-dimensional object data to other three-
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether or not the pedestrian exists in the images captured by the imaging units 12101 to 12104 .
  • recognition of a pedestrian is performed by, for example, a procedure for extracting feature points in images captured by the imaging units 12101 to 12104 as infrared cameras, and performing pattern matching processing on a series of feature points indicating the outline of an object to determine whether or not the pedestrian is a pedestrian.
  • the audio image output unit 12052 outputs a rectangular outline for emphasis to the recognized pedestrian. is superimposed on the display unit 12062 . Also, the audio/image output unit 12052 may control the display unit 12062 to display an icon or the like indicating a pedestrian at a desired position.
  • the technology according to the present disclosure can be applied to, for example, the imaging unit 12031 among the configurations described above.
  • the camera 10 to which the first and second embodiments described above can be applied can be applied to the imaging unit 12031 .
  • the technology according to the present disclosure to the imaging unit 12031, it becomes possible to output a moving image whose authenticity can be verified with a low load.
  • an in-vehicle device it is possible to reduce power consumption and downsize the device.
  • a plurality of pixels arranged in a matrix and each generating a pixel signal corresponding to light received by exposure are included, and image data based on each of the pixel signals generated by the plurality of pixels is output in a frame cycle.
  • a pixel array section a signature generation unit that generates signature data based on the image data; an output control unit that controls output of the image data and the signature data; with The signature generation unit generating the signature data by thinning the image data output in the frame cycle in thinning units based on the frame cycle; Imaging device.
  • the output control unit is outputting the signature data at timing after a predetermined time elapses with respect to output timing of the image data corresponding to the signature data; The imaging device according to (1) above.
  • (3) The output control unit is outputting the image data and the signature data from the same output terminal; The imaging device according to (1) or (2) above.
  • (4) The output control unit is outputting the signature data to the last frame obtained by thinning the image data that generated the signature data in the thinning unit; The imaging device according to (3) above.
  • the output control unit is outputting the signature data to a frame next to the last frame obtained by thinning the image data that generated the signature data in the thinning unit; The imaging device according to (3) above.
  • the output control unit is outputting the signature data to a frame corresponding to the timing at which the signature data was generated by the signature generation unit; The imaging device according to (3) above.
  • the output control unit is outputting the signature data to a predesignated frame after a predetermined frame with respect to the image data that generated the signature data; The imaging device according to (3) above.
  • the output control unit is outputting the signature data by adding information indicating the start of the frame and information indicating the end of the frame; The imaging apparatus according to any one of (3) to (7).
  • the output control unit is storing the signature data in an embedded data area in a frame of the image data and outputting the signature data; The imaging apparatus according to any one of (3) to (7).
  • the output control unit is adding lines in the row direction of the array to the image data, storing the signature data in the lines added to the image data, and outputting the signature data;
  • the imaging apparatus according to any one of (3) to (7).
  • the output control unit is a communication terminal for communicating with a host device, different from the output terminal for outputting the image data; a storage unit accessible from the host device via the communication terminal; including the signature data written in the storage unit by the signature generation unit is output from the communication terminal;
  • the imaging device according to (1) or (2) above.
  • the signature generation unit storing the generated signature data in the storage unit, outputting an interrupt signal indicating that the signature data has been generated from the interrupt signal port corresponding to the timing at which the signature data is generated, and outputting the interrupt outputting the signature data by reading the signature data stored in the storage unit by the host device in response to a signal;
  • the imaging device according to (11) above.
  • the signature generation unit storing the generated signature data in the storage unit, and changing state information indicating the state of the storage unit in the storage unit;
  • the output control unit is The state information is confirmed by the host device through polling from the host device via the communication terminal, and the state information is stored in the storage unit by the host device when the state information has changed since the previous polling. outputting the signature data by reading the signature data;
  • the imaging device according to (11) above.
  • the signature generation unit generating the signature data for each image data group obtained by grouping the plurality of image data; The imaging apparatus according to any one of (1) to (13) above.
  • (15) The signature generation unit generating one piece of signature data by integrating a plurality of the image data included in the image data group; The imaging device according to (14) above.
  • the signature generation unit generating the signature data for each of the plurality of image data included in the image data group;
  • the output control unit is encrypting the signature data using a private key in a public key cryptosystem and outputting it;
  • the pixel array unit, the signature generation unit, and the output control unit are integrally configured, The imaging apparatus according to any one of (1) to (17) above. (19) a first chip on which the pixel array section is arranged; a second chip on which the signature generation unit and the output control unit are arranged and bonded to the first chip; composed of The imaging device according to (18) above.
  • Image data generated by each of the pixel signals generated by the plurality of pixels from a pixel array section including a plurality of pixels arranged in a matrix and each of which generates a pixel signal corresponding to the light received by exposure is processed at a frame period.
  • a step that outputs with a signature generation step of generating signature data based on the image data; an output control step of controlling output of the image data and the signature data; has The signature generation step includes: generating the signature data by thinning the image data output in the frame cycle in thinning units based on the frame cycle; Imaging method.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本開示に係る撮像装置は、行列状の配列で配置され、それぞれ露光により受光した光に応じた画素信号を生成する複数の画素を含み、複数の画素で生成された画素信号それぞれによる画像データを、フレーム周期で出力する画素アレイ部（１０１）と、画像データに基づき署名データを生成する署名生成部（１０２１）と、画像データおよび署名データの出力を制御する出力制御部（１０４）と、を備え、署名生成部は、フレーム周期で出力される画像データをフレーム周期に基づく間引き単位で間引いて署名データを生成する。

Description

撮像装置および撮像方法
　本開示は、撮像装置および撮像方法に関する。
　近年では、画像の加工技術の向上に伴い、画像の真贋証明が重要になっている。画像が本物（改竄されていない）であることを証明する真贋証明を行うために、センサで撮像された画像に対してセンサ内で署名を付加して、センサ外に出力する方法が考えられる。例えば、センサで撮像されたＲＡＷデータに基づき署名データを生成し、この署名データが付加されたＲＡＷデータをセンサ外に出力する。センサ外に出力されたＲＡＷデータは、一般的には、コントラスト調整や圧縮符号化処理などの画像処理を施され、処理画像として用いられる。特許文献１には、署名情報を画像情報に関連付けて出力するようにしたイメージセンサが記載されている。
　ＲＡＷデータは、付加される署名データに基づき真であることが証明できる。したがって、センサ外において、このＲＡＷデータが画像処理された処理画像と、このＲＡＷデータによる画像とを比較することで、当該処理画像に対する改竄の有無を判定することができる。この真贋証明方法では、画像処理された処理画像と共に、当該処理画像が改竄されていないことを示すためのＲＡＷデータとその署名も保持しておく。
　ＲＡＷデータおよびその署名をセンサから出力する際には、署名のセキュリティ確保のため、署名に対して暗号化処理を施すことが好ましい。この場合、暗号化方式のうち、暗号化と復号とで共通の鍵を用いる共通鍵方式は、画像を確認する側でもセンサ側と同じ鍵を持つため、改竄防止のための暗号化方式としては不適当である。これに対して、公開鍵暗号方式は、センサ側と確認する側とで異なる鍵を用いるため、改竄のための暗号化方式として適している。
特開２０１７－１８４１９８号公報
　公開鍵暗号方式は、共通鍵方式と比較して、暗号化に長時間を要することが知られている。そのため、例えば動画像に対して上述した真贋証明方法を適用し、署名を公開鍵暗号方式を用いて暗号化する場合、動画像のフレームレートが署名の処理時間律速となってしまうおそれがある。
　本開示では、真贋証明が可能な動画像をフレームレートへの影響を抑えて出力可能な撮像装置および撮像方法を提供することを目的とする。
　本開示に係る撮像装置は、行列状の配列で配置され、それぞれ露光により受光した光に応じた画素信号を生成する複数の画素を含み、複数の画素で生成された画素信号それぞれによる画像データを、フレーム周期で出力する画素アレイ部と、画像データに基づき署名データを生成する署名生成部と、画像データおよび署名データの出力を制御する出力制御部と、を備え、署名生成部は、フレーム周期で出力される画像データをフレーム周期に基づく間引き単位で間引いて署名データを生成する。
既存技術によるフェイク画像生成の例を示す模式図である。 既存技術によるフェイク画像生成の例を示す模式図である。 既存技術による、署名データを画像データに付加して出力するセンサを用いたカメラの構成例を概略的に示す模式図である。 既存技術による、センサから出力されるＲＡＷデータおよび署名データの例を示す模式図である。 既存技術による、動画像に基づき生成される署名データの出力方法について説明するための図である。 既存技術による、動画像に基づき生成される署名データの出力方法について説明するための図である。 各実施形態に適用可能なカメラの一例の構成を示すブロック図である。 各実施形態に適用可能な画素アレイ部の一例の構成を示すブロック図である。 各実施形態に係る画素アレイ部を２層構造の積層型ＣＩＳにより形成した例を示す図である。 各実施形態に係る画素アレイ部を３層構造の積層型ＣＩＳにより形成した例を示す図である。 各実施形態に適用可能な、動画像データの出力フォーマットの第１の例を模式的に示す図である。 各実施形態に適用可能な、動画像データの出力フォーマットの第２の例を模式的に示す図である。 各実施形態に適用可能な、動画像データの出力フォーマットの第２の例を模式的に示す図である。 各実施形態に係るカメラの構成を概略的に示すブロック図である。 実施形態の概要を説明するための模式図である。 実施形態に係る、動画像に基づき生成される署名データの出力方法について説明するための図である。 各実施形態に適用可能な、署名処理部が署名データの生成および暗号化処理を実行するタイミングを説明するための模式図である。 第１の実施形態に係るセンサの一例の構成を示すブロック図である。 第１の実施形態に係るセンサにおける署名データの出力方法について説明するための図である。 第１の実施形態に適用可能な署名データの出力位置の第１の例を示す図である。 第１の実施形態に適用可能な署名データの出力位置の第２の例を示す図である。 第１の実施形態に適用可能な署名データの出力位置の第３の例を示す図である。 第２の実施形態の概要を説明するための図である。 第２の実施形態の第１の具体例に係るセンサの一例の構成を示すブロック図である。 第２の実施形態の第１の具体例に係る署名データ演算完了の通知方法の例を示す図である。 第２の実施形態の第２の具体例に係るセンサの一例の構成を示すブロック図である。 第２の実施形態の第２の具体例に係る署名データ演算完了の通知方法の例を示す図である。 第３の実施形態に係る署名データの生成および出力の例を示す図である。 第４の実施形態による、上述の第１の実施形態、第２の実施形態および第３の実施形態を適用可能なカメラを使用する使用例を示す図である。 本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。 撮像部の設置位置の例を示す図である。
　以下、本開示の実施形態について、図面に基づいて詳細に説明する。なお、以下の実施形態において、同一の部位には同一の符号を付することにより、重複する説明を省略する。
　以下、本開示の実施形態について、下記の順序に従って説明する。
１．既存技術について
２．各実施形態に適用可能な技術について
　２－１．各実施形態に適用可能な構成
　２－２．各実施形態に適用可能な出力データフォーマット
３．本開示の各実施形態の概要
４．本開示の第１の実施形態
　４－１．第１の実施形態に係る構成
　４－２．第１の実施形態に適用可能な署名データの出力位置
５．本開示の第２の実施形態
　５－１．第２の実施形態の概要
　５－２．第２の実施形態の第１の具体例
　５－３．第２の実施形態の第２の具体例
６．本開示の第３の実施形態
７．本開示の第４の実施形態
［１．既存技術について］
　先ず、本開示の実施形態の説明に先んじて、理解を容易とするために、本感じの技術に関連する既存技術について説明する。近年では、報道メディアやＳＮＳ(Social　Networking　Service)などにより、インターネットを介して公開される画像の真贋証明が課題となっている。すなわち、近年では、画像の加工ツールや、ＡＩ(Artificial　Intelligence)を利用したフェイク（捏造）画像生成技術の発達により、画像の真贋証明が困難となっている。
　図１および図２は、既存技術によるフェイク画像生成の例を示す模式図である。例えば、図１に示されるように、オリジナル画像３００の下半分を隠した画像３０１を作成し、この画像３０１に基づき下半分を予測して、画像３０２ａ（フェイク画像ａ）や、画像３０２ａと異なる画像３０２ｂ（フェイク画像ｂ）を生成する技術が知られている。
　また、動画像に対しても、図２のセクション（ａ）に示される動画像のフレーム３０３ａから、当該フレーム３０３ａに含まれる、移動するオブジェクト３０４のみを削除可能とする技術が知られている。この場合、セクション（ｂ）に示される、フレーム３０３ａと時間的に近接するフレーム３０３ｂでは、オブジェクト３０４が削除され、本来オブジェクト３０４が在るべき位置は、道路面で置き換えられている。
　これらの例では、オリジナル画像３００やフレーム３０３ａを知らない場合、画像３０２ａおよび３０２ｂや、フレーム３０３ｂが改竄されたフェイク画像であるか否かの判定、すなわち画像３０２ａおよび３０２ｂ、ならびに、フレーム３０３ｂに対する真贋証明が困難である。
　このような、画像の真贋証明を容易とする方法の一つとして、撮像画像を取得するセンサ内部で、オリジナル画像となる撮像画像に対して署名を付加する方法が知られている。
　図３Ａは、既存技術による、署名データを画像データに付加して出力するセンサを用いたカメラの構成例を概略的に示す模式図である。図３Ａにおいて、カメラ２０００は、センサ２１００と、画像処理部２１２０と、を含む。
　センサ２１００は、画素アレイ部２１１０と、署名処理部２１１１とを含み、例えば１つの半導体チップ（あるいは貼り合わされた複数の半導体チップ）により構成される。画素アレイ部２１１０は、それぞれ受光した光に応じた画素信号を生成する複数の画素を含み、フレーム単位で画像データを取得する。ここで取得される画像データは、画素信号に基づく画素データに対してデモザイク処理などを施していない、未加工のデータである。画素アレイ部２１１０で取得されたＲＡＷデータは、フレーム周期に従いインタフェース２１０１から出力される。
　署名処理部２１１１は、画素アレイ部２１１０により取得されたＲＡＷデータに基づき署名データを生成する。署名処理部２１１１で生成された署名データは、所定の暗号化方式で暗号化され、対応するＲＡＷデータと関連付けられてインタフェース２１０１から出力される。
　インタフェース２１０１から出力されるＲＡＷデータは、センサ２１００内で生成された署名データが付加されているので、本物（改竄されていない）のＲＡＷデータであることを証明する真贋証明が可能である。例えば、センサ２１００から出力されたＲＡＷデータに基づき、署名処理部２１１１と同様にして署名データを生成し、生成した署名データと、センサ２１００から出力された署名データとが一致する場合に、当該ＲＡＷデータが本物（改竄されていない）のＲＡＷデータであると証明できる。
　センサ２１００から出力されたＲＡＷデータおよび署名データは、画像処理部２１２０に供給される。画像処理部２１２０は、供給されたＲＡＷデータを、ＭＰＥＧ(Moving　Picture　Experts　Group)方式などの動画圧縮方式を用いて圧縮符号化する。圧縮符号化された例えばＭＰＥＧデータは、カメラ２０００の外部に出力される。
　図３Ｂは、既存技術による、センサ２１００から出力されるＲＡＷデータおよび署名データの例を示す模式図である。図３Ｂに示すように、ＲＡＷデータ２２０１および暗号化された署名データ２２０２は、フレーム周期に従い、フレーム毎に出力されることになる。
　ここで、署名データ２２０２を暗号化するために適用可能な代表的な暗号化方式として、共通鍵暗号方式と、公開鍵暗号方式とが挙げられる。共通鍵暗号方式の一例であるＤＥＳ(Data　Encryption　Standard)では、例えば暗号化対象のデータ（平文）に対して、暗号鍵のビット列に応じて変化する転置や換字に相当する操作や、排他的論理和（ＸＯＲ）による操作を繰り返すことにより、平文を暗号化する。共通鍵暗号方式では、演算負荷が比較的小さい一方で、暗号化と復号とで共通の鍵を用いるため、画像を確認する側でもセンサ側と同じ鍵を持つことになり、改竄防止のための暗号化方式としては不適当である。
　これに対して、公開鍵暗号方式は、センサ側と確認する側とで異なる鍵を用いるため、改竄のための暗号化方式として適している。一方、公開鍵暗号方式では、次式（１）により平文Ｐを暗号文Ｃに暗号化する。なお、式（１）は、公開鍵暗号方式の一つであるＲＳＡ(Rivest-Shamir-Adleman)暗号に基づく。式（１）において、値Ｎは、互いに異なる２つの大きな素数の積であり、「ｍｏｄ　Ｎ」は、値Ｎを法とする剰余を表す。また、値Ｅは、適宜に選択した正整数である。値Ｅと値Ｎの組を、公開鍵として用いる。
Ｃ＝ＰE　ｍｏｄ　Ｎ　　…（１）
　式（１）に示すように、ＲＳＡ暗号では、平文Ｐを大きな値ＥでＥ乗し、さらに値Ｎによる剰余を求める演算を行い、暗号文Ｃを得る。そのため、上述した共通鍵暗号方式による暗号化処理と比較して暗号化における演算負荷が非常に大きく、暗号化に長時間を要する。
　図４Ａおよび図４Ｂは、既存技術による、動画像に基づき生成される署名データの出力方法について説明するための図である。なお、詳細は後述するが、図４Ａおよび図４Ｂにおいて、［ＦＳ］はフレーム開始、［ＦＥ］はフレーム終了をそれぞれ示すフラグを含むラインである。［ＥＢＤ］は埋め込みデータを示すフラグを含むラインである。［ＦＳ］および［ＦＥ］は、１フレーム期間に複数組を出力することができる。［ＢＬＫ］は、ブランクデータによるラインを示している。また、信号Ｆｓｙｎｃは、フレーム同期信号を示し、右方向に時間の経過を示す。
　図４Ａは、動画像のフレーム毎に署名データＳｉｇを出力する場合の例を模式的に示している。署名処理部２１１１は、画素アレイ部２１１０から１フレーム分の画像データ（ＲＡＷデータ）を読み出した後に、読み出した画像データに基づき署名データ生成の演算を開始する。この図４Ａの例では、生成元の画像データと同一フレーム期間内に署名データＳｉｇを出力することで、署名データＳｉｇのフレーム毎に出力している。
　署名処理部２１１１による署名データ生成の演算には、上述した式（１）に基づく暗号化の演算も含み、必要とされる処理時間は、プロセッサが署名データ生成演算以外の処理を行わない前提で、１０数［ｍｓｅｃ（ミリ秒）］とされる。フレームレートが６０［ｆｐｓ（フレーム毎秒）］である場合、１フレーム期間は、略１６．７［ｍｓｅｃ］である。したがって、画像データを画素アレイ部２１１０から読み出した後に署名データ生成演算を開始した場合、当該画像データと同一フレーム期間内に署名データＳｉｇを出力することは、極めて困難である。この画像データの読み出しと同一フレーム期間で署名データＳｉｇを出力する処理が必要な場合には、例えばフレームレートの低下や、プロセッサの並列化などの対応が必要となる。
　図４Ｂは、画像データを読み出すフレームと、当該画像データに基づく署名データＳｉｇを出力するフレームとを異ならせた場合の例を模式的に示している。例えば、署名処理部２１１１は、画素アレイ部２１１０から画像データが読み出された後に署名データ生成処理を開始し、当該画像データが読み出された次のフレームの、画像データ期間の後に、生成した署名データＳｉｇを出力している。この場合には、署名データＳｉｇを、破綻すること無く出力することが可能である。
　しかしながら、この方法では、フレーム毎に遅れて出力される署名データＳｉｇの管理が複雑になるおそれがある。また、フレームレートが１２０［ｆｐｓ］、２４０［ｆｐｓ］と高速化した場合、画像データが読み出される次のフレームに当該画像データに基づく署名データＳｉｇを出力することが困難になる可能性がある。そのために、例えば図４Ｂに点線の矢印で示すように、画像データが読み出される２フレーム後、さらには３フレーム後に、当該画像データに基づく署名データＳｉｇを出力することが考えられる。しかしながら、この場合、署名データＳｉｇの管理がさらに困難になることが予想される。また、フレームレートが高速化すると、１フレーム期間の長さが、署名処理部２１１１が署名データ生成に必要な時間以下になる可能性もあり、プロセッサの並列化や高速化といった対応のためにコストが嵩んでしまうおそれがある。
　そのため、本開示では、署名データを、画像データの数フレーム毎に出力する。これにより、センサにおいて画素アレイ部から画像データが出力されてから、署名データを出力するまでに、十分な時間を確保することが可能となる。また、フレームレートの高速化に対しても、署名データを出力する間隔を調整することで、対応可能である。
　すなわち、動画像の場合、急峻な改竄は、フレーム間で画像データの差分を取ることで検出可能である。したがって、動画像の改竄の検出は、動画像を受け取った側で対応が可能である。また、動画像を出力したセンサの証明は、複数フレーム毎で十分であると考えられる。
［２．各実施形態に適用可能な技術について］
（２－１．各実施形態に適用可能な構成）
　次に、各実施形態に適用可能な技術について説明する。図５は、各実施形態に適用可能なカメラの一例の構成を示すブロック図である。図５において、カメラ１０は、ホスト装置２０と、センサ１００と、を含む。ホスト装置２０は、画像処理部１２０を含む。
　センサ１００は、画素アレイ部１０１と、センサ制御部１１０と、署名処理部１０００と、を含む。センサ制御部１１０は、例えばプロセッサとメモリとを含み、メモリに記憶されるプログラムに従い、このセンサ１００全体の動作を制御する。
　画素アレイ部１０１は、行列状の配列で配置され、それぞれ露光により受光した光に応じた画素信号を生成する複数の画素を含み、複数の画素で生成された画素信号それぞれによる画像データを取得する。画素アレイ部１０１は、画像データを、フレーム周期で取得することができる。画素アレイ部１０１で取得される画像データは、未加工のＲＡＷデータである。
　署名処理部１０００は、例えばセンサ制御部１１０の制御に従い、画素アレイ部１０１で取得されたＲＡＷデータに基づき署名データを生成する。
　画素アレイ部１０１によりフレーム周期で取得されたＲＡＷデータは、ホスト装置２０に含まれる画像処理部１２０に供給される。画像処理部１２０は、供給されたＲＡＷデータに対して所定の画像処理を施して可視用の動画像データを生成する。また、画像処理部１２０は、生成した可視用の動画像データに対して、ＭＰＥＧ(Moving　Picture　Experts　Group)方式などの動画像に対する圧縮符号化方式により、圧縮符号化処理を施す。画像処理部１２０は、動画像データを圧縮符号化した圧縮動画像データを、出力動画データとして所定のインタフェースを介してカメラ１０の外部に出力する。
　カメラ１０から出力された出力動画データは、例えば表示装置３０に供給され、表示される。
　ホスト装置２０は、上述した画像処理部１２０を含むと共に、例えばＣＰＵ(Central　Processing　Unit)およびメモリと、所定のインタフェースを有し、センサ１００に対して指示を与える。ホスト装置２０は、例えばＩ2Ｃ(Inter-Integrated　Circuit)やＳＰＩ(Serial　Peripheral　Interface)といった所定の通信インタフェースを介してセンサ１００と接続される。ホスト装置２０は、この通信インタフェースを介して、カメラ１０に対して指示を与えることができる。また、ホスト装置２０は、カメラ１０の外部との通信が可能な通信インタフェースをさらに有することができる。
　各実施形態に係るカメラ１０は、例えば監視カメラや、ドライブレコーダといった監視目的の用途に適用することができる。これに限らず、各実施形態に係るカメラ１０は、スマートフォンに搭載されるカメラや、一般のビデオカメラに適用することもできる。なお、各実施形態に係るカメラ１０の用途は、これらに限定されるものではない。
（各実施形態に適用可能な画素アレイ部の構成例）
　図６は、各実施形態に適用可能な画素アレイ部１０１の一例の構成を示すブロック図である。図６において、画素アレイ部は、画素アレイ１０２と、垂直走査部４００と、水平走査・ＡＤ変換部４０２と、制御部４０１と、を含む。
　画素アレイ１０２は、それぞれ受光した光に応じた電圧を生成する撮像素子を有する複数の画素１０３を含む。撮像素子としては、フォトダイオードを用いることができる。画素アレイ１０２において、複数の画素１０３は、水平方向（行方向）および垂直方向（列方向）に行列状に配列される。画素アレイ１０２において、画素１０３の行方向の並びをラインと呼ぶ。この画素アレイ１０２において所定数のラインから読み出された画素信号に基づき、１フレームの画像（画像データ）が形成される。例えば、３０００画素×２０００ラインで１フレームの画像が形成される場合、画素アレイ１０２は、少なくとも３０００個の画素１０３が含まれるラインを、少なくとも２０００ライン、含む。画素アレイ１０２において、１フレームの画像を形成するために用いる画素１０３が含まれる領域を、有効画素領域と呼ぶ。また、画素アレイ１０２において形成される画像データは、ＲＡＷデータである。
　また、画素アレイ１０２には、各画素１０３の行および列に対し、行毎に画素信号線ＨＣＴＬが接続され、列毎に垂直信号線ＶＳＬが接続される。
　画素信号線ＨＣＴＬの画素アレイ１０２と接続されない端部は、垂直走査部４００に接続される。垂直走査部４００は、例えば制御部４０１から供給される制御信号に従い、画素１０３から画素信号を読み出す際の駆動パルスなどの複数の制御信号を、画素信号線ＨＣＴＬを介して画素アレイ１０２へ伝送する。垂直信号線ＶＳＬの画素アレイ１０２と接続されない端部は、水平走査・ＡＤ変換部４０２に接続される。
　水平走査・ＡＤ変換部４０２は、ＡＤ(Analog　to　Digital)変換部と、出力部と、信号処理部と、を含む。画素１０３から読み出された画素信号は、垂直信号線ＶＳＬを介して水平走査・ＡＤ変換部４０２のＡＤ変換部に伝送される。
　画素１０３からの画素信号の読み出し制御について、概略的に説明する。画素１０３からの画素信号の読み出しは、露光により撮像素子に蓄積された電荷を浮遊拡散層（ＦＤ：Floating　Diffusion）に転送し、浮遊拡散層において転送された電荷を電圧に変換することで行う。浮遊拡散層において電荷が変換された電圧は、アンプを介して垂直信号線ＶＳＬに出力される。
　より具体的には、画素１０３において、露光中は、撮像素子と浮遊拡散層との間をオフ（開）状態として、撮像素子において、光電変換により入射された光に応じて生成された電荷を蓄積させる。露光終了後、画素信号線ＨＣＴＬを介して供給される選択信号に応じて浮遊拡散層と垂直信号線ＶＳＬとを接続する。さらに、画素信号線ＨＣＴＬを介して供給されるリセットパルスに応じて浮遊拡散層を電源電圧ＶＤＤまたは黒レベル電圧の供給線と短期間において接続し、浮遊拡散層をリセットする。垂直信号線ＶＳＬには、浮遊拡散層のリセットレベルの電圧（電圧Ｐとする）が出力される。その後、画素信号線ＨＣＴＬを介して供給される転送パルスにより撮像素子と浮遊拡散層との間をオン（閉）状態として、撮像素子に蓄積された電荷を浮遊拡散層に転送する。垂直信号線ＶＳＬに対して、浮遊拡散層の電荷量に応じた電圧（電圧Ｑとする）が出力される。
　水平走査・ＡＤ変換部４０２において、ＡＤ変換部は、垂直信号線ＶＳＬ毎に設けられたＡＤ変換器を含み、垂直信号線ＶＳＬを介して画素１０３から供給された画素信号は、ＡＤ変換器によりＡＤ変換処理が施され、ノイズ低減を行う相関二重サンプリング（ＣＤＳ：Correlated　Double　Sampling）処理のための２つのデジタル値（電圧Ｐおよび電圧Ｑにそれぞれ対応する値）が生成される。
　ＡＤ変換器により生成された２つのデジタル値は、信号処理部によりＣＤＳ処理が施され、デジタル信号による画素信号（画素データ）が生成される。生成された画素データは、画素アレイ部から出力される。
　水平走査・ＡＤ変換部４０２は、制御部４０１の制御の下、垂直信号線ＶＳＬ毎のＡＤ変換器を所定の順番で選択する選択走査を行うことによって、各ＡＤ変換器が一時的に保持している各デジタル値を信号処理部へ順次出力させる。水平走査・ＡＤ変換部４０２は、例えばシフトレジスタやアドレスデコーダなどを含む構成により、この動作を実現する。
　制御部４０１は、例えばセンサ制御部１１０から供給される制御信号に従い、垂直走査部４００、水平走査・ＡＤ変換部４０２などの駆動制御を行う。制御部４０１は、垂直走査部４００および水平走査・ＡＤ変換部４０２の動作の基準となる各種の駆動信号を生成する。制御部４０１は、外部（例えば制御部４０１）から供給される垂直同期信号または外部トリガ信号と、水平同期信号とに基づき、垂直走査部４００が画素信号線ＨＣＴＬを介して各画素１０３に供給するための制御信号を生成する。制御部４０１は、生成した制御信号を垂直走査部４００に供給する。なお、制御部４０１は、センサ制御部１１０の機能の一部であってよい。
　垂直走査部４００は、制御部４０１から供給される制御信号に基づき、画素アレイ１０２の選択された画素行の画素信号線ＨＣＴＬに駆動パルスを含む各種信号を、ライン毎に各画素１０３に供給し、各画素１０３から、画素信号を垂直信号線ＶＳＬに出力させる。垂直走査部４００は、例えばシフトレジスタやアドレスデコーダなどを用いて構成される。
　このように構成された画素アレイ部は、ＡＤ変換器が列毎に配置されたカラムＡＤ方式のＣＭＯＳ(Complementary　Metal　Oxide　Semiconductor)イメージセンサである。
（各実施形態に適用可能な画素アレイ部の構造例）
　次に、各実施形態に適用可能な画素アレイ部１０１の構造例について、概略的に説明する。
　画素アレイ部１０１は、画素アレイ部１０１に含まれる各部がＣＭＯＳ(Complementary　Metal　Oxide　Semiconductor)を用いて一体的に形成されたＣＭＯＳイメージセンサ（ＣＩＳ）を適用することができる。画素アレイ部１０１は、１つの基板上に形成することができる。これに限らず、画素アレイ部１０１を、複数の半導体チップが積層され一体的に形成された積層型ＣＩＳとしてもよい。なお、画素アレイ部１０１は、この例に限らず、赤外光による撮像を行う赤外光センサなど、他の種類の光センサであってもよい。
　一例として、画素アレイ部１０１を半導体チップを２層に積層した２層構造の積層型ＣＩＳにより形成することができる。図７Ａは、各実施形態に係る画素アレイ部１０１を２層構造の積層型ＣＩＳにより形成した例を示す図である。図７Ａの構造では、第１層の半導体チップに画素部３０２０ａを形成し、第２層の半導体チップにメモリ＋ロジック部３０２０ｂを形成している。
　画素部３０２０ａは、少なくとも画素アレイ部１０１における画素アレイ１０２を含む。メモリ＋ロジック部３０２０ｂは、例えば、垂直走査部４００と、制御部４０１と、水平走査・ＡＤ変換部４０２と、署名処理部１０００と、を含むことができる。メモリ＋ロジック部３０２０ｂに、さらに、ＲＡＷデータなど画像データを記憶するメモリを含ませることもできる。
　図７Ａの右側に示されるように、第１層の半導体チップと、第２層の半導体チップとを電気的に接触させつつ貼り合わせることで、画素アレイ部１０１を１つの固体撮像素子として構成する。
　別の例として、画素アレイ部１０１を、半導体チップを３層に積層した３層構造により形成することができる。図７Ｂは、各実施形態に係る画素アレイ部１０１を３層構造の積層型ＣＩＳにより形成した例を示す図である。図７Ｂの構造では、第１層の半導体チップに画素部３０２０ａを形成し、第２層の半導体チップにメモリ部３０２０ｃを形成し、第３層の半導体チップにロジック部３０２０ｄを形成している。この場合、ロジック部３０２０ｄは、例えば、垂直走査部４００と、制御部４０１と、水平走査・ＡＤ変換部４０２と、署名処理部１０００と、を含むことができる。また、メモリ部３０２０ｃは、ＲＡＷデータなど画像データを記憶するメモリを含ませることができる。
　図７Ｂの右側に示されるように、第１層の半導体チップと、第２層の半導体チップと、第３層の半導体チップとを電気的に接触させつつ貼り合わせることで、画素アレイ部１０１を１つの固体撮像素子として構成する。
（２－２．各実施形態に適用可能な出力データフォーマット）
　次に、各実施形態に適用可能な、動画像データの出力フォーマットについて説明する。
（第１の例）
　各実施形態に適用可能な動画像データの出力フォーマットの第１の例として、ＳＬＶＳ－ＥＣ（登録商標）に規定されるフォーマットについて説明する。なお、ＳＬＶＳ－ＥＣ（登録商標）は、「Scalable　Low　Voltage　Signaling　with　Embedded　Clock」の略語である。図８は、各実施形態に適用可能な、動画像データの出力フォーマットの第１の例を模式的に示す図である。
　図８において、セクション（ａ）は、第１の例のフォーマットによる、１フレーム分の動画像データに対するデータ配置を示している。セクション（ａ）において、水平方向が行方向（ライン）、垂直方向が列方向にそれぞれ対応し、ＸＶＳは垂直同期信号、ＸＨＳは水平同期信号をそれぞれ示している。また、図の左側がラインの先頭側を示している。すなわち、動画像データは、ライン毎に図の左から右に向けて出力され、各ラインが図の上から下に向けて出力される。
　各ラインにおいて、先頭から、フィールド［Ｓｔａｒｔ　Ｃｏｄｅ］、フィールド［Ｐａｃｋｅｔ　Ｈｅａｄｅｒ］が配置される。フィールド［Ｓｔａｒｔ　Ｃｏｄｅ］は、各ラインの先頭を示す。フィールド［Ｐａｃｋｅｔ　Ｈｅａｄｅｒ］については、後述する。
　フィールド［Ｐａｃｋｅｔ　Ｈｅａｄｅｒ］に続けて、データフィールドが配置される。データフィールドは、フレームの上端から、フィールド［Ｂｌａｎｋｉｎｇ　Ｄａｔａ］、フィールド［Ｅｍｂｅｄｄｅｄ　Ｄａｔａ］、フィールド［Ｐｉｘｅｌ　Ｄａｔａ］、フィールド［Ｂｌａｎｋｉｎｇ　Ｄａｔａ］の順に配置される。
　フィールド［Ｐｉｘｅｌ　Ｄａｔａ］は、１フレームの動画像における各画素データがライン順次に出力されるフィールドである。また、２つのフィールド［Ｂｌａｎｋｉｎｇ　Ｄａｔａ］は、動画像データの垂直ブランキング期間に対応する。フィールド［Ｅｍｂｅｄｄｅｄ　Ｄａｔａ］は、任意のデータを埋め込み可能なフィールドである。
　データフィールドに続けて、フィールド［Ｅｎｄ　Ｃｏｄｅ］、フィールド［Ｄｅｓｋｅｗ　Ｃｏｄｅ］、フィールド［Ｉｄｌｅ　Ｃｏｄｅ］が配置される。フィールド［Ｅｎｄ　Ｃｏｄｅ］は、各ラインの終端を示す。フィールド［Ｄｅｓｋｅｗ　Ｃｏｄｅ］は、パケットの同期用のフィールドである。フィールド［Ｉｄｌｅ　Ｃｏｄｅ］は、各ラインの水平部ランキング期間に対応する。
　図８のセクション（ｂ）は、セクション（ａ）に示したフィールド［Ｐａｃｋｅｔ　Ｈｅａｄｅｒ］の内容をより詳細に示している。フィールド［Ｐａｃｋｅｔ　Ｈｅａｄｅｒ］は、第０ビット～第４７ビットの４８ビットのデータサイズが割り当てられ、フィールド［Ｐａｃｋｅｔ　Ｈｅａｄｅｒ］に対応するラインを示す情報が格納される。
　フィールド［Ｐａｃｋｅｔ　Ｈｅａｄｅｒ］において、第４７ビットに、フレーム開始を示すフラグ［ＦＳ］が格納される。第４６ビットに、フレーム終了を示すフラグ［ＦＥ］が格納される。第４５ビットに、そのラインが有効であることを示すフラグ［Ｖａｌｉｄ］が格納される。第４４ビット～第３２ビットに、そのラインのライン番号［Ｌｉｎｅ　Ｎｕｍｂｅｒ］が格納される。第３１ビットに、埋め込みデータを示すフラグ［ＥＢＤ］が格納される。第３０ビット～第２７ビットに、そのラインの種類を示す識別情報［ＩＤ］が格納される。また、第２６ビット～第０ビットは、予約領域（ＲＥＳＥＲＶＥ）とされている。
　この第１の例によるフォーマットでは、例えば、識別情報［ＩＤ］を利用して、そのラインが署名データＳｉｇに関連するラインであることを示すことができる。
（第２の例）
　各実施形態に適用可能な動画像データの出力フォーマットの第２の例として、ＭＩＰＩ（登録商標）に規定されるフォーマットについて説明する。なお、ＭＩＰＩは、「Mobile　Industry　Processor　Interface」の略語である。図９Ａおよび図９Ｂは、各実施形態に適用可能な、動画像データの出力フォーマットの第２の例を模式的に示す図である。ＭＩＰＩ（登録商標）では、出力データのデータフォーマットとして、ロングパケットとショートパケットとが定義される。なお、図９Ａおよび図９Ｂにおいて、左側がデータの先頭側であるものとする。
　図９Ａは、ＭＩＰＩ（登録商標）におけるロングパケットによるデータフォーマットを示している。図９Ａの上段は、パケット構造を示している。ロングパケットによるパケットは、４バイトのパケットヘッダ［ＰＨ］で開始され、続けてｎバイトのペイロードデータ(Payload　Data)が配置され、４バイトのパケットフッタ［ＰＦ］で終了される。ペイロードデータは、このパケットにより転送されるデータの本体部分であって、画像データや、署名データを適用できる。
　図９Ａの中段は、パケットヘッダ［ＰＨ］の内容を示している。パケットヘッダ［ＰＨ］は、先頭から順に、１バイトのデータ識別子［ＤＩ］、２バイトのワードカウント［ＷＣ］、１バイトのエラー訂正符号［ＥＣＣ］が配置される。図９Ａの下段は、データ識別子［ＤＩ］の内容を示している。データ識別子［ＤＩ］は、先頭から順に、仮想チャネル［ＶＣ］、データタイプ［ＤＴ］が配置される。
　図９Ｂは、ＭＩＰＩ（登録商標）におけるショートパケットによるデータフォーマットを示している。図９Ｂの上段は、パケット構造を示している。このように、ショートパケットでは、パケットヘッダ［ＰＨ］のみが定義される。図９Ｂの下段は、パケットヘッダ［ＰＨ］の内容を示している。パケットヘッダ［ＰＨ］は、先頭から順に、１バイトのデータ識別子［ＤＩ］、２バイトのフレーム番号またはライン番号［ＦＮ／ＬＮ］、１バイトのエラー訂正符号［ＥＣＣ］が配置される。
　この第２の例によるフォーマットでは、例えば、データ識別子［ＤＩ］を利用して、そのラインが署名データＳｉｇに関連するラインであることを示すことができる。
［３．本開示の各実施形態の概要］
　次に、本開示の各実施形態の概要について説明する。図１０Ａおよび図１０Ｂは、実施形態の概要を説明するための模式図である。図１０Ａは、各実施形態に係るカメラ１０の構成を概略的に示している。
　図１０Ａにおいて、各実施形態に係るカメラ１０は、図５に示したカメラ１０と同様に、ホスト装置２０と、センサ１００と、を含む。ホスト装置２０は、画像処理部１２０を含む。また、センサ１００は、画素アレイ部１０１と、署名処理部１０００と、を含む。センサ制御部１１０は、例えばプロセッサとメモリとを含み、メモリに記憶されるプログラムに従い、センサ１００の動作を制御する。また、ホスト装置２０は、ＣＰＵおよびメモリを含み、メモリに記憶されるプログラムに従い、センサ１００に指示を与えるなど、このカメラ１０の全体の動作を制御する。
　図１０Ａにおいて、センサ１００は、署名処理部１０００により、画素アレイ部１０１によりフレーム周期で取得された画像データ（ＲＡＷデータ２００）に基づき署名データ２１０を生成し、生成した署名データ２１０と、画素アレイ部１０１で取得されたＲＡＷデータ２００とを、インタフェース１３０から出力する。
　インタフェース１３０から出力された署名データ２１０およびＲＡＷデータ２００は、画像処理部１２０に供給される。画像処理部１２０は、供給されたＲＡＷデータ２００に対して圧縮符号化処理を施し、圧縮符号化されたＲＡＷデータ２００による出力動画データ２３０を出力する。また、画像処理部１２０は、出力動画データ２３０において、圧縮符号化前のＲＡＷデータ２００に基づき生成された署名データ２１０を、当該ＲＡＷデータ２００に対する真贋証明用データとして出力する。
　図１０Ｂは、センサ１００のインタフェース１３０から出力されるデータを説明するための模式図である。なお、図１０Ｂにおいて、右方向に時間の経過を示している。各実施形態では、署名処理部１０００は、画素アレイ部１０１によりフレーム周期で出力されるＲＡＷデータ２００に対し、ｎフレーム（ｎは２以上の整数）毎に署名データ２１０を生成する。換言すれば、署名処理部１０００は、画素アレイ部１０１によりフレーム周期で出力されるＲＡＷデータ２００に対し、（ｎ－１）フレームを間引き単位として、ＲＡＷデータ２００を間引き単位で間引いて、署名データ２１０を生成する。
　図１０Ｂの例では、署名処理部１０００は、例えば１番目のフレームＦｒａｍｅ＃１のＲＡＷデータ２００に基づき署名データ２１０を生成し、２番目以降、ｎ番目までのフレームＦｒａｍｅ＃２～Ｆｒａｍｅ＃ｎについては、署名データ２１０を生成しない。すなわち、署名処理部１０００は、フレームＦｒａｍｅ＃２～Ｆｒａｍｅ＃ｎの（ｎ－１）フレームを間引いて、署名データ２１０を生成する。
　同様に、署名処理部１０００は、次のフレームＦｒａｍｅ＃（ｎ＋１）のＲＡＷデータ２００に基づき署名データ２１０を生成し、次のフレームＦｒａｍｅ＃（ｎ＋２）からフレームＦｒａｍｅ＃２ｎ（図示しない）までは、署名データ２１０を生成しない。
　図１１は、実施形態に係る、動画像に基づき生成される署名データ２１０の出力方法について説明するための図である。図１１において、右方向に時間の経過を示している。図１１に示されるように、署名処理部１０００は、第１番目のフレームＦｒａｍｅ＃１の画像データ＃１（ＲＡＷデータ）に基づく署名データ２１０の生成および暗号化処理を、当該画像データ＃１の出力の後端から、最長で第ｎ番目のフレームＦｒａｍｅ＃ｎの後端までの間に完了させればよい。したがって、各実施形態に係る署名処理部１０００は、図４Ａおよび図４Ｂを用いて説明した既存技術による署名データの生成と比較して、十分に長い時間をかけて署名データ２１０を生成することができる。
　なお、図１１における値ｎ、すなわち、署名データ２１０を生成する間隔は、固定的ではなく、署名データ２１０の生成および暗号化が完了可能な間隔に、適宜に設定することができる。例えば、ホスト装置２０からセンサ１００のレジスタに対して値ｎを設定することが考えられる。
　署名処理部１０００が、例えばセンサ制御部１１０の機能の一部として構成されている場合、署名処理部１０００による署名データ２１０の生成および暗号化処理は、センサ制御部１１０の他の処理と競合しないタイミングで実行される必要がある。図１２は、各実施形態に適用可能な、署名処理部１０００が署名データ２１０の生成および暗号化処理を実行するタイミングを説明するための模式図である。
　図１２において、右方向に時間の経過を示し、上からフレーム同期信号（信号Ｆｓｙｎｃ）、例えばセンサ制御部１１０におけるプロセッサ処理、インタフェース１３０からの出力データをそれぞれ示している。
　プロセッサ処理において、処理＃１は、動作モードの設定など、次のフレームのための処理を示す。処理＃２は、露光やホワイトバランス調整など、画像データ取得後の処理を示す。これら処理＃１および処理＃２は、フレーム毎に実行される。処理＃３および処理＃４は、処理＃１および処理＃２以外の処理であって、例えば、センサ１００のレジスタ通信におけるＭＡＣ(Memory　Access　Control)処理や、センサ１００内における温度計算処理である。処理＃３および処理＃４は、フレーム毎に実行されるわけではない、割り込み処理である。
　例えば、センサ制御部１１０は、署名処理部１０００による署名データ２１０の生成および暗号化処理を、これら処理＃１～＃４の合間の期間Ｐ＃１、Ｐ＃２、…に実行するように制御する。
［４．本開示の第１の実施形態］
　次に、本開示の第１の実施形態について説明する。第１の実施形態は、センサが、画素アレイ部１０１から出力された画像データ（ＲＡＷデータ２００）と、当該画像データに基づき生成され暗号化された署名データ２１０とを、１つのインタフェースから出力する例である。
（４－１．第１の実施形態に係る構成）
　図１３は、第１の実施形態に係るセンサの一例の構成を示すブロック図である。図１３において、センサ１００ａは、画素アレイ部１０１と、署名処理部１０００ａと、出力インタフェース（Ｉ／Ｆ）１０４と、通信・センサ制御部１０５ａと、を含む。
　通信・センサ制御部１０５は、インタフェース１３１を介してホスト装置２０と通信を行う。インタフェース１３１としては、Ｉ2Ｃ(Inter-Integrated　Circuit)やＳＰＩ(Serial　Peripheral　Interface)を適用することができる。これに限らず、インタフェース１３１としてＩ2Ｃを改良したＩ3Ｃ(Improved　Inter　Integrated　Circuits)を適用することもできる。
　また、通信・センサ制御部１０５は、図１０Ａにおけるセンサ制御部１１０に対応するもので、例えばプロセッサとメモリとを含み、プロセッサは、メモリに記憶されるプログラムに従い動作し、このセンサ１００ａの全体の動作を制御する。
　図１３の例では、画素アレイ部１０１は、画素アレイ１０２と、画素制御部１０７と、ＡＤＣ(Analog　to　Digital　Converter)１０８を含むように示されている。これらのうち、画素制御部１０７は、例えば、図６に示す垂直走査部４００と、水平走査・ＡＤ変換部４０２における出力部とに対応する。また、ＡＤＣ１０８は、図６に示す水平走査・ＡＤ変換部４０２におけるＡＤ変換部に対応する。
　署名処理部１０００ａは、データ処理部１０１０と、署名生成部１０２１と、を含む。画素アレイ部１０１から出力されたＲＡＷデータ２００は、データ処理部１０１０に入力される。データ処理部１０１０は、入力されたＲＡＷデータ２００に対して、後段の画像処理部１２０（図示しない）で画像処理を行うための所定のデータ処理を施す。データ処理部１０１０でデータ処理されたＲＡＷデータ２００は、出力Ｉ／Ｆ１０４および署名生成部１０２１に供給される。
　署名生成部１０２１は、データ処理部１０１０から供給されたＲＡＷデータ２００に基づき署名データ２１０を生成する。例えば、署名生成部１０２１は、供給されたＲＡＷデータ２００からハッシュ値を生成し、生成したハッシュ値を署名データ２１０として用いる。これに限らず、署名生成部１０２１は、ＲＡＷデータ２００を一意に特定可能であり、且つ、推測が困難な値であれば、他のアルゴリズムにより生成された値を署名データ２１０として用いることができる。署名生成部１０２１は、生成した署名データ２１０に対して、予め保持する公開鍵暗号方式における秘密鍵を用いて署名データ２１０を暗号化し、暗号化された署名データ２１０を出力Ｉ／Ｆ１０４に供給する。
　以下では、特に記載の無い限り、暗号化された署名データ２１０を、単に「署名データ２１０」と呼ぶ。
　図１４は、第１の実施形態に係るセンサ１００ａにおける署名データ２１０の出力方法について説明するための図である。なお、図１４において、署名データ２１０は、署名データＳｉｇとして示されている。図１４の例では、出力Ｉ／Ｆ１０４は、例えば第１番目のフレームＦｒａｍｅ＃１で出力される、ＲＡＷデータである画像データ＃１に基づき生成された署名データＳｉｇを、第ｎ番目のフレームＦｒａｍｅ＃ｎの、画像データ＃ｎの後ろの、フレームＦｒａｍｅ＃ｎにおいて２番目の［ＦＳ］および［ＦＥ］で挟んで出力する。このように、出力Ｉ／Ｆ１０４は、画像データおよび署名データＳｉｇの出力を制御する出力制御部として機能する。
　この場合、第１番目のフレームＦｒａｍｅ＃１の画像データ＃１の、例えば出力直後の［ＦＥ］から、第ｎ番目のフレームＦｒａｍｅ＃ｎの２番目の［ＦＳ］の直後までが、署名データＳｉｇの生成および暗号化の処理が可能な期間となる。
（４－２．第１の実施形態に適用可能な署名データの出力位置）
　次に、図１５、図１６および図１７を用いて、署名データＳｉｇの出力位置の第１の例、第２の例および第３の例について説明する。なお、図１５～図１７において、署名データＳｉｇの出力と関係の薄い［ＢＬＫ］などは、省略されている。
（署名データＳｉｇの出力位置の第１の例）
　図１５は、第１の実施形態に適用可能な署名データＳｉｇの出力位置の第１の例を示す図である。この図１５に示す第１の例は、上述した図１４における署名データＳｉｇの出力位置に対応するものである。すなわち、出力Ｉ／Ｆ１０４は、第１番目のフレームＦｒａｍｅ＃１で出力された画像データ＃１に基づき生成された署名データＳｉｇを、フレームＦｒａｍｅ＃ｎのスタートおよびエンドを示すパケット（ＳＬＶＳ－ＥＣの場合２組目の［ＦＳ］および［ＦＥ］）で挟んで出力する。
　ここで、出力Ｉ／Ｆ１０４は、各ラインのパケットヘッダにおける識別情報［ＩＤ］の値を、署名データＳｉｇを含む領域と、署名データＳｉｇを含まない領域とで異ならせる。例えば、ＳＬＶＳ－ＥＣの場合、署名データＳｉｇを含む領域（ライン）では、識別情報［ＩＤ］＝［４’ｈ１］とし、署名データＳｉｇを含まない領域（ライン）では、識別情報［ＩＤ］＝［４’ｈ０］とする。なお、［４’ｈ］は、後続する数字が４ビットで表される値であることを示している。
　なお、ＭＩＰＩの場合には、仮想チャネル［ＶＣ］の値を、署名データＳｉｇを含む領域では、仮想チャネル［ＶＣ］＝［２’ｈ１］とし、署名データＳｉｇを含まない領域では、仮想チャネル［ＶＣ］＝［２’ｈ０］とする。なお、［２’ｈ］は、後続する数字が２ビットで表される値であることを示している。これに限らず、ＭＩＰＩの場合、データタイプ［ＤＴ］の値により、署名データＳｉｇを含む領域（ライン）と、署名データＳｉｇを含まない領域（ライン）とを示してもよい。例えば、センサ１００ａからの出力の受信側（例えばホスト装置２０）の構成に合わせて、仮想チャネル［ＶＣ］およびデータタイプ［ＤＴ］のうち何れを用いるかを切り替えることができる。
（署名データＳｉｇの出力位置の第２の例）
　図１６は、第１の実施形態に適用可能な署名データＳｉｇの出力位置の第２の例を示す図である。この第２の例では、フレーム内に、署名データＳｉｇを格納するための埋め込み領域を設ける。例えば、ＳＬＶＳ－ＥＣの場合、パケットヘッダ［Ｐａｃｋｅｔ　Ｈｅａｄｅｒ］における第３１ビットの埋め込みデータを示すフラグ［ＥＢＤ］を立てることで、そのラインを所定のデータの埋め込みが可能な埋め込み領域とすることができる。図１６の例では、出力Ｉ／Ｆ１０４は、第１番目のフレームＦｒａｍｅ＃１で出力された画像データ＃１に基づき生成された署名データＳｉｇを、フレームＦｒａｍｅ＃ｎの画像データ＃ｎの後に署名データＳｉｇ用に設けられた埋め込み領域に埋め込む。
　出力Ｉ／Ｆ１０４は、図１５に示した第１の例と同様に、各ラインのパケットヘッダにおける識別情報［ＩＤ］の値を、署名データＳｉｇを含む領域と、署名データＳｉｇを含まない領域とで異ならせる。例えば、ＳＬＶＳ－ＥＣの場合、署名データＳｉｇを含む領域（ライン）では、識別情報［ＩＤ］＝［４’ｈ１］とし、署名データＳｉｇを含まない領域（ライン）では、識別情報［ＩＤ］＝［４’ｈ０］とする。
　なお、この例において、署名データＳｉｇを出力しないフレームにおいては、例えば、当該ラインにおいてフラグ［ＥＢＤ］をオフにする、フラグ［Ｖａｌｉｄ］を無効を示す値とする、などの対応が考えられる。これに限らず、以前のフレームで求めた署名データＳｉｇを再出力してもよい。また、署名データＳｉｇを出力しないフレームが既知の場合には、何も対応しないことも考えられる。
　なお、ＭＩＰＩの場合には、上述と同様に、仮想チャネル［ＶＣ］あるいはデータタイプ［ＤＴ］の値により、署名データＳｉｇを含むラインと、署名データＳｉｇを含まないラインとを示すことができる。
（署名データＳｉｇの出力位置の第３の例）
　図１７は、第１の実施形態に適用可能な署名データＳｉｇの出力位置の第３の例を示す図である。この第３の例では、通常の画像データによるラインとヘッダ情報を異ならせたラインにより、署名データＳｉｇをラインデータとして出力する。例えば、ＳＬＶＳ－ＥＣの場合、パケットヘッダ［Ｐａｃｋｅｔ　Ｈｅａｄｅｒ］におけるライン番号［Ｌｉｎｅ　Ｎｕｍｂｅｒ］の値で、署名データＳｉｇを含むラインと、署名データＳｉｇを含まないラインとで異ならせることが考えられる。また、ＭＩＰＩの場合、仮想チャネル［ＶＣ］あるいはデータタイプ［ＤＴ］の値を、署名データＳｉｇを含むラインと、署名データＳｉｇを含まないラインとで異ならせることが考えられる。
　出力Ｉ／Ｆ１０４は、図１５に示した第１の例と同様に、各ラインのパケットヘッダにおける識別情報［ＩＤ］の値を、署名データＳｉｇを含むラインと、署名データＳｉｇを含まないラインとで異ならせる。例えば、ＳＬＶＳ－ＥＣの場合、署名データＳｉｇを含むラインでは、識別情報［ＩＤ］＝［４’ｈ１］とし、署名データＳｉｇを含まないラインでは、識別情報［ＩＤ］＝［４’ｈ０］とする。
　なお、上述では、署名データＳｉｇを出力するタイミングが、間引き単位の最後のフレームであるとして説明した。この場合、ＲＡＷデータ２００のｎフレーム毎に生成され、間引き単位が（ｎ－１）フレームであるとすると、第１フレームで出力されるＲＡＷデータ２００に基づき生成される署名データＳｉｇは、第ｎフレームにおいて出力される。
　署名データＳｉｇの出力タイミングは、この例に限定されない。例えば、出力Ｉ／Ｆ１０４は、署名データＳｉｇを、間引き単位の最後のフレームの次のフレームにおいて出力してもよい。この場合、図１４に点線の矢印で示されるように、例えば当該次のフレームの後端の［ＢＬＫ］のタイミングで出力することが考えられる。また例えば、出力Ｉ／Ｆ１０４は、署名データＳｉｇを、当該署名データＳｉｇの演算が終了したタイミングに対応するフレームにおいて出力してもよい。この場合には、出力Ｉ／Ｆ１０４は、署名データＳｉｇを、当該署名データＳｉｇに対応するＲＡＷデータ２００のフレームの次のフレームから、間引き単位の（ｎ－１）フレームの終端までの間に出力することになる。さらに例えば、出力Ｉ／Ｆ１０４は、署名データＳｉｇを、例えば当該署名データＳｉｇに対応するＲＡＷデータ２００のフレームを基準として予め指定されたフレームにおいて出力してもよい。
［５．本開示の第２の実施形態］
　次に、本開示の第２の実施形態について説明する。第２の実施形態は、センサが、画素アレイ部１０１から出力された画像データ（ＲＡＷデータ２００）と、当該画像データに基づき生成され暗号化された署名データ２１０とを、異なるインタフェースから出力する例である。
（５－１．第２の実施形態の概要）
　図１８は、第２の実施形態の概要を説明するための図である。なお、ここでは、説明のため、図１３のセンサ１００ａの構成を参照して説明を行う。図１８において、右方向に時間の経過を示し、上から、フレーム同期信号（信号Ｆｓｙｎｃ）、インタフェース１３３からの出力データ、署名処理部１０００ａの内部状態（内部ステート）、署名処理部１０００ａによる署名データ生成演算の完了通知、通信Ｉ／Ｆ（インタフェース１３１）による出力、をそれぞれ示している。
　例えば、ＲＡＷデータである画像データ＃１のインタフェース１３０からの出力が完了すると、署名生成部１０２１において、当該画像データ＃１に基づく署名データＳｉｇ生成の演算（署名データＳｉｇ生成および暗号化）が開始される。署名生成部１０２１は、時間ｔ10で署名データＳｉｇ生成演算が完了すると、時間ｔ10の直後の時間ｔ11で演算完了を通信・センサ制御部１０５ａに通知する。署名データＳｉｇは、時間ｔ11から所定時間後の時間ｔ12において、インタフェース１３１を介してホスト装置２０により取得される。
　このように、署名データＳｉｇをインタフェース１３１から取得可能とすることで、インタフェース１３０から出力される出力動画データ２３０に対する署名データＳｉｇの埋め込み処理が不要となり、出力Ｉ／Ｆ１０４の負荷を軽減することが可能となる。
　なお、署名生成部１０２１は、生成した署名データＳｉｇに対して、当該署名データＳｉｇに対応するＲＡＷデータ２００を示す情報を付加することができる。この署名データＳｉｇに対するＲＡＷデータ２００を示す情報の付加を、通信・センサ制御部１０５ａが実行してもよい。
　ところで、インタフェース１３１としてＩ2ＣあるいはＳＰＩを用いている場合、センサ１００ａがスレーブ側となる。したがって、これらの通信インタフェースの仕様として、センサ１００ａ側からインタフェース１３１の通信先に対して署名演算完了の通知を送信することができない。
　そのため、第２の実施形態では、生成された署名データＳｉｇを、通信・センサ制御部１０５ａが有するレジスタなどの記憶部に格納し、ホスト装置２０からインタフェース１３１を介して、当該記憶部に格納された署名データＳｉｇを取得できるようにする。そのための具体的な構成として、第２の実施形態では、以下の第１の具体例および第２の具体例を提案する。
（５－２．第２の実施形態の第１の具体例）
　先ず、第２の実施形態の第１の具体例について説明する。図１９は、第２の実施形態の第１の具体例に係るセンサの一例の構成を示すブロック図である。
　この第１の具体例では、図１９に示されるように、センサ１００ｂに外部（例えばホスト装置２０）に対して割り込み信号を送信するための割込信号ポート１３２を設ける。署名処理部１０００ｂにおいて、署名生成部１０２１は、この割込信号ポート１３２に対して割り込み信号を出力する。割込信号ポート１３２およびインタフェース１３１は、ホスト装置２０（図示しない）に接続される。
　図２０は、第２の実施形態の第１の具体例に係る署名データ演算完了の通知方法の例を示す図である。図２０において、右方向に時間の経過を示し、上から、フレーム同期信号（信号Ｆｓｙｎｃ）、インタフェース１３３からの出力データ、署名処理部１０００ｂの内部状態（内部ステート）、割込信号ポート１３２から出力される割り込み信号、通信Ｉ／Ｆ（インタフェース１３１）による出力、をそれぞれ示している。
　署名生成部１０２１は、署名データＳｉｇの生成が時間ｔ10で完了すると、生成された署名データＳｉｇを通信・センサ制御部１０５ｂが有する記憶部としてのレジスタ１０５１に格納する。また、署名生成部１０２１は、時間ｔ10での署名データＳｉｇの生成の完了に伴い、時間ｔ１０の直後の時間ｔ11で、割込信号ポート１３２から演算完了を示す割り込み信号を出力する。
　この割り込み信号に応じて、割込信号ポート１３２に接続されるホスト装置２０によりインタフェース１３１を介して通信・センサ制御部１０５ｂと通信が行われ、時間ｔ11から所定時間後の時間ｔ12で、レジスタ１０５１からの署名データＳｉｇの取得が開始される。例えば、ホスト装置２０は、レジスタ１０５１において署名データＳｉｇが格納されるレジスタアドレスを予め知っており、このレジスタアドレスに基づき、レジスタ１０５１から署名データＳｉｇを読み出す。
　このように、第２の実施形態の第１の具体例では、出力Ｉ／Ｆ１０４と、署名生成部１０２１と、通信・センサ制御部１０５ｂと、により、画像データおよび署名データＳｉｇの出力を制御する出力制御部が構成される。
　なお、図２０の例では、割込信号ポート１３２から、パルス信号として割り込み信号が出力されているが、これはこの例に限定されない。例えば、署名生成部１０２１は、割り込み完了をステートで出力してもよい。例えば、署名生成部１０２１は、演算完了（時間ｔ10）で割込信号ポート１３２をハイ（Ｈｉｇｈ）状態とし、署名データＳｉｇのレジスタ１０５１からの読み出し可能となったタイミング（時間ｔ11）で、割込信号ポート１３２をロー（Ｌｏｗ）状態とすることが考えられる。
（５－３．第２の実施形態の第２の具体例）
　次に、第２の実施形態の第２の具体例について説明する。図２１は、第２の実施形態の第２の具体例に係るセンサの一例の構成を示すブロック図である。
　この第２の具体例では、図２１に示されるように、センサ１００ｃにおいて、署名処理部１０００ｃは、署名生成部１０２１の代わりに署名生成・更新管理部１０２２が設けられる。署名生成・更新管理部１０２２は、上述した署名生成部１０２１と同様に、データ処理部１０１０から供給されたＲＡＷデータに基づき署名データＳｉｇを生成および暗号化を行い、生成された署名データＳｉｇを通信・センサ制御部１０５ｃが有するレジスタ１０５１に格納する。
　それと共に、署名生成・更新管理部１０２２は、レジスタ１０５１に新たに署名データＳｉｇを格納したことを示すステートデータ１０６１を、通信・センサ制御部１０５ｃに送信する。通信・センサ制御部１０５ｃは、このステートデータ１０６１に応じて、レジスタ１０５１の状態を示す情報を更新する。このレジスタ１０５１の状態を示す情報は、インタフェース１３１を介してホスト装置２０（図示しない）からポーリングされる。ホスト装置２０は、ポーリング結果に基づきレジスタ１０５１の状態に変化が検出された場合に、インタフェース１３１を介してレジスタ１０５１にアクセスし、レジスタ１０５１に記憶される署名データＳｉｇを取得する。
　図２２は、第２の実施形態の第２の具体例に係る署名データ演算完了の通知方法の例を示す図である。図２０において、右方向に時間の経過を示し、上から、フレーム同期信号（信号Ｆｓｙｎｃ）、インタフェース１３３からの出力データ、署名処理部１０００ｃの内部状態（内部ステート）、レジスタ１０５１の状態を示す情報（カウント値）、通信Ｉ／Ｆ（インタフェース１３１）による出力、ホスト装置２０からのポーリング、をそれぞれ示している。
　署名生成・更新管理部１０２２は、署名データＳｉｇの生成が時間ｔ10で完了すると、生成された署名データＳｉｇを通信・センサ制御部１０５ｃが有する記憶部としてのレジスタ１０５１に格納すると共に、レジスタ１０５１に新たに署名データＳｉｇを格納したことを示すステートデータ１０６１を、通信・センサ制御部１０５ｃに送信する。
　通信・センサ制御部１０５ｃは、このステートデータ１０６１に応じて、レジスタ１０５１の状態を示す情報を更新する。図２２の例では、通信・センサ制御部１０５ｃは、カウンタを有し、署名生成・更新管理部１０２２から、レジスタ１０５１に新たに署名データＳｉｇを格納したことを示すステートデータ１０６１を受信すると、カウンタのカウント値を１だけインクリメントする。図２２の例では、時間ｔ11の前後で、レジスタの状態を示すカウント値が［０］から［１］にインクリメントされている。このカウント値は、例えばレジスタ１０５１に書き込まれる。
　一方、インタフェース１３１に接続されるホスト装置２０は、所定の周期でインタフェース１３１を介してレジスタ１０５１に対してポーリングを行い、レジスタの状態を示すカウント値を取得する。ホスト装置２０は、取得したカウント値が前回取得したカウント値と異なっている場合に、新たな署名データＳｉｇがレジスタ１０５１に格納されたとして、時間ｔ20において、レジスタ１０５１からの当該署名データＳｉｇの読み出しを開始する。
　このように、第２の実施形態の第２の具体例では、出力Ｉ／Ｆ１０４と、署名生成・更新管理部１０２２と、通信・センサ制御部１０５ｃと、により、画像データおよび署名データＳｉｇの出力を制御する出力制御部が構成される。
　なお、上述では、通信・センサ制御部１０５ｃは、レジスタ１０５１の状態を示す情報として、ステートデータ１０６１に応じてインクリメントされるカウント値を用いているが、これはこの例に限定されない。例えば、通信・センサ制御部１０５ｃは、ステートデータ１０６１に応じて例えばハイ状態とロー状態とが切り替わることで、レジスタ１０５１の状態を示してもよい。
［６．本開示の第３の実施形態］
　次に、本開示の第３の実施形態について説明する。本開示の第３の実施形態は、複数の画像データを含む画像データグループに対して署名データＳｉｇを生成する例である。センサの構成としては、第１の実施形態に係るセンサ１００ａ、ならびに、第２の実施形態の第１、第２の具体例によるセンサ１００ｂおよび１００ｃの何れも適用可能である。以下では、第３の実施形態に対して第１の実施形態に係るセンサ１００ａを適用させるものとして説明を行う。
　ここでは、画像データグループとして、ｉＴｏＦ（間接ＴｏＦ(Time　of　Flight)）方式の測距処理において撮像される画像データを例にとって適用する。ｉＴｏＦ方式は、例えばＰＷＭ(Pulse　Width　Modulation)により変調された光源光（例えば赤外領域のレーザ光）を被測定物に照射してその反射光を受光素子にて受光し、受光された反射光における位相差に基づき、被測定物に対する測距を行う技術である。一例として、ｉＴｏＦにおける撮像では、光源からの射出光に対して位相が９０°ずつ異なる、位相０°、位相９０°、位相１８０°および位相２７０°の各位相において、光量値Ｃ0、Ｃ90、Ｃ180およびＣ270をそれぞれ取得する。
　これら光量値Ｃ0、Ｃ90、Ｃ180およびＣ270のうち、次式（２）および式（３）に示されるように、位相が１８０°異なる光量値の組み合わせに基づき、差分Ｉと差分Ｑとを求める。
Ｉ＝Ｃ0－Ｃ180　　…（２）
Ｑ＝Ｃ90－Ｃ270　　…（３）
　これら差分ＩおよびＱに基づき、位相差ｐｈａｓｅは、次式（４）により算出される。なお、式（４）において、位相差ｐｈａｓｅは、（０≦ｐｈａｓｅ＜２π）の範囲で定義される。
ｐｈａｓｅ＝ｔａｎ-1(Ｑ／Ｉ)　　…（４）
　位相差ｐｈａｓｅと、所定の係数ｒａｎｇｅとを用いて、距離情報Ｄｅｐｔｈは、次式（５）により算出される。
Ｄｅｐｔｈ＝(ｐｈａｓｅ×ｒａｎｇｅ)／２π　　…（５）
　上述の例において、フレームＦｒａｍｅ＃１で位相０°の露光による画像データ（ｉＴｏＦデータ０°）が取得され、次のフレームＦｒａｍｅ＃２で位相１８０°の露光による画像データ（ｉＴｏＦデータ１８０°）が取得されるものとする。さらに、フレームＦｒａｍｅ＃３で位相９０°の露光による画像データ（ｉＴｏＦ９０°が取得され、次のフレームＦｒａｍｅ＃４（図示しない）で位相２７０°の露光による画像データ（ｉＴｏＦ２７０°）が取得されるものとする。
　図２３は、第３の実施形態に係る署名データの生成および出力の例を示す図である。図２３の例において、署名生成部１０２１は、例えばｉＴｏＦデータ０°とｉＴｏＦデータ１８０°とを纏めて、１つの画像データグループを構成する。署名生成部１０２１は、この画像データグループに含まれるｉＴｏＦデータ０°と、ｉＴｏＦデータ１８０°とに基づき、署名データＳｉｇを生成する。図２３の例では、署名生成部１０２１は、ｉＴｏＦデータ０°と、ｉＴｏＦデータ１８０°とを統合して一つの署名データＳｉｇを生成している。生成された署名データＳｉｇは、例えばフレームＦｒａｍｅ＃ｎの所定の位置に出力される。
　ｉＴｏＦデータ９０°およびｉＴｏＦデータ２７０°についても同様に、署名生成部１０２１は、ｉＴｏＦデータ９０°とｉＴｏＦデータ２７０°とを纏めて１つの画像データグループを構成し、この画像データグループに含まれるｉＴｏＦデータ９０°と、ｉＴｏＦデータ２７０°とに基づき、署名データＳｉｇを生成する。図示は省略するが、生成された署名データＳｉｇは、例えばフレームＦｒａｍｅ＃（ｎ＋２）の所定の位置に出力される。
　これに限らず、署名生成部１０２１は、１つの画像データグループに含まれる複数の画像データそれぞれについて署名データＳｉｇを生成してもよい。この場合、生成された複数の署名データＳｉｇは、同一のフレームに対して出力することができる。
　このように、複数フレームで意味を成すような画像データによる画像データグループに対して署名データＳｉｇを生成することで、この複数フレームの画像データを用いた処理に対する信頼性を高めることができる。
　なお、上述では、第３の実施形態による署名データＳｉｇの生成および出力方法を、ｉＴｏＦ方式の測距処理において取得された画像データに対して適用しているが、これはこの例に限定されない。すなわち、画像データグループには、複数フレームで意味を成すような画像データであれば、他の種類の画像データを含めてもよい。また、上述では、２つの画像データを１つの画像データグループに纏めているが、これはこの例に限定されず、３以上の画像データを１つの画像データグループに纏めてもよい。
［７．本開示の第４の実施形態］
　次に、本開示の第７の実施形態として、本開示の第１の実施形態、第２の実施形態および第３の実施形態の適用例について説明する。図２４は、第４の実施形態による、上述の第１の実施形態、第２の実施形態および第３の実施形態を適用可能なカメラ１０を使用する使用例を示す図である。
　上述したカメラ１０は、例えば、以下のように、可視光や、赤外光、紫外光、Ｘ線等の光をセンシングする様々なケースに使用することができる。
・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置。
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置。
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、ＴＶや、冷蔵庫、エアーコンディショナ等の家電に供される装置。
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置。
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置。
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置。
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置。
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置。
（移動体への適用例）
　次に、本開示に係る技術のさらなる適用例について説明する。本開示に係る技術は、さらに、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボットといった各種の移動体に搭載される装置に対して適用されてもよい。
　図２５は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図２５に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、および統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、および車載ネットワークＩ／Ｆ（インタフェース）１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、および、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット１２０３０は、例えば、受信した画像に対して画像処理を施し、画像処理の結果に基づき物体検出処理や距離検出処理を行う。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ(Advanced　Driver　Assistance　System)の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声および画像のうちの少なくとも一方の出力信号を送信する。図２５の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２およびインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイおよびヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図２６は、撮像部１２０３１の設置位置の例を示す図である。図２６では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４および１２１０５を有する。
　撮像部１２１０１、１２１０２、１２１０３、１２１０４および１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドアおよび車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１および車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１および１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図２５には、撮像部１２１０１～１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２および１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２および１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１～１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１～１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１～１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１～１２１０４から得られた距離情報を基に、撮像範囲１２１１１～１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１～１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１～１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１～１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１～１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１～１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部１２０３１に適用され得る。具体的には、上述した上述の第１の実施形態および第２の実施形態を適用可能なカメラ１０を撮像部１２０３１に適用することができる。撮像部１２０３１に本開示に係る技術を適用することにより、真贋証明可能な動画像を低負荷で出力することが可能となる。また、それにより、車載装置として、消費電力の低減化、装置の小型化が可能となる。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　行列状の配列で配置され、それぞれ露光により受光した光に応じた画素信号を生成する複数の画素を含み、前記複数の画素で生成された前記画素信号それぞれによる画像データを、フレーム周期で出力する画素アレイ部と、
　前記画像データに基づき署名データを生成する署名生成部と、
　前記画像データおよび前記署名データの出力を制御する出力制御部と、
を備え、
　前記署名生成部は、
　前記フレーム周期で出力される前記画像データをフレーム周期に基づく間引き単位で間引いて前記署名データを生成する、
撮像装置。
（２）
　前記出力制御部は、
　前記署名データを、該署名データに対応する前記画像データの出力タイミングに対して所定の時間を経過したタイミングで出力する、
前記（１）に記載の撮像装置。
（３）
　前記出力制御部は、
　前記画像データと前記署名データとを同一の出力端から出力する、
前記（１）または（２）に記載の撮像装置。
（４）
　前記出力制御部は、
　前記署名データを、該署名データを生成した前記画像データに対して前記間引き単位で間引いた最後のフレームに出力する、
前記（３）に記載の撮像装置。
（５）
　前記出力制御部は、
　前記署名データを、該署名データを生成した前記画像データに対して前記間引き単位で間引いた最後のフレームの次のフレームに出力する、
前記（３）に記載の撮像装置。
（６）
　前記出力制御部は、
　前記署名データを、前記署名生成部において前記署名データが生成されたタイミングに対応するフレームに出力する、
前記（３）に記載の撮像装置。
（７）
　前記出力制御部は、
　前記署名データを、該署名データを生成した前記画像データに対して所定フレーム後の、予め指定されたフレームに出力する、
前記（３）に記載の撮像装置。
（８）
　前記出力制御部は、
　前記署名データを、フレーム開始を示す情報と、フレーム終了を示す情報とを付加して出力する、
前記（３）乃至（７）の何れかに記載の撮像装置。
（９）
　前記出力制御部は、
　前記署名データを、前記画像データのフレームにおける埋め込みデータ領域に格納して出力する、
前記（３）乃至（７）の何れかに記載の撮像装置。
（１０）
　前記出力制御部は、
　前記画像データに対して、前記配列の行方向のラインを追加し、前記署名データを、前記画像データに追加された前記ラインに格納して出力する、
前記（３）乃至（７）の何れかに記載の撮像装置。
（１１）
　前記出力制御部は、
　ホスト装置と通信を行うための、前記画像データを出力するための出力端と異なる通信端子と、
　前記ホスト装置から前記通信端子を介してアクセス可能な記憶部と、
を含み、
　前記署名生成部により前記記憶部に書き込まれた前記署名データが前記通信端子から出力される、
前記（１）または（２）に記載の撮像装置。
（１２）
　前記ホスト装置に対して割り込み信号を送信するための割込信号ポートをさらに備え、
　前記署名生成部は、
　生成した前記署名データを前記記憶部に格納し、前記署名データが生成されたタイミングに対応して、前記割込信号ポートから前記署名データが生成されたことを示す割り込み信号を出力し、該割り込み信号に応じて前記ホスト装置により前記記憶部に格納される前記署名データが読み出されることで、前記署名データを出力する、
前記（１１）に記載の撮像装置。
（１３）
　前記署名生成部は、
　生成した前記署名データを前記記憶部に格納すると共に、前記記憶部における該記憶部の状態を示す状態情報を変更し、
　前記出力制御部は、
　前記通信端子を介して前記ホスト装置からポーリングされて前記状態情報を前記ホスト装置により確認され、前回のポーリングから前記状態情報が変化している場合に前記ホスト装置により前記記憶部に格納される前記署名データが読み出されることで、前記署名データを出力する、
前記（１１）に記載の撮像装置。
（１４）
　前記署名生成部は、
　複数の前記画像データをグルーピングした画像データグループ単位で前記署名データを生成する、
前記（１）乃至（１３）の何れかに記載の撮像装置。
（１５）
　前記署名生成部は、
　前記画像データグループに含まれる複数の前記画像データを統合して１つの前記署名データを生成する、
前記（１４）に記載の撮像装置。
（１６）
　前記署名生成部は、
　前記画像データグループに含まれる複数の前記画像データそれぞれに対して前記署名データをそれぞれ生成する、
前記（１４）に記載の撮像装置。
（１７）
　前記出力制御部は、
　前記署名データを公開鍵暗号方式における秘密鍵を用いて暗号化して出力する、
前記（１）乃至（１６）の何れかに記載の撮像装置。
（１８）
　前記画素アレイ部と、前記署名生成部と、前記出力制御部と、が一体的に構成される、
前記（１）乃至（１７）の何れかに記載の撮像装置。
（１９）
　前記画素アレイ部が配置される第１のチップと、
　前記前記署名生成部と、前記出力制御部と、が配置され、前記第１のチップと貼り合わされる第２のチップと、
により構成される、
前記（１８）に記載の撮像装置。
（２０）
　プロセッサにより実行される、
　行列状の配列で配置され、それぞれ露光により受光した光に応じた画素信号を生成する複数の画素を含む画素アレイ部から、前記複数の画素で生成された前記画素信号それぞれによる画像データをフレーム周期で出力するステップと、
　前記画像データに基づき署名データを生成する署名生成ステップと、
　前記画像データおよび前記署名データの出力を制御する出力制御ステップと、
を有し、
　前記署名生成ステップは、
　前記フレーム周期で出力される前記画像データをフレーム周期に基づく間引き単位で間引いて前記署名データを生成する、
撮像方法。
１０，２０００　カメラ
２０　ホスト装置
３０　表示装置
１００，１００ａ，１００ｂ，１００ｃ　センサ
１０１　画素アレイ部
１０３　画素
１０４　出力Ｉ／Ｆ
１０５ａ，１０５ｂ，１０５ｃ　通信・センサ制御部
１１０　センサ制御部
１２０　画像処理部
１３０，１３１　インタフェース
１３２　割込信号ポート
２００　ＲＡＷデータ
２１０　署名データ
１０００　署名処理部
１０２１　署名生成部
１０２２　署名生成・更新管理部
１０５１　レジスタ

Claims (20)

  1. 　行列状の配列で配置され、それぞれ露光により受光した光に応じた画素信号を生成する複数の画素を含み、前記複数の画素で生成された前記画素信号それぞれによる画像データを、フレーム周期で出力する画素アレイ部と、
    　前記画像データに基づき署名データを生成する署名生成部と、
    　前記画像データおよび前記署名データの出力を制御する出力制御部と、
    を備え、
    　前記署名生成部は、
    　前記フレーム周期で出力される前記画像データをフレーム周期に基づく間引き単位で間引いて前記署名データを生成する、
    撮像装置。
  2. 　前記出力制御部は、
    　前記署名データを、該署名データに対応する前記画像データの出力タイミングに対して所定の時間を経過したタイミングで出力する、
    請求項１に記載の撮像装置。
  3. 　前記出力制御部は、
    　前記画像データと前記署名データとを同一の出力端から出力する、
    請求項１に記載の撮像装置。
  4. 　前記出力制御部は、
    　前記署名データを、該署名データを生成した前記画像データに対して前記間引き単位で間引いた最後のフレームに出力する、
    請求項３に記載の撮像装置。
  5. 　前記出力制御部は、
    　前記署名データを、該署名データを生成した前記画像データに対して前記間引き単位で間引いた最後のフレームの次のフレームに出力する、
    請求項３に記載の撮像装置。
  6. 　前記出力制御部は、
    　前記署名データを、前記署名生成部において前記署名データが生成されたタイミングに対応するフレームに出力する、
    請求項３に記載の撮像装置。
  7. 　前記出力制御部は、
    　前記署名データを、該署名データを生成した前記画像データに対して所定フレーム後の、予め指定されたフレームに出力する、
    請求項３に記載の撮像装置。
  8. 　前記出力制御部は、
    　前記署名データを、フレーム開始を示す情報と、フレーム終了を示す情報とを付加して出力する、
    請求項３に記載の撮像装置。
  9. 　前記出力制御部は、
    　前記署名データを、前記画像データのフレームにおける埋め込みデータ領域に格納して出力する、
    請求項３に記載の撮像装置。
  10. 　前記出力制御部は、
    　前記画像データに対して、前記配列の行方向のラインを追加し、前記署名データを、前記画像データに追加された前記ラインに格納して出力する、
    請求項３に記載の撮像装置。
  11. 　前記出力制御部は、
    　ホスト装置と通信を行うための、前記画像データを出力するための出力端と異なる通信端子と、
    　前記ホスト装置から前記通信端子を介してアクセス可能な記憶部と、
    を含み、
    　前記署名生成部により前記記憶部に書き込まれた前記署名データが前記通信端子から出力される、
    請求項１に記載の撮像装置。
  12. 　前記ホスト装置に対して割り込み信号を送信するための割込信号ポートをさらに備え、
    　前記署名生成部は、
    　生成した前記署名データを前記記憶部に格納し、前記署名データが生成されたタイミングに対応して、前記割込信号ポートから前記署名データが生成されたことを示す割り込み信号を出力し、該割り込み信号に応じて前記ホスト装置により前記記憶部に格納される前記署名データが読み出されることで、前記署名データを出力する、
    請求項１１に記載の撮像装置。
  13. 　前記署名生成部は、
    　生成した前記署名データを前記記憶部に格納すると共に、前記記憶部における該記憶部の状態を示す状態情報を変更し、
    　前記出力制御部は、
    　前記通信端子を介して前記ホスト装置からポーリングされて前記状態情報を前記ホスト装置により確認され、前回のポーリングから前記状態情報が変化している場合に前記ホスト装置により前記記憶部に格納される前記署名データが読み出されることで、前記署名データを出力する、
    請求項１１に記載の撮像装置。
  14. 　前記署名生成部は、
    　複数の前記画像データをグルーピングした画像データグループに対して前記署名データを生成する、
    請求項１に記載の撮像装置。
  15. 　前記署名生成部は、
    　前記画像データグループに含まれる複数の前記画像データを統合して１つの前記署名データを生成する、
    請求項１４に記載の撮像装置。
  16. 　前記署名生成部は、
    　前記画像データグループに含まれる複数の前記画像データそれぞれに対して前記署名データをそれぞれ生成する、
    請求項１４に記載の撮像装置。
  17. 　前記出力制御部は、
    　前記署名データを公開鍵暗号方式における秘密鍵を用いて暗号化して出力する、
    請求項１に記載の撮像装置。
  18. 　前記画素アレイ部と、前記署名生成部と、前記出力制御部と、が一体的に構成される、
    請求項１に記載の撮像装置。
  19. 　前記画素アレイ部が配置される第１のチップと、
    　前記署名生成部と、前記出力制御部と、が配置され、前記第１のチップと貼り合わされる第２のチップと、
    により構成される、
    請求項１８に記載の撮像装置。
  20. 　プロセッサにより実行される、
    　行列状の配列で配置され、それぞれ露光により受光した光に応じた画素信号を生成する複数の画素を含む画素アレイ部から、前記複数の画素で生成された前記画素信号それぞれによる画像データをフレーム周期で出力するステップと、
    　前記画像データに基づき署名データを生成する署名生成ステップと、
    　前記画像データおよび前記署名データの出力を制御する出力制御ステップと、
    を有し、
    　前記署名生成ステップは、
    　前記フレーム周期で出力される前記画像データをフレーム周期に基づく間引き単位で間引いて前記署名データを生成する、
    撮像方法。
PCT/JP2022/003026 2021-02-08 2022-01-27 撮像装置および撮像方法 Ceased WO2022168721A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2022579490A JPWO2022168721A1 (ja) 2021-02-08 2022-01-27
EP22749595.9A EP4290855A4 (en) 2021-02-08 2022-01-27 IMAGE CAPTURE DEVICE AND IMAGE CAPTURE METHOD
US18/260,716 US20240056310A1 (en) 2021-02-08 2022-01-27 Imaging device and imaging method
CN202280008361.3A CN116803092A (zh) 2021-02-08 2022-01-27 成像装置和成像方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021018593 2021-02-08
JP2021-018593 2021-02-08

Publications (1)

Publication Number Publication Date
WO2022168721A1 true WO2022168721A1 (ja) 2022-08-11

Family

ID=82741532

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/003026 Ceased WO2022168721A1 (ja) 2021-02-08 2022-01-27 撮像装置および撮像方法

Country Status (6)

Country Link
US (1) US20240056310A1 (ja)
EP (1) EP4290855A4 (ja)
JP (1) JPWO2022168721A1 (ja)
CN (1) CN116803092A (ja)
TW (1) TW202234875A (ja)
WO (1) WO2022168721A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12427999B2 (en) * 2022-06-14 2025-09-30 Samsung Electronics Co., Ltd. Controller for processing image data, image processing system including controller, and method of operating controller
US20230419740A1 (en) * 2022-06-28 2023-12-28 Shanghai United Imaging Intelligence Co., Ltd. Non-invasive biometric system and method for encoding anatomical features as biometric data
JP2025062403A (ja) * 2023-10-02 2025-04-14 キヤノン株式会社 撮像装置、撮像方法、及びコンピュータプログラム
US12256020B1 (en) * 2024-06-21 2025-03-18 Purple Squid LLC Systems and methods for generating attested data

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005184045A (ja) * 2003-12-15 2005-07-07 Canon Inc 撮像装置及びその制御方法、制御プログラム及び記録媒体
JP2017041841A (ja) * 2015-08-21 2017-02-23 パナソニックＩｐマネジメント株式会社 署名生成システム、署名生成装置及び署名生成方法
JP2017184198A (ja) 2016-03-31 2017-10-05 ソニー株式会社 イメージセンサ、撮像装置、イメージセンサ特定方法、画像偽造防止方法および画像改変制限方法
JP2018189469A (ja) * 2017-05-01 2018-11-29 株式会社リコー 検証システム、検証装置、撮像装置、プログラム
JP2019020431A (ja) * 2017-07-11 2019-02-07 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及び情報処理装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9258127B2 (en) * 2012-07-09 2016-02-09 Cisco Technology, Inc. System and method for providing cryptographic video verification

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005184045A (ja) * 2003-12-15 2005-07-07 Canon Inc 撮像装置及びその制御方法、制御プログラム及び記録媒体
JP2017041841A (ja) * 2015-08-21 2017-02-23 パナソニックＩｐマネジメント株式会社 署名生成システム、署名生成装置及び署名生成方法
JP2017184198A (ja) 2016-03-31 2017-10-05 ソニー株式会社 イメージセンサ、撮像装置、イメージセンサ特定方法、画像偽造防止方法および画像改変制限方法
JP2018189469A (ja) * 2017-05-01 2018-11-29 株式会社リコー 検証システム、検証装置、撮像装置、プログラム
JP2019020431A (ja) * 2017-07-11 2019-02-07 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及び情報処理装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4290855A4

Also Published As

Publication number Publication date
TW202234875A (zh) 2022-09-01
EP4290855A1 (en) 2023-12-13
CN116803092A (zh) 2023-09-22
EP4290855A4 (en) 2024-07-24
JPWO2022168721A1 (ja) 2022-08-11
US20240056310A1 (en) 2024-02-15

Similar Documents

Publication Publication Date Title
WO2022168721A1 (ja) 撮像装置および撮像方法
JP7342197B2 (ja) 撮像装置及び撮像装置の制御方法
US11336860B2 (en) Solid-state image capturing device, method of driving solid-state image capturing device, and electronic apparatus
JP2022028982A (ja) 固体撮像装置、信号処理チップ、および、電子機器
US20190373195A1 (en) Information processing apparatus, information processing method, and recording medium
US20200185443A1 (en) Solid-state imaging element and method for manufacturing the same, and electronic device
WO2018190126A1 (ja) 固体撮像装置、及び電子機器
CN103583041A (zh) 用于提供完整的车辆周围环境图像的车辆摄像机系统和方法
KR102493027B1 (ko) 촬상 소자 및 그 구동 방법, 그리고 전자 기기
JP2019012968A (ja) 固体撮像装置、及び電子機器
WO2022130888A1 (ja) 撮像装置
JP2020065231A (ja) 固体撮像装置および電子機器
WO2020153054A1 (ja) 撮像装置及び電子機器
US20250006751A1 (en) Imaging device and electronic apparatus
US20240078803A1 (en) Information processing apparatus, information processing method, computer program, and sensor apparatus
WO2022054742A1 (ja) 撮像素子及び撮像装置
US11356656B2 (en) Signal processing device, signal processing method, and signal processing system
WO2023171623A1 (ja) 信号処理装置及び信号処理方法
WO2024043068A1 (ja) 固体撮像素子および電子機器
WO2022181265A1 (ja) 画像処理装置、画像処理方法及び画像処理システム
WO2022158246A1 (ja) 撮像装置
US11451737B2 (en) Imaging device
WO2020090459A1 (ja) 固体撮像装置、及び電子機器
WO2021070440A1 (ja) センシングデバイス、信号処理システム、および、センシングデバイスの制御方法
JP2021125836A (ja) 撮像装置及び電子機器

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22749595

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202280008361.3

Country of ref document: CN

ENP Entry into the national phase

Ref document number: 2022579490

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 18260716

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022749595

Country of ref document: EP

Effective date: 20230908

WWW Wipo information: withdrawn in national office

Ref document number: 2022749595

Country of ref document: EP