WO2024004519A1 - 情報処理装置及び情報処理方法 - Google Patents

情報処理装置及び情報処理方法 Download PDF

Info

Publication number
WO2024004519A1
WO2024004519A1 PCT/JP2023/020588 JP2023020588W WO2024004519A1 WO 2024004519 A1 WO2024004519 A1 WO 2024004519A1 JP 2023020588 W JP2023020588 W JP 2023020588W WO 2024004519 A1 WO2024004519 A1 WO 2024004519A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
sensor
event
information processing
processing device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2023/020588
Other languages
English (en)
French (fr)
Inventor
佳孝 宮谷
俊宏 宮部
慶 中川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to US18/876,772 priority Critical patent/US20250373939A1/en
Priority to CN202380048952.8A priority patent/CN119422369A/zh
Priority to JP2024530596A priority patent/JPWO2024004519A1/ja
Priority to EP23830969.4A priority patent/EP4550770A4/en
Publication of WO2024004519A1 publication Critical patent/WO2024004519A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/665—Control of cameras or camera modules involving internal camera communication with the image sensor, e.g. synchronising or multiplexing SSIS control signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—Three-dimensional [3D] imaging with simultaneous measurement of time-of-flight at a two-dimensional [2D] array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/707—Pixels for event detection

Definitions

  • the present disclosure relates to an information processing device and an information processing method.
  • CMOS Complementary Metal Oxide Semiconductor
  • EVS Event-based Vision Sensor
  • the present disclosure proposes an information processing device and an information processing method that can suppress a reduction in transfer efficiency.
  • an information processing device includes first data generated by a first sensor in synchronization with a first reference signal, and first data generated by a second sensor. a first receiving unit that receives the second data, and a transmitting unit that transmits the first data and at least a part of the second data as third data synchronized with a second reference signal. and.
  • FIG. 1 is a functional block diagram showing a schematic configuration example of an imaging device according to an embodiment of the present disclosure.
  • 2 is a timing chart for explaining a schematic operation example of an imaging device according to a first operation example of an embodiment of the present disclosure.
  • 7 is a timing chart for explaining a schematic operation example of an imaging device according to a second operation example of an embodiment of the present disclosure.
  • FIG. 7 is a diagram illustrating an example data structure of third output data according to an embodiment of the present disclosure.
  • FIG. 2 is a diagram illustrating a configuration example of first and second signal processing devices according to a first example of an embodiment of the present disclosure.
  • FIG. 7 is a diagram illustrating a configuration example of first and second signal processing devices according to a second example of an embodiment of the present disclosure.
  • FIG. 1 is a functional block diagram showing a schematic configuration example of an imaging device according to an embodiment of the present disclosure.
  • 2 is a timing chart for explaining a schematic operation example of an imaging device according to a first operation example of an
  • FIG. 1 is a functional block diagram showing a schematic configuration example of an imaging device according to a first example of an embodiment of the present disclosure.
  • 1 is a timing chart showing a schematic operation example of an imaging device according to a first example of an embodiment of the present disclosure.
  • FIG. 2 is a functional block diagram showing a schematic configuration example of an imaging device according to a second example of an embodiment of the present disclosure.
  • 12 is a timing chart illustrating a schematic operation example of an imaging device according to a second example of an embodiment of the present disclosure.
  • FIG. 3 is a functional block diagram showing a schematic configuration example of an imaging device according to a third example of an embodiment of the present disclosure.
  • 12 is a timing chart illustrating a schematic operation example of an imaging device according to a third example of an embodiment of the present disclosure.
  • FIG. 3 is a functional block diagram showing a schematic configuration example of an imaging device according to a fourth example of an embodiment of the present disclosure. 12 is a timing chart illustrating a schematic operation example of an imaging device according to a fourth example of an embodiment of the present disclosure.
  • FIG. 3 is a diagram for explaining debrar correction and frame interpolation according to an embodiment of the present disclosure.
  • FIG. 3 is a diagram for explaining frame interpolation according to an embodiment of the present disclosure.
  • FIG. 3 is a diagram for explaining frame interpolation of depth information according to an embodiment of the present disclosure.
  • FIG. 3 is a diagram (part 1) for explaining effects obtained by frame interpolation of depth information according to an embodiment of the present disclosure.
  • FIG. 1 is a block diagram illustrating an example of a system configuration of an imaging device according to an embodiment of the present disclosure.
  • FIG. 1 is a block diagram illustrating a schematic configuration example of a hybrid sensor according to an embodiment of the present disclosure.
  • FIG. 2 is a block diagram illustrating another schematic configuration example of a hybrid sensor according to an embodiment of the present disclosure.
  • FIG. 1 is a schematic diagram showing an example of a pixel arrangement of a hybrid sensor according to an embodiment of the present disclosure.
  • FIG. 3 is a schematic diagram showing another example of a pixel arrangement of a hybrid sensor according to an embodiment of the present disclosure.
  • 1 is a diagram showing an example of a stacked structure of a solid-state imaging device according to an embodiment of the present disclosure.
  • FIG. 1 is a block diagram showing an example of a schematic configuration of a vehicle control system.
  • FIG. 2 is an explanatory diagram showing an example of installation positions of an outside-vehicle information detection section and an imaging section.
  • One embodiment 1.1 Schematic configuration example 1.2 Schematic operation example 1.2.1 First operation example (asynchronous type) 1.2.2 Second operation example (synchronous type) 1.3 Structure example of third output data 1.4 Configuration example of signal processing device 1.4.1 First example 1.4.2 Second example 1.5 Specific example of imaging device 1.5.1 Part 1 example 1.5.2 2nd example 1.5.3 3rd example 1.5.4 4th example 1.6 Regarding debrar correction and frame interpolation 1.7 Regarding frame interpolation of depth information 1.8 Imaging device Configuration examples 1.8.1 First configuration example 1.8.2 Second configuration example 1.8.3 Third configuration example 1.9 Specific configuration examples 1.10 Configuration example of hybrid sensor 1.10.1 Hybrid Other configuration examples of sensors 1.10.2 Pixel arrangement examples of hybrid sensors 1.10.3 Other pixel arrangement examples of hybrid sensors 1.11 Laminated structure examples of solid-state imaging devices 2. Example of application to mobile objects
  • FIG. 1 is a functional block diagram showing a schematic configuration example of an imaging device according to this embodiment.
  • the imaging device 1 includes a plurality of sensors including a first sensor 11 and a second sensor 12, a first signal processing device 13, and a second signal processing device 14.
  • the first sensor 11 is configured to, for example, produce a color image (including a multispectral image that includes wavelength components other than the RGB primary colors) and/or a monochrome image (including a special light image such as infrared light).
  • a color image including a multispectral image that includes wavelength components other than the RGB primary colors
  • a monochrome image including a special light image such as infrared light.
  • Various sensors may be used, such as an image sensor that obtains the distance to the object within the angle of view, a distance sensor that obtains the distance (also referred to as depth) to the object within the angle of view, and an inertial measurement device that detects acceleration, angular acceleration, and the like.
  • CMOS Complementary Metal Oxide Semiconductor
  • ToF sensor of a direct ToF type or an indirect ToF type is exemplified as a distance measuring sensor.
  • This EVS may be of a synchronous type in which two or more pixels synchronously detect events, or may be an asynchronous type in which pixels independently detect events.
  • the first signal processing device 13 is, for example, an FPGA (Field Programmable Gate Array), an MCU (Micro Controller Unit), an MPU (Micro Processor Unit), a DSP (Digital Signal Processor), or an ASIC (Application Specific Integrated Circuit).
  • ASSP It consists of a processing device such as an application specific standard product, and among the first output data output from the first sensor 11 and the second output data output from the second sensor 12, the latter stage second output data is Data required for processing in the signal processing device 14 is selectively output as third output data.
  • the second signal processing device 14 includes, for example, an application processor, and performs Debrar correction, frame interpolation, recognition processing, and SLAM (Simultaneous Localization) based on the third output data input from the first signal processing device 13. and Mapping) (hereinafter also referred to as predetermined processing).
  • the second signal processing device 14 may specify data to request from the first signal processing device 13 by transmitting a request to the first signal processing device 13.
  • FIG. 2 is a timing chart for explaining a schematic operation example of the imaging device according to the first operation example of the present embodiment. Note that FIG. 2 illustrates a case where the first sensor 11 is an image sensor and the second sensor 12 is an asynchronous EVS.
  • the first sensor 11 synchronizes with the first reference signal that rises (or falls) at a predetermined first frame period, thereby allowing the first sensor 11 to capture the frame specified by the first reference signal. During the period, pixel exposure and pixel signal reading from the exposed pixels are performed, and one frame worth of pixel signals read from all pixels is output as first output data D1. Further, the first sensor 11 generates an exposure timing signal indicating that the pixel is in the exposure period, and inputs this to the second sensor 12.
  • the second sensor 12 collects the position information (address, etc.) of the pixel that detected the event, the polarity of the detected event (positive event or negative event), and the event at the timing when the event is detected in each pixel.
  • information indicating the time when the event was detected time stamp, etc.
  • information indicating whether the timing at which the event was detected is during the exposure period of the first sensor 11 (hereinafter referred to as an exposure period flag).
  • Event data is generated, and the generated event data is outputted as second output data (event stream) D2 at any time.
  • the exposure period flag may be generated based on the exposure timing signal input from the first sensor 11.
  • the second output data D2 may be output after being synchronized (framed) with a reference signal having a period and/or phase different from that of the first reference signal.
  • the first signal processing device 13 processes the first output data D1 input from the first sensor 11 by synchronizing with the second reference signal that rises (or falls) at a predetermined second frame period. and the second output data D2 that can be input from the second sensor 12 to generate frame data, and output the generated frame data as third output data D3.
  • the first signal processing device 13 determines whether the event indicated by each event data in the second output data D2 is an event detected during the exposure period based on the exposure period flag.
  • event data of an event detected during the exposure period (this is also referred to as 2-a output data D2a), and event data of an event detected outside the exposure period (this is also referred to as 2-b output data D2b). may be treated separately.
  • the first signal processing device 13 transmits the requested data.
  • the third output data D3 may be generated by including it in the frame data.
  • the first signal processing device 13 Frame data including both the second output data D2a and the second b output data D2b may be generated.
  • first frame period and the second frame period may be the same period or may be different periods. Further, when the first frame period and the second frame period are the same period, the first reference signal and the second reference signal have the same phase (that is, rise (or fall) at the same timing). They may be in different phases (that is, out of phase).
  • FIG. 3 is a timing chart for explaining a schematic operation example of the imaging device according to the second operation example of the present embodiment. Note that FIG. 3 illustrates a case where the first sensor 11 is an image sensor and the second sensor 12 is a synchronous EVS.
  • the first sensor 11 outputs one frame of first output data D1 in synchronization with the first reference signal, similar to the first operation example illustrated in FIG.
  • first frame period and the third frame period may be the same period or may be different periods. Further, when the first frame period and the third frame period are the same period, the first reference signal and the third reference signal have the same phase (that is, rise (or fall) at the same timing). They may be in different phases (that is, out of phase).
  • FIG. 4 is a diagram showing an example data structure of the third output data according to the present embodiment.
  • the third output data D3 includes, for example, the first output data in a payload section between a header section FS indicating the beginning of the frame data and a trailer section FE indicating the end of the frame data. It has a structure in which a packet P1 containing D1 and a packet P2 containing second output data D2 are arranged. Note that when distinguishing between the 2a-th output data D2a and the 2b-th output data D2b, the packet P2 is divided into a packet P2a of the 2a-th output data D2a and a packet P2b of the 2b-th output data D2b. Good too. Furthermore, a packet P4 containing embedded data may be arranged between the header section FS and the trailer section FE.
  • Each packet P1, P2 (P2a, P2b), P4 includes a packet header PH indicating the beginning of the packet, and a packet footer PF indicating the end of the packet, and each packet has data between the packet header PH and the packet footer PF. It has a structure in which
  • each packet P1, P2 (P2a, P2b), and P4 may be a fixed length or a variable length. If the length is fixed, the data may be divided into multiple packets if it does not fit into one packet. Furthermore, if the data is shorter than the data length of one packet, the missing part may be padded with a fixed value.
  • the information for specifying the storage position of the 2a-th output data D2a and/or the 2b-th output data D2b is /or It may be stored in any of the packet header PH or packet footer PF of P2b, the header section FS, trailer section FE, or payload section of frame data, or embedded data.
  • FIG. 5 is a diagram illustrating a configuration example of the first and second signal processing devices according to the first example.
  • the first signal processing device 13 includes a receiving section 401, a synchronization processing section 402, a transmitting section 403, and a communication control section 404.
  • the second signal processing device 14 includes a receiving section 501, an API (Application Programming Interface) processing section 502, an API calling section 503, a signal processing section 504, an API calling section 505, and an API processing section 506. , and a communication control unit 507.
  • API Application Programming Interface
  • the receiving unit 401 receives the first output data output from the first sensor 11 in synchronization with the first reference signal, and receives the first output data from the second sensor 12 in asynchronous or Second output data output synchronously is received.
  • the synchronization processing unit 402 generates third output data using the first output data and second output data received by the reception unit 401.
  • the transmitter 403 then transmits the third output data generated by the synchronization processor 402 to the second signal processing device 14 .
  • the receiving unit 501 receives the third output data transmitted from the first signal processing device 13.
  • the API calling unit 503 may call an API that selectively acquires only the second b output data D2b generated outside the exposure period of the first sensor 11 out of the third output data.
  • the API processing unit 502 may selectively supply the second output data D2b of the third output data received by the receiving unit 501 to the API calling unit 503 in response to the API call. good.
  • the API processing unit 506 causes the communication control unit 507 to send a request to the communication control unit 404 to transmit only the second a output data D2a as the third output data in response to the API call.
  • the first signal processing device 13 may transmit the second output data D2a generated within the exposure period of the first sensor 11 to the second signal processing device 14 as third output data.
  • the API calling unit 505 requests the first signal processing device 13 to supply only the second b output data D2b generated outside the exposure period of the first sensor 11 as the third output data. You may also call an API to send the .
  • the API processing unit 506 causes the communication control unit 507 to send a request to the communication control unit 404 to transmit only the second output data D2b as the third output data in response to the API call.
  • the first signal processing device 13 may transmit the second output data D2b generated outside the exposure period of the first sensor 11 to the second signal processing device 14 as third output data. .
  • FIG. 6 is a diagram illustrating a configuration example of the first and second signal processing devices according to the second example.
  • the first signal processing device 13 includes, in addition to a receiving section 401, a synchronization processing section 402, and a transmission section 403, an API processing section 411, an API calling section 412, and a signal It includes a processing section 413, an API calling section 414, and an API processing section 415.
  • the second signal processing device 14 includes a receiving section 501, an API processing section 502, and an API calling section 503.
  • the synchronization processing unit 402 In the first signal processing device 13, the synchronization processing unit 402 generates third output data from the first output data and second output data received by the reception unit 401.
  • the API calling unit 412 obtains the third output data via the API processing unit 411 by calling the API for obtaining the third output data. do.
  • the signal processing unit 413 uses the third output data acquired by the API calling unit 412 to execute at least a part of the predetermined processing.
  • the API calling unit 412 may call an API that selectively acquires only the 2a-th output data D2a or the 2b-th output data D2b of the third output data.
  • the API processing unit 411 selectively processes the 2a-th output data D2a or the 2b-th output data D2b of the third output data generated by the synchronization processing unit 402 in response to the API call. It may also be supplied to the calling unit 412.
  • the API calling unit 414 transmits the processing results to the API processing unit 415 via the transmitting unit 403 by calling an API for transmitting the results of the predetermined processing by the signal processing unit 413.
  • the information is transmitted to the device 14.
  • the API calling unit 414 may call an API for transmitting the third output data together with the above processing result.
  • the processing result transmitted from the transmitter 403 is received by the receiver 501 of the second signal processing device 14.
  • the API calling unit 503 calls an API for acquiring the third output data.
  • the API processing unit 502 supplies the third output data received by the receiving unit 501 to the API calling unit 503 in response to the API call. Then, the API calling unit 503 executes the rest of the predetermined processing by calling and executing the corresponding API.
  • Imaging Device Next, a more specific configuration of the imaging device 1 according to the present embodiment will be described using some examples.
  • an image sensor is used as the first sensor 11, an EVS is used as the second sensor 12, and image data (first output data) acquired by the image sensor 11 is used.
  • An imaging device 1A configured to perform so-called Debrar correction, which corrects blur caused by using event data (second output data) from the EVS 12, will be described.
  • EVS12 is an asynchronous type (refer FIG. 2) is illustrated below, it is not limited to this and may be a synchronous type (refer FIG. 3).
  • EVS image data acquired by the image sensor
  • the effective frame rate of EVS is generally much higher than that of an image sensor.
  • the general frame rate of image sensors is 60 to 120 fps (Frame Per Second)
  • EVS can achieve a frame rate of 1000 fps or more. Therefore, image data reconstructed based on event data acquired by EVS is not easily affected by movement of the subject. Therefore, in the first example, the blur generated in the image data acquired by the image sensor 11 is corrected based on the event data acquired by the EVS 12 (Debrar correction).
  • FIG. 7 is a functional block diagram showing a schematic configuration example of an imaging device according to the first example.
  • FIG. 8 is a timing chart showing a schematic operation example of the imaging device according to the first example.
  • the first signal processing device 13 processes events acquired outside the exposure period out of the event stream (second output data D2) input from the EVS 12.
  • the data (2b output data D2b) is discarded, and the image data input from the image sensor 11 (1st output data D1) and the event data (2a output data D2a) acquired by the EVS 12 within the exposure period are used. ) to generate frame data (third output data D3) to be output to the second signal processing device 14.
  • the second signal processing device 14 corrects the blur caused in the image data (first output data D1) in the frame data (third output data D3) from the event data (second output data D1) acquired within the exposure period. Correction is performed using data D2a) (Debrar correction). This allows the second signal processing device 14 to obtain high-quality image data with reduced blur.
  • event data (second output data D2b) acquired outside the exposure period is discarded because the movement of the subject outside the exposure period does not cause blur in the image data.
  • event data (second b output data D2b) acquired outside the exposure time may also be included in the frame data (third output data D3), and the second signal processing device 14 may process the exposure It may be configured to perform frame interpolation between image data (first output data D1) arranged in time series using event data (second output data D2b) acquired outside of time. .
  • event data (second b output data D2b) unnecessary for debrar correction is discarded in the first signal processing device 13, but the present invention is not limited to this. may be configured to discard event data generated during the event. Alternatively, the EVS 12 may be configured not to generate event data outside the exposure time.
  • an image sensor is used as the first sensor 11
  • an EVS is used as the second sensor 12
  • image data first output data
  • an imaging device 1B configured to acquire distance information (depth information) to a subject using the EVS 12 will be described.
  • EVS12 is an asynchronous type (refer FIG. 2) is illustrated below, it is not limited to this and may be a synchronous type (refer FIG. 3).
  • the depth information is calculated by projecting a predetermined pattern of light toward the subject and identifying the distortion, size, etc. that occurs in the shape of the predetermined pattern of light projected onto the subject. It is obtained using the so-called structured light method. Although it is possible to use an image sensor to detect the shape of the light projected onto the subject, faster distance measurement is possible by using an EVS with a higher frame rate.
  • the light projected using the structured light method interferes with the image data acquired by the image sensor. Therefore, in this example, as will be described later, light is projected outside the exposure period of the image sensor, and the shape of the light projected onto the subject is detected by EVS.
  • FIG. 9 is a functional block diagram showing a schematic configuration example of an imaging device according to a second example.
  • FIG. 10 is a timing chart showing a schematic operation example of the imaging device according to the second example.
  • the imaging device 1B according to the second example has the same configuration as the imaging device 1A according to the first example, and further includes a light projecting section 16 that projects light in a predetermined pattern toward the subject. Be prepared.
  • the light projection period during which the light projection unit 16 projects light is set outside the exposure period of the image sensor 11. This makes it possible to avoid the image data (first output data D1) acquired by the image sensor 11 from being influenced by the light projected from the light projecting section 16.
  • the first signal processing device 13 discards event data (second output data D2a) acquired within the exposure period among the event stream (second output data D2) input from the EVS 12, and 11 (first output data D1) and event data (second output data D2b) acquired by the EVS 12 outside the exposure period.
  • the frame data (third output data D3) is generated.
  • the second signal processing device 14 reconstructs the image data (first output data D1) using the event data (second output data D2b) in the frame data (third output data D3), and Depth information indicating the distance to the subject is generated by identifying the shape distortion and size of the projected light.
  • Other configurations and operations may be the same as those in the first example.
  • event data (output data D2a of the second a) acquired during the exposure time during which no light projected onto the subject is detected is discarded; however, the present invention is not limited to this.
  • the event data (second output data D2a) acquired during the exposure time is also included in the frame data (third output data D3), and the second signal processing device 14 processes the event data (second output data D2a) acquired within the exposure time. It may be configured to perform Debler correction on the image data (first output data) acquired by the image sensor 11 using the second a output data D2a).
  • the event data unnecessary for distance measurement processing (output data D2a of the second a) is discarded in the first signal processing device 13, but the exposure time is may be configured to discard event data generated within.
  • the EVS 12 may be configured not to generate event data within the exposure time.
  • image data (first output data) is generated using event data (second a output data D2a) acquired within the exposure time.
  • event data second a output data D2a
  • a predetermined pattern of light is projected onto the subject outside the exposure time, and depth information is acquired using the event data (second b output data) acquired at that time.
  • FIG. 11 is a functional block diagram showing a schematic configuration example of an imaging device according to a third example.
  • FIG. 12 is a timing chart showing a schematic operation example of the imaging device according to the third example.
  • the imaging device 1C according to the third example like the imaging device 1B according to the second example, further includes a light projecting unit 16 in addition to the configuration of the imaging device 1A according to the first example.
  • the imaging device 1C according to the third example in the first signal processing device 13, in addition to the first output data D1 and the second output data D2b, the third output including the second output data D2a is Data D3 is generated.
  • the second signal processing device 14 corrects the blur caused in the image data (first output data D1) in the frame data (third output data D3) from event data (output data 2a) acquired within the exposure period.
  • D2a) is used for correction (Debrar correction), and the image data (first output data D1) is reconstructed using the event data (second output data D2b) in the frame data (third output data D3). to obtain depth information indicating the distance to the subject.
  • Other configurations and operations may be the same as those in the first example or the second example.
  • a ToF sensor is used as the first sensor 11
  • an EVS is used as the second sensor 12
  • An imaging device 1D configured to perform interpolation using depth information acquired by a structured light method using the EVS 12 will be described.
  • EVS12 is an asynchronous type (refer FIG. 2) is illustrated below, it is not limited to this and may be a synchronous type (refer FIG. 3).
  • FIG. 13 is a functional block diagram showing a schematic configuration example of an imaging device according to a fourth example.
  • FIG. 14 is a timing chart showing a schematic operation example of the imaging device according to the fourth example.
  • the imaging device 1D according to the fourth example has the same configuration as the imaging device 1B according to the second example, but the image sensor 11 is replaced with a ToF sensor 11, and a pulse-shaped It further includes a light emitting section 17 that emits laser light.
  • the ToF sensor 11 may be of a direct ToF type or an indirect ToF type.
  • each pixel constituting the ToF sensor 11 may be a macro pixel composed of a set of a plurality of SPAD (Single Photon Avalanche Diode) pixels, for example.
  • SPAD Single Photon Avalanche Diode
  • the light projecting section 16 and the light emitting section 17 may be the same light source or may be separate light sources.
  • the light emitting unit 17 emits pulsed laser light at the beginning of each frame period defined by the first reference signal.
  • the ToF sensor 11 which is the first sensor, repeats exposure at a predetermined sampling period and a predetermined sampling cycle after the light emitting unit 17 emits light, so that each macro pixel, which reflects the distance to the subject, is Create a histogram of The created histogram is output to the first signal processing device 13 as first output data D1.
  • the light projecting unit 16 projects a predetermined pattern of light toward the subject outside the sampling period instead of outside the exposure period.
  • the other operations may be similar to the structured write method described in the second or third example.
  • the first signal processing device 13 discards the event data (second output data D2a) acquired within the sampling period among the event stream (second output data D2) input from the EVS 12, and 11 (first output data D1) and event data acquired by the EVS 12 outside the sampling period (second output data D2b), the event data is output to the second signal processing device 14. Generate frame data (third output data D3).
  • the second signal processing device 14 generates depth information indicating the distance to the subject using the histogram D1 in the frame data (third output data D3). Further, the second signal processing device 14 reconstructs the image data (first output data D1) using the event data (second output data D2b) and generates depth information indicating the distance to the subject. In this way, frames of depth information acquired using the ToF sensor 11 are interpolated.
  • FIG. 15 is a diagram for explaining debrar correction and frame interpolation according to this embodiment.
  • the frame data (third output data D3) output from the first signal processing device 13 includes image data (first output data D3) acquired by the image sensor 11. D1) and event data (2a-th output data D2a) acquired within the exposure time in the EVS 12.
  • Image data (first output data D1) is data that is generated once during one frame period defined by the first reference signal
  • event data (first output data D1) that is acquired during one frame period is data that is generated once during one frame period defined by the first reference signal. From the output data D2a) of 2a, it is possible to reconstruct a plurality of image data (hereinafter also referred to as event images).
  • each region in the image data (first output data D1) is By determining the optical flow and based on the determined optical flow, it is also possible to interpolate image data between frames.
  • the generation of image data to be interpolated is not limited to the method based on optical flow as described above.
  • the generation of image data (first output data D1) and event data (second output data D2) Various methods may be adopted, such as a method using machine learning using a DNN (Deep Neural Network) as input.
  • DNN Deep Neural Network
  • FIG. 17 is a diagram for explaining frame interpolation of depth information according to this embodiment.
  • 18 to 20 are diagrams for explaining the effects obtained by frame interpolation of depth information according to this embodiment.
  • the code of the depth information generated from the first output data D1 is assumed to be D1
  • the code of the depth information generated from the first output data D1 is assumed to be D1
  • the depth information is reconstructed from event data outside the sampling period (second output data D2b).
  • the code of the depth information obtained from the image data obtained is assumed to be D2b.
  • the code of the depth information finally obtained by frame interpolating the depth information D1 with the depth information D2b is assumed to be D4.
  • the frame rate of the depth information D2b determined from the image data reconstructed from the event data is equal to the frame rate of the depth information D1 generated from the first output data D1 (histogram). higher than the frame rate. Therefore, by interpolating the frames of depth information D1 generated from the first output data D1 (histogram) with the depth information D2b found from the image data reconstructed from the event data (second output data D2b), , it is possible to obtain higher rate depth information.
  • the difference ⁇ D2b between the previous and previous frames of the depth information D2b obtained from the image data reconstructed from the event data (second b output data D2b) is obtained, and this difference ⁇ D2b and the first output data D1
  • depth information D2b of the next frame of the depth information D1 is generated.
  • the depth information D2b interpolated up to the depth information D1 of the next frame can be obtained by adding the difference ⁇ D2b between the corresponding depth information D2b to the depth information D2b generated as the previous frame.
  • depth information D4 with a higher rate than depth information D1.
  • the total latency between depth information D4 depends on the amount of delay when generating event data (second b output data D2b), but compared to the ToF sensor 11, the EVS12 is Since it is possible to generate event data (second b output data D2b) at a high rate, it is also possible to minimize the total latency between the depth information D4.
  • depth information D4 with a sufficient frame rate can be obtained even when the frame rate of depth information D1 is lowered. be able to. As a result, it is possible to lower the frame rate of the histogram (first output data D1) output from the ToF sensor 11, and therefore it is also possible to reduce power consumption.
  • FIG. 21 is a block diagram showing a configuration example of an imaging device according to a first configuration example of this embodiment.
  • the imaging device 1 includes, for example, a solid-state imaging device 10 and an application processor 14 as a second signal processing device.
  • the solid-state imaging device 10 includes an image sensor 11 as a first sensor, an EVS 12 as a second sensor, and an FPGA 13 as a first signal processing device, as well as a control section 15, a light projecting section 16, and an external An interface (I/F) 19 is provided.
  • the control unit 15 is configured with an information processing device such as a CPU (Central Processing Unit), and controls each unit of the solid-state imaging device 10.
  • an information processing device such as a CPU (Central Processing Unit)
  • CPU Central Processing Unit
  • the external I/F 19 is, for example, a wireless LAN (Local Area Network) or a wired LAN, as well as CAN (Controller Area Network), LIN (Local Interconnect Network), FlexRay (registered trademark), MIPI (Mobile Industry Processor Interface), or LVDS.
  • the communication adapter may be a communication adapter for establishing communication with the external application processor 14 via a communication network compliant with any standard such as (low voltage differential signaling).
  • the application processor 14 may be, for example, an ECU (Engine Control Unit) mounted on the vehicle or the like when the solid-state imaging device 10 is mounted on the vehicle or the like.
  • the application processor 14 It may be a control device etc. which control.
  • the application processor 14 controls the CPU built into these electronic devices and the network installed in these electronic devices. It may be a server (including a cloud server, etc.) connected via the server.
  • the FPGA 13 receives first output data D1 (image data) outputted from the image sensor 11 in synchronization with the first reference signal, and second output data D2 (event stream) outputted asynchronously from the EVS 12. input. Then, the FPGA 13 generates third output data D3 (frame data) including the specified data in synchronization with the second reference signal in accordance with the request input from the application processor 14 via the external I/F 19. do. The generated third output data is output to the application processor 14 via the external I/F 19.
  • FIG. 22 is a block diagram showing a configuration example of an imaging device according to a second configuration example of this embodiment.
  • the imaging device 2 according to this configuration example has the same configuration as the imaging device 1 described using FIG. 21 in the first configuration example, but the image sensor 11 and EVS 12 in the solid-state imaging device 10 are It has a configuration replaced by the hybrid sensor 11A.
  • the hybrid sensor 11A according to the second configuration example is, for example, a sensor in which an image sensor and an EVS are integrated into one chip, although the details will be described later, and image data (corresponding to the first output data) and event data (corresponding to second output data).
  • the hybrid sensor 11A according to the present embodiment is not limited to this, and can be used as various sensors used as the first sensor 11 and the second sensor 12, for example, a ToF sensor and an EVS, an image sensor and a ToF sensor, etc. A combination of these may be integrated into one chip.
  • the other configurations may be the same as those of the imaging device 1 according to the first configuration example, so detailed description will be omitted here.
  • FIG. 23 is a block diagram showing a configuration example of an imaging device according to a third configuration example of this embodiment.
  • the imaging device 3 according to the present configuration example has the same configuration as the imaging device 1 described using FIG. 21 in the first configuration example, but with a light source 18 added.
  • the light source 18 projects a predetermined pattern of light L3 onto the subject 90 outside the exposure period of the image sensor 11.
  • the EVS 12 detects the shape of the light L4 projected onto the subject 90 and generates event data (second b output data D2b).
  • the light source 18 emits the pulsed laser beam L1 within the exposure period of the image sensor 11.
  • the ToF sensor 11 detects the reflected light L2 reflected by the subject 90 at a predetermined sampling period, and generates a histogram (first output data D1) in which the distance to the subject 90 is reflected.
  • the light source 18 projects a predetermined pattern of light L3 onto the subject 90 outside the exposure period of the image sensor 11.
  • the EVS 12 detects the shape of the light L4 projected onto the subject 90 and generates event data (second b output data D2b).
  • the other configurations may be the same as those of the imaging device 1 according to the first configuration example, so detailed description will be omitted here.
  • FIG. 24 is a schematic diagram showing an example of a schematic configuration of an imaging device according to this embodiment
  • FIG. 25 is a block diagram showing an example of a system configuration of an imaging device according to this embodiment.
  • the imaging device 1 includes a light source 1010, an irradiation lens 1030, an imaging lens 1040, a solid-state imaging device 100, and a first signal processing device 1050.
  • the light source 1010 corresponds to the light source 18 in FIG. 23
  • the solid-state imaging device 100 corresponds to the solid-state imaging device 10 in FIG. 21 or 22. That is, in this example, the light source 18 is provided outside the solid-state imaging device 10.
  • the irradiation lens 1030 is not an essential component and may be omitted.
  • the light source 1010 includes, for example, a vertical cavity surface emitting laser (VCSEL) 1012 and a light source driving section 1011 that drives the VCSEL 1012.
  • the light source is not limited to the VCSEL 1012, and various light sources such as an LED (Light Emitting Diode) may be used.
  • the light source 1010 may be a point light source, a surface light source, or a line light source. In the case of a surface light source or a line light source, the light source 1010 may include, for example, a configuration in which a plurality of point light sources (eg, VCSEL) are arranged in one or two dimensions.
  • a plurality of point light sources eg, VCSEL
  • the light source 1010 emits, for example, infrared (IR) light.
  • IR infrared
  • the present invention is not limited thereto, and the light emitted from the light source 1010 may be light in a wavelength band different from the wavelength band of visible light.
  • the irradiation lens 1030 is arranged on the exit surface side of the light source 1010 and converts the light emitted from the light source 1010 into irradiation light with a predetermined spread angle.
  • the imaging lens 1040 is arranged on the light-receiving surface side of the solid-state imaging device 100 and forms an image of the incident light on the light-receiving surface of the solid-state imaging device 100.
  • the incident light may also include reflected light emitted from the light source 1010 and reflected by the subject 901.
  • the subject 901 may be the area around the user's eyes, including the eyeballs, in the case of eye tracking, or may be an object existing around the user's position in the case of SLAM.
  • the subject 901 is not limited to these, and various objects can be used as the subject 901 depending on the purpose of use of the imaging device 1.
  • the solid-state imaging device 100 includes, for example, pixels that detect brightness (hereinafter referred to as brightness pixels) and pixels that detect events (hereinafter referred to as event pixels), as shown in FIG. are arranged in a two-dimensional grid pattern, and by driving the hybrid sensor 1022, image data (first output data D1) based on the luminance signal detected by the luminance pixel and the image data detected by the event pixel are generated.
  • the sensor control unit 1021 generates data (second output data D2) based on event data.
  • the configuration including the luminance pixel (also referred to as the first pixel) constitutes the image sensor (first sensor 11), and the configuration including the event pixel (also referred to as the second pixel) constitutes the EVS. (second sensor 12).
  • the first signal processing device 1050 is composed of processing devices such as FPGA, MCU, MPU, DSP, ASIC, and ASSP (Application Specific Standard Product), and drives the VCSEL 1012 via the light source driving section 1011. . Furthermore, the first signal processing device 1050 acquires the first output data D1 and the second output data D2 by controlling the solid-state imaging device 100, and generates the third output data D3 from these acquired data. generate.
  • irradiation light emitted from the light source 1010 is projected onto a subject (also referred to as a measurement target or object) 901 through an irradiation lens 1030.
  • This projected light is reflected by the subject 901.
  • the light reflected by the object 901 then passes through the imaging lens 1040 and enters the solid-state imaging device 100.
  • the EVS (corresponding to the second sensor 12) in the hybrid sensor 1022 of the solid-state imaging device 100 receives the reflected light reflected by the subject 901 and generates event data (second output data D2).
  • the image sensor (corresponding to the first sensor 11) in the hybrid sensor 1022 receives, for example, visible light in the incident light and generates image data (first output data D1).
  • the third output data D3 generated by the first signal processing device 1050 is supplied to the second signal processing device 1100.
  • the second signal processing device 1100 is configured of an information processing device such as an application processor, and performs debrar correction and frame interpolation based on the image data and event data input from the first signal processing device 1050. , image processing, recognition processing, SLAM, and other predetermined processing.
  • FIG. 26 is a block diagram illustrating a schematic configuration example of the hybrid sensor according to the present embodiment, and an example of a pixel separation configuration.
  • the hybrid sensor 11A according to the present embodiment includes, for example, a pixel array section 101, a vertical drive circuit 102A, a horizontal drive circuit 102B, an X arbiter 104A, a Y arbiter 104B, and a luminance signal processing It includes a circuit 103A, an event signal processing circuit 103B, a system control circuit 105, a luminance data processing section 108A, and an event data processing section 108B.
  • the pixel array section 101 has a configuration in which unit pixels 110, which are repeating units in the pixel layout, are arranged in the row direction and the column direction, that is, in a two-dimensional lattice shape (also referred to as a matrix shape).
  • the row direction also referred to as row direction
  • the column direction also referred to as column direction
  • the repeating unit here may be a structural unit that is repeated in element design, unlike a repeating unit in a color filter array such as a Bayer array or a quad Bayer array.
  • Each unit pixel 110 includes one or more luminance pixels 310 and one or more event pixels 320.
  • the luminance pixel 310 and the event pixel 320 may each be simply referred to as a pixel.
  • the luminance pixel 310 and the event pixel 320 each include an individual photoelectric conversion section.
  • the brightness pixel 310 includes a photoelectric conversion unit PD1 that generates and accumulates charges according to the brightness of incident light, and generates a brightness signal with a voltage according to the brightness.
  • the event pixel 320 includes a photoelectric conversion unit PD2 that generates a charge according to the brightness of the incident light, and when detecting a change in the brightness of the incident light based on the photocurrent flowing from the photoelectric conversion unit PD2, the event pixel 320 generates a charge from itself.
  • a request for reading is output, and event data indicating that an event has been detected is output according to arbitration by an arbiter that inputs this request.
  • pixel drive lines LD1 and LD2 are wired along the row direction for each pixel row, and vertical signal lines VSL1 and VSL2 are wired along the column direction for each pixel column.
  • pixel drive line LD1 is connected to each row of luminance pixels 310
  • pixel drive line LD2 is connected to each row of event pixels 320.
  • the vertical signal line VSL1 is connected to the luminance pixels 310 in each column
  • the vertical signal line VSL2 is connected to the event pixels 320 in each column.
  • the present invention is not limited thereto, and the pixel drive lines LD1 and LD2 may be wired so as to be orthogonal to each other.
  • the vertical signal lines VSL1 and VSL2 may be wired to be orthogonal to each other.
  • the pixel drive line LD1 may be wired in the row direction
  • the pixel drive line LD2 may be wired in the column direction
  • the vertical signal line VSL1 may be wired in the column direction
  • the vertical signal line VSL2 may be wired in the row direction.
  • the pixel drive line LD1 transmits a control signal for driving when reading a luminance signal from the luminance pixel 310.
  • the pixel drive line LD2 transmits a control signal for bringing the event pixel 320 into an active state in which event detection is possible.
  • the pixel drive lines LD1 and LD2 are shown as one wiring each in FIG. 26, the number of pixel drive lines LD1 and LD2 is not limited to one each.
  • One end of each of the pixel drive line LD1 and the pixel drive line LD2 is connected to an output end corresponding to each row of the vertical drive circuit 102A.
  • Each brightness pixel 310 includes a photoelectric conversion unit PD1 that photoelectrically converts incident light to generate charges, and a pixel circuit 111 that generates a brightness signal with a voltage value corresponding to the amount of charge generated in the photoelectric conversion unit PD1.
  • a brightness signal is caused to appear on the vertical signal line VSL1 under the control of the vertical drive circuit 102A.
  • the vertical drive circuit 102A is composed of a shift register, an address decoder, etc., and drives the luminance pixels 310 of the pixel array section 101 simultaneously or in units of rows. That is, the vertical drive circuit 102A constitutes a drive section that controls the operation of each luminance pixel 310 of the pixel array section 101, together with the system control circuit 105 that controls the vertical drive circuit 102A.
  • the vertical drive circuit 102A generally includes two scanning systems: a readout scanning system and a sweeping scanning system, although the specific configuration thereof is not shown in the drawings.
  • the readout scanning system sequentially selectively scans each pixel of the pixel array section 101 row by row in order to read out signals from each pixel.
  • the luminance signal read from each pixel is an analog signal.
  • the sweep-out scanning system performs sweep-scanning on a readout line on which the readout scanning is performed by the readout scanning system, preceding the readout scanning by an amount of exposure time.
  • the sweep scan by this sweep scan system sweeps out unnecessary charges from the photoelectric conversion unit PD1 of each luminance pixel 310 in the readout row, thereby resetting the photoelectric conversion unit PD1.
  • a so-called electronic shutter operation is performed by sweeping out (resetting) unnecessary charges with this sweeping scanning system.
  • the electronic shutter operation refers to an operation of discarding the charge of the photoelectric conversion unit PD1 and starting a new exposure (starting accumulation of charge).
  • the signal read out by the readout operation by the readout scanning system corresponds to the amount of light received after the previous readout operation or electronic shutter operation.
  • the period from the readout timing of the previous readout operation or the sweep timing of the electronic shutter operation to the readout timing of the current readout operation is a charge accumulation period (also referred to as an exposure period) in each pixel.
  • a luminance signal output from each luminance pixel 310 in a pixel row selectively scanned by the vertical drive circuit 102A is input to the luminance signal processing circuit 103A through each vertical signal line VSL1 for each pixel column.
  • the luminance signal processing circuit 103A performs predetermined signal processing on the luminance signal output from each luminance pixel 310 in the selected row through the vertical signal line VSL1 for each pixel column of the pixel array section 101, and also Temporarily holds the luminance signal.
  • the luminance signal processing circuit 103A performs at least noise removal processing, such as CDS (Correlated Double Sampling) processing and DDS (Double Data Sampling) processing, as signal processing.
  • CDS Correlated Double Sampling
  • DDS Double Data Sampling
  • the CDS process removes pixel-specific fixed pattern noise such as reset noise and threshold variation of amplification transistors within the pixel.
  • the luminance signal processing circuit 103A also has, for example, an AD (analog-to-digital) conversion function, and converts the analog luminance signal read from the photoelectric conversion unit PD1 into a digital signal and outputs the digital signal.
  • AD analog-to-digital
  • the horizontal drive circuit 102B is composed of a shift register, an address decoder, etc., and sequentially selects the pixel circuits 111 corresponding to the pixel columns of the luminance signal processing circuit 103A. Due to this selective scanning by the horizontal drive circuit 102B, luminance signals subjected to signal processing for each pixel circuit 111 in the luminance signal processing circuit 103A are sequentially output.
  • Each event pixel 320 includes a photoelectric conversion unit PD2 that generates a charge according to the brightness of incident light, and an address event detection circuit 210 that detects the presence or absence of an event based on a change in the current value of the photocurrent flowing out from the photoelectric conversion unit PD2. The presence or absence of an event is detected based on whether a change exceeding a predetermined threshold value has occurred in the photocurrent according to the brightness of the incident light. For example, each event pixel 320 detects as an event that a change in brightness exceeds or falls below a predetermined threshold.
  • the event pixel 320 When the event pixel 320 detects an event, it outputs a request to each of the X arbiter 104A and the Y arbiter 104B for permission to output event data representing the occurrence of the event. When the event pixel 320 receives a response indicating permission to output event data from each of the X arbiter 104A and the Y arbiter 104B, it outputs the event data to the event signal processing circuit 103B.
  • the event signal processing circuit 103B performs predetermined signal processing on the event data input from the event pixel 320, and outputs the event data after signal processing.
  • the change in the photocurrent generated by the event pixel 320 can also be understood as a change in the amount of light (brightness change) that enters the photoelectric conversion unit PD2 of the event pixel 320. Therefore, it can also be said that an event is a change in the amount of light (change in brightness) of the event pixel 320 that exceeds a predetermined threshold value.
  • the event data representing the occurrence of an event includes at least position information such as coordinates representing the position of the event pixel 320 where a change in light amount as an event has occurred.
  • the event data can include the polarity of the change in light amount in addition to the position information.
  • the event data will be output based on the relative time when the event occurred. It can be said that the time information representing the time is implicitly included.
  • the event signal processing circuit 103B includes time information such as a timestamp indicating the relative time at which the event occurred in the event data before the interval between the event data is no longer maintained as it was at the time of occurrence of the event. Good too.
  • the system control circuit 105 is composed of a timing generator that generates various timing signals, and based on the various timings generated by the timing generator, the vertical drive circuit 102A, horizontal drive circuit 102B, X arbiter 104A, Y arbiter 104B, the luminance signal processing circuit 103A, and the event signal processing circuit 103B.
  • Each of the luminance data processing section 108A and the event data processing section 108B has at least an arithmetic processing function, and processes image data (image frame data and event frame data) output from the luminance signal processing circuit 103A or the event signal processing circuit 103B. performs various signal processing such as arithmetic processing.
  • the image data output from the luminance data processing unit 108A or the event data processing unit 108B is output to the FPGA 13 arranged on the same chip or an external chip, for example.
  • the hybrid sensor 11A is capable of processing data necessary for signal processing in the luminance data processing section 108A and the event data processing section 108B, as well as the luminance signal processing circuit 103A, the event signal processing circuit 103B, the luminance data processing section 108A, and the event data processing section.
  • 108B may be provided with a storage unit for temporarily holding data processed by any one or more of the 108B.
  • FIG. 27 is a block diagram showing another schematic configuration example of the hybrid sensor according to the present embodiment, and an example of a pixel sharing configuration.
  • the pixel circuit 111 and the luminance signal processing circuit 103A correspond to the first signal processing section that acquires the luminance signal
  • the address event detection circuit 210 and the event signal processing circuit correspond to the second signal processing section that acquires the event signal.
  • 103B are connected to a common photoelectric conversion unit PD.
  • the other configurations and operations may be the same as the hybrid sensor 11A having the pixel separation configuration described using FIG. 26, so detailed explanations will be omitted here.
  • FIG. 28 is a schematic diagram showing an example of pixel arrangement of the hybrid sensor according to this embodiment. As shown in FIG. 28, in the pixel separation structure illustrated in FIG. The three may be composed of luminance pixels 310r, 310b, and 310g.
  • FIG. 29 is a schematic diagram showing another example of pixel arrangement of the hybrid sensor according to this embodiment.
  • each of the four pixels constituting the array pattern 110A which is a repeating unit of the Bayer array, shares the luminance pixel 310r, 310g, or 310b and the event pixel 320. It may also be composed of shared pixels.
  • all pixels do not need to be shared pixels with the luminance pixel 310 and the event pixel 320, and some (one or more) of the plurality of pixels forming the array pattern 110A are shared. It may be a pixel.
  • the optical axes of the image sensor and the EVS can be aligned or almost aligned. It becomes possible to match.
  • processing such as geometric transformation to match the coordinate systems of image data acquired by each sensor can be performed. Since it can be omitted or simplified, it is possible to prevent the increase in processing speed from being suppressed.
  • the pixel array unit 101 by configuring the pixel array unit 101 to have a mix of luminance pixels 310 and event pixels 320, it is possible to keep the unused sensor always on, as in the case where the image sensor and EVS are configured with different chips. Since it becomes possible to suppress the waste of electric power caused by keeping it as is, it becomes possible to suppress an increase in power consumption.
  • FIG. 30 is a diagram showing an example of the laminated structure of the solid-state imaging device according to this embodiment.
  • the solid-state imaging device 10 may have a structure in which a pixel chip 140 and a circuit chip 150 are stacked one above the other.
  • the pixel chip 140 is, for example, a semiconductor chip that includes a photoelectric conversion section of each of the luminance pixel 310 and the event pixel 320, and a part of the circuit configuration of the luminance pixel 310 and the event pixel 320. This is a semiconductor chip having a configuration other than the arranged configuration.
  • so-called direct bonding can be used, in which the respective bonding surfaces are flattened and the two are bonded together using electronic force.
  • the present invention is not limited to this, and it is also possible to use, for example, so-called Cu-Cu bonding, in which electrode pads made of copper (Cu) formed on mutual bonding surfaces are bonded together, or other methods such as bump bonding. .
  • connection portion such as a TCV (Through Contact Via) that penetrates the semiconductor substrate.
  • Connections using TCVs include, for example, the so-called twin TCV method in which two TCVs, the TCV provided on the pixel chip 140 and the TCV provided from the pixel chip 140 to the circuit chip 150, are connected on the outer surface of the chip, and the pixel It is possible to adopt a so-called shared TCV method in which a TCV passing through the chip 140 to the circuit chip 150 connects the two.
  • the two may be electrically connected via the Cu--Cu bond or the bump bond.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure may be realized as a device mounted on any type of moving body such as a car, electric vehicle, hybrid electric vehicle, motorcycle, bicycle, personal mobility, airplane, drone, ship, robot, etc. It's okay.
  • FIG. 31 is a block diagram illustrating a schematic configuration example of a vehicle control system, which is an example of a mobile body control system to which the technology according to the present disclosure can be applied.
  • the vehicle control system 12000 includes a plurality of electronic control units connected via a communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, an outside vehicle information detection unit 12030, an inside vehicle information detection unit 12040, and an integrated control unit 12050.
  • a microcomputer 12051, an audio/image output section 12052, and an in-vehicle network I/F (Interface) 12053 are illustrated as the functional configuration of the integrated control unit 12050.
  • the drive system control unit 12010 controls the operation of devices related to the drive system of the vehicle according to various programs.
  • the drive system control unit 12010 includes a drive force generation device such as an internal combustion engine or a drive motor that generates drive force for the vehicle, a drive force transmission mechanism that transmits the drive force to wheels, and a drive force transmission mechanism that controls the steering angle of the vehicle. It functions as a control device for the steering mechanism to adjust and the braking device to generate the braking force of the vehicle.
  • the body system control unit 12020 controls the operations of various devices installed in the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a headlamp, a back lamp, a brake lamp, a turn signal, or a fog lamp.
  • radio waves transmitted from a portable device that replaces a key or signals from various switches may be input to the body control unit 12020.
  • the body system control unit 12020 receives input of these radio waves or signals, and controls the door lock device, power window device, lamp, etc. of the vehicle.
  • the external information detection unit 12030 detects information external to the vehicle in which the vehicle control system 12000 is mounted.
  • an imaging section 12031 is connected to the outside-vehicle information detection unit 12030.
  • the vehicle exterior information detection unit 12030 causes the imaging unit 12031 to capture an image of the exterior of the vehicle, and receives the captured image.
  • the external information detection unit 12030 may perform object detection processing such as a person, car, obstacle, sign, or text on the road surface or distance detection processing based on the received image.
  • the imaging unit 12031 is an optical sensor that receives light and outputs an electrical signal according to the amount of received light.
  • the imaging unit 12031 can output the electrical signal as an image or as distance measurement information.
  • the light received by the imaging unit 12031 may be visible light or non-visible light such as infrared rays.
  • the in-vehicle information detection unit 12040 detects in-vehicle information.
  • a driver condition detection section 12041 that detects the condition of the driver is connected to the in-vehicle information detection unit 12040.
  • the driver condition detection unit 12041 includes, for example, a camera that images the driver, and the in-vehicle information detection unit 12040 detects the degree of fatigue or concentration of the driver based on the detection information input from the driver condition detection unit 12041. It may be calculated, or it may be determined whether the driver is falling asleep.
  • the microcomputer 12051 calculates control target values for the driving force generation device, steering mechanism, or braking device based on the information inside and outside the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, Control commands can be output to 12010.
  • the microcomputer 12051 realizes ADAS (Advanced Driver Assistance System) functions, including vehicle collision avoidance or shock mitigation, following distance based on vehicle distance, vehicle speed maintenance, vehicle collision warning, vehicle lane departure warning, etc. It is possible to perform cooperative control for the purpose of ADAS (Advanced Driver Assistance System) functions, including vehicle collision avoidance or shock mitigation, following distance based on vehicle distance, vehicle speed maintenance, vehicle collision warning, vehicle lane departure warning, etc. It is possible to perform cooperative control for the purpose of
  • ADAS Advanced Driver Assistance System
  • the microcomputer 12051 controls the driving force generating device, steering mechanism, braking device, etc. based on information about the surroundings of the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040. It is possible to perform cooperative control for the purpose of autonomous driving, etc., which does not rely on operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12020 based on the information outside the vehicle acquired by the outside information detection unit 12030.
  • the microcomputer 12051 controls the headlamps according to the position of the preceding vehicle or oncoming vehicle detected by the vehicle exterior information detection unit 12030, and performs cooperative control for the purpose of preventing glare, such as switching from high beam to low beam. It can be carried out.
  • the audio and image output unit 12052 transmits an output signal of at least one of audio and images to an output device that can visually or audibly notify information to the occupants of the vehicle or to the outside of the vehicle.
  • an audio speaker 12061, a display section 12062, and an instrument panel 12063 are illustrated as output devices.
  • the display unit 12062 may include, for example, at least one of an on-board display and a head-up display.
  • FIG. 32 is a diagram showing an example of the installation position of the imaging section 12031.
  • the imaging unit 12031 includes imaging units 12101, 12102, 12103, 12104, and 12105.
  • the imaging units 12101, 12102, 12103, 12104, and 12105 are provided at, for example, the front nose of the vehicle 12100, the side mirrors, the rear bumper, the back door, and the upper part of the windshield inside the vehicle.
  • An imaging unit 12101 provided in the front nose and an imaging unit 12105 provided above the windshield inside the vehicle mainly acquire images in front of the vehicle 12100.
  • Imaging units 12102 and 12103 provided in the side mirrors mainly capture images of the sides of the vehicle 12100.
  • An imaging unit 12104 provided in the rear bumper or back door mainly captures images of the rear of the vehicle 12100.
  • the imaging unit 12105 provided above the windshield inside the vehicle is mainly used to detect preceding vehicles, pedestrians, obstacles, traffic lights, traffic signs, lanes, and the like.
  • FIG. 32 shows an example of the imaging range of the imaging units 12101 to 12104.
  • An imaging range 12111 indicates the imaging range of the imaging unit 12101 provided on the front nose
  • imaging ranges 12112 and 12113 indicate imaging ranges of the imaging units 12102 and 12103 provided on the side mirrors, respectively
  • an imaging range 12114 shows the imaging range of the imaging unit 12101 provided on the front nose.
  • the imaging range of the imaging unit 12104 provided in the rear bumper or back door is shown. For example, by overlapping the image data captured by the imaging units 12101 to 12104, an overhead image of the vehicle 12100 viewed from above can be obtained.
  • At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the imaging units 12101 to 12104 may be a stereo camera including a plurality of image sensors, or may be an image sensor having pixels for phase difference detection.
  • the microcomputer 12051 determines the distance to each three-dimensional object within the imaging ranges 12111 to 12114 and the temporal change in this distance (relative speed with respect to the vehicle 12100) based on the distance information obtained from the imaging units 12101 to 12104. By determining the following, it is possible to extract, in particular, the closest three-dimensional object on the path of vehicle 12100, which is traveling at a predetermined speed (for example, 0 km/h or more) in approximately the same direction as vehicle 12100, as the preceding vehicle. can. Furthermore, the microcomputer 12051 can set an inter-vehicle distance to be secured in advance in front of the preceding vehicle, and perform automatic brake control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like. In this way, it is possible to perform cooperative control for the purpose of autonomous driving, etc., in which the vehicle travels autonomously without depending on the driver's operation.
  • automatic brake control including follow-up stop control
  • automatic acceleration control including follow-up start control
  • the microcomputer 12051 transfers three-dimensional object data to other three-dimensional objects such as two-wheeled vehicles, regular vehicles, large vehicles, pedestrians, and utility poles based on the distance information obtained from the imaging units 12101 to 12104. It can be classified and extracted and used for automatic obstacle avoidance. For example, the microcomputer 12051 identifies obstacles around the vehicle 12100 into obstacles that are visible to the driver of the vehicle 12100 and obstacles that are difficult to see. Then, the microcomputer 12051 determines a collision risk indicating the degree of risk of collision with each obstacle, and when the collision risk exceeds a set value and there is a possibility of a collision, the microcomputer 12051 transmits information via the audio speaker 12061 and the display unit 12062. By outputting a warning to the driver and performing forced deceleration and avoidance steering via the drive system control unit 12010, driving support for collision avoidance can be provided.
  • the microcomputer 12051 determines a collision risk indicating the degree of risk of collision with each obstacle, and when the collision risk exceeds a set value and there
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether the pedestrian is present in the images captured by the imaging units 12101 to 12104.
  • pedestrian recognition involves, for example, a procedure for extracting feature points in images captured by the imaging units 12101 to 12104 as infrared cameras, and a pattern matching process is performed on a series of feature points indicating the outline of an object to determine whether it is a pedestrian or not.
  • the audio image output unit 12052 creates a rectangular outline for emphasis on the recognized pedestrian.
  • the display unit 12062 is controlled to display the .
  • the audio image output unit 12052 may control the display unit 12062 to display an icon or the like indicating a pedestrian at a desired position.
  • the technology according to the present disclosure can be applied to, for example, the driver state detection section 12041 and the imaging section 12031 among the configurations described above.
  • the technology according to the present disclosure can be applied to the driver state detection unit 12041, it becomes possible to perform eye tracking of the driver and fellow passengers quickly and accurately.
  • the technology according to the present disclosure to the imaging unit 12031, it becomes possible to quickly and accurately acquire the traveling position and attitude of the vehicle 12100.
  • a first receiving unit that receives first data generated by the first sensor in synchronization with the first reference signal and second data generated by the second sensor; a transmitter that transmits at least a portion of the first data and the second data as third data synchronized with a second reference signal;
  • An information processing device comprising: (2) The information processing device according to (1), wherein the second sensor is an EVS (Event-based Vision Sensor) that includes one or more pixels that detect a change in brightness of incident light as an event. (3) The information processing device according to (2), wherein the EVS generates the second data without synchronizing with the first reference signal.
  • EVS Event-based Vision Sensor
  • the transmitter transmits fourth data selected from the second data based on the second information and the first data as the third data. information processing equipment.
  • the fourth data is data generated based on an event detected during the exposure period.
  • the fourth data is data generated based on an event detected outside the exposure period.
  • the transmitter includes the data requested by the request among the second data in the third data and transmits the third data.
  • the transmitter is configured to transmit data generated based on events detected during the exposure period and events detected outside the exposure period in the second data.
  • the information processing device according to any one of (1) to (9), wherein the first sensor is an image sensor including one or more pixels that generate a gradation signal according to the amount of incident light.
  • the first sensor is a distance measuring sensor including one or more pixels that generates first information regarding the distance to the subject based on the flight time of light reflected by the subject.
  • the information processing device according to any one of the above.
  • the information processing device (13) a second receiving unit that receives the third data transmitted from the transmitting unit; a signal processing unit that performs predetermined processing on the third data received by the second receiving unit; The information processing device according to any one of (1) to (12) above.
  • the first data is image data, The information processing device according to (13), wherein the predetermined process is a Debrar correction that corrects blur generated in the first data.
  • the first data is image data or depth information, The information processing device according to (13), wherein the predetermined process is frame interpolation that interpolates frames between the first data generated in synchronization with the first reference signal.
  • the information processing device according to any one of (1) to (15), further comprising at least one of the first sensor and the second sensor.
  • An information processing method comprising: (18) Generate third data using the first data generated by the first sensor in synchronization with the first reference signal and at least a portion of the second data generated by the second sensor.
  • An information processing device comprising: (19) A call to obtain third data including first data generated by the first sensor in synchronization with the first reference signal and at least a portion of the second data generated by the second sensor. Department and a signal processing unit that performs at least part of a predetermined process on the third data acquired by the calling unit; An information processing device comprising:
  • Imaging device 1, 1A to 1D, 2, 3 Imaging device 10, 100 Solid-state imaging device 11 First sensor (image sensor, ToF sensor) 11A, 1022 Hybrid sensor 12 Second sensor (EVS) 13, 1050 First signal processing device (FPGA) 14, 1100 Second signal processing device (application processor) 15 Control unit 16 Light projecting unit 17 Light emitting unit 18, 1010 Light source 19 External I/F 140 Pixel chip 150 Circuit chip 401, 501 Receiving section 402 Synchronization processing section 403 Transmission section 404, 507 Communication control section 411, 415, 502, 506 API processing section 412, 414, 503, 505 API calling section 413, 504 Signal processing section 1011 Light source drive unit 1012 VCSEL 1030 Irradiation lens 1040 Imaging lens

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Arrangements For Transmission Of Measured Signals (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Synchronisation In Digital Transmission Systems (AREA)

Abstract

情報処理装置は、第１のセンサによって第１の基準信号に同期して生成された第１のデータと、第２のセンサによって生成された第２のデータとを受信する第１受信部と、前記第１のデータと前記第２のデータの少なくとも一部とを第２の基準信号に同期する第３のデータとして送信する送信部と、を備える。

Description

情報処理装置及び情報処理方法
　本開示は、情報処理装置及び情報処理方法に関する。
　ＣＭＯＳ(Complementary　Metal　Oxide　Semiconductor)などを用いた固体撮像装置において、画素毎の輝度変化をイベントとしてリアルタイムに検出する、非同期型又は同期型の固体撮像素子が提案されている。このように、画素毎にイベントを検出する固体撮像素子は、ＥＶＳ（Event-based　Vision　Sensor）とも称される。
特表２０２１－５０８９７５号公報
　しかしながら、イメージセンサとＥＶＳやＴｏＦ（Time　of　Flight）センサとＥＶＳなどのように、複数のセンサが組み合わされたハイブリッドセンサにおいては、各センサで取得されたデータの全てが後段の処理回路において必要になるとは限らず、無駄なデータ転送が生じて転送効率が低減してしまう場合があった。
　そこで本開示は、転送効率の低減を抑制することが可能な情報処理装置及び情報処理方法を提案する。
　上記の課題を解決するために、本開示に係る一形態の情報処理装置は、第１のセンサによって第１の基準信号に同期して生成された第１のデータと、第２のセンサによって生成された第２のデータとを受信する第１受信部と、前記第１のデータと前記第２のデータの少なくとも一部とを第２の基準信号に同期する第３のデータとして送信する送信部と、を備える。
本開示の一実施形態に係る撮像装置の概略構成例を示す機能ブロック図である。 本開示の一実施形態の第１動作例に係る撮像装置の概略動作例を説明するためのタイミングチャートである。 本開示の一実施形態の第２動作例に係る撮像装置の概略動作例を説明するためのタイミングチャートである。 本開示の一実施形態に係る第３の出力データのデータ構造例を示す図である。 本開示の一実施形態の第１例に係る第１及び第２の信号処理装置の構成例を示す図である。 本開示の一実施形態の第２例に係る第１及び第２の信号処理装置の構成例を示す図である。 本開示の一実施形態の第１例に係る撮像装置の概略構成例を示す機能ブロック図である。 本開示の一実施形態の第１例に係る撮像装置の概略動作例を示すタイミングチャートである。 本開示の一実施形態の第２例に係る撮像装置の概略構成例を示す機能ブロック図である。 本開示の一実施形態の第２例に係る撮像装置の概略動作例を示すタイミングチャートである。 本開示の一実施形態の第３例に係る撮像装置の概略構成例を示す機能ブロック図である。 本開示の一実施形態の第３例に係る撮像装置の概略動作例を示すタイミングチャートである。 本開示の一実施形態の第４例に係る撮像装置の概略構成例を示す機能ブロック図である。 本開示の一実施形態の第４例に係る撮像装置の概略動作例を示すタイミングチャートである。 本開示の一実施形態に係るデブラー補正及びフレーム補間を説明するための図である。 本開示の一実施形態に係るフレーム補間を説明するための図である。 本開示の一実施形態に係るデプス情報のフレーム補間を説明するための図である。 本開示の一実施形態に係るデプス情報のフレーム補間により得られる効果を説明するための図である（その１）。 本開示の一実施形態に係るデプス情報のフレーム補間により得られる効果を説明するための図である（その２）。 本開示の一実施形態に係るデプス情報のフレーム補間により得られる効果を説明するための図である（その３）。 本開示の一実施形態の第１構成例に係る撮像装置の構成例を示すブロック図である。 本開示の一実施形態の第２構成例に係る撮像装置の構成例を示すブロック図である。 本開示の一実施形態の第３構成例に係る撮像装置の構成例を示すブロック図である。 本開示の一実施形態に係る撮像装置の概略構成例を示す模式図である。 本開示の一実施形態に係る撮像装置のシステム構成例を示すブロック図である。 本開示の一実施形態に係るハイブリッドセンサの概略構成例を示すブロック図である。 本開示の一実施形態に係るハイブリッドセンサの他の概略構成例を示すブロック図である。 本開示の一実施形態に係るハイブリッドセンサの画素配列例を示す模式図である。 本開示の一実施形態に係るハイブリッドセンサの他の画素配列の例を示す模式図である。 本開示の一実施形態に係る固体撮像装置の積層構造例を示す図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
　また、以下に示す項目順序に従って本開示を説明する。
　　１．一実施形態
　　　１．１　概略構成例
　　　１．２　概略動作例
　　　　１．２．１　第１動作例（非同期型）
　　　　１．２．２　第２動作例（同期型）
　　　１．３　第３の出力データの構造例
　　　１．４　信号処理装置の構成例
　　　　１．４．１　第１例
　　　　１．４．２　第２例
　　　１．５　撮像装置の具体例
　　　　１．５．１　第１例
　　　　１．５．２　第２例
　　　　１．５．３　第３例
　　　　１．５．４　第４例
　　　１．６　デブラー補正及びフレーム補間について
　　　１．７　デプス情報のフレーム補間について
　　　１．８　撮像装置の構成例
　　　　１．８．１　第１構成例
　　　　１．８．２　第２構成例
　　　　１．８．３　第３構成例
　　　１．９　具体的構成例
　　　１．１０　ハイブリッドセンサの構成例
　　　　１．１０．１　ハイブリッドセンサの他の構成例
　　　　１．１０．２　ハイブリッドセンサの画素配列例
　　　　１．１０．３　ハイブリッドセンサの他の画素配列例
　　　１．１１　固体撮像装置の積層構造例
　　２．移動体への応用例
　１．一実施形態
　まず、本開示の一実施形態について、図面を参照して詳細に説明する。
　１．１　概略構成例
　図１は、本実施形態に係る撮像装置の概略構成例を示す機能ブロック図である。図１に示すように、撮像装置１は、第１のセンサ１１及び第２のセンサ１２を含む複数のセンサと、第１の信号処理装置１３と、第２の信号処理装置１４とを備える。
　本実施形態において、第１のセンサ１１は、例えば、カラー画像（ＲＧＢ三原色の他の波長成分が含まれるマルチスペクトル画像を含む）及び／又はモノクロ画像（赤外光等の特殊光画像を含む）を取得するイメージセンサ、画角内の被写体までの距離（デプスともいう）を取得する測距センサ、加速度や角加速度などを検出する慣性計測装置など、種々のセンサであってよい。なお、以下の説明では、イメージセンサとして、ＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）イメージセンサ（ＣＩＳ）を例示し、測距センサとして、直接ＴｏＦ方式や間接ＴｏＦ方式のＴｏＦセンサを例示する。
　また、本実施形態では、第２のセンサ１２がＥＶＳである場合を例示する。このＥＶＳは、２以上の画素が同期してイベントを検出する同期型であってもよいし、画素が独立してイベントを検出する非同期型であってもよい。
　第１の信号処理装置１３は、例えば、ＦＰＧＡ（Field　Programmable　Gate　Array）、ＭＣＵ（Micro　Controller　Unit）又はＭＰＵ（Micro　Processor　Unit）、ＤＳＰ（Digital　Signal　Processor）、ＡＳＩＣ（Application　Specific　Integrated　Circuit）、ＡＳＳＰ（Application　Specific　Standard　Product）などの処理装置で構成され、第１のセンサ１１から出力された第１の出力データ及び第２のセンサ１２から出力された第２の出力データのうち、後段の第２の信号処理装置１４における処理において必要となるデータを第３の出力データとして選択的に出力する。
　第２の信号処理装置１４は、例えば、アプリケーションプロセッサなどで構成され、第１の信号処理装置１３から入力された第３の出力データに基づき、デブラー補正やフレーム補間や認識処理やＳＬＡＭ（Simultaneous　Localization　and　Mapping）などの種々の処理（以下、所定の処理ともいう）を実行する。第２の信号処理装置１４は、第１の信号処理装置１３に対してリクエストを送信することで、第１の信号処理装置１３に対して要求するデータを指定してもよい。
　１．２　概略動作例
　次に、本実施形態に係る撮像装置の概略動作について説明する。以下では、第２のセンサ１２が非同期型のセンサである場合（第１動作例）と、同期型のセンサである場合（第２動作例）とを例示する。
　１．２．１　第１動作例（非同期型）
　図２は、本実施形態の第１動作例に係る撮像装置の概略動作例を説明するためのタイミングチャートである。なお、図２には、第１のセンサ１１がイメージセンサであり、第２のセンサ１２が非同期型のＥＶＳである場合が例示されている。
　図２に示すように、第１のセンサ１１は、所定の第１のフレーム周期で立ち上がる（又は立ち下がる）の第１の基準信号に同期することで、第１の基準信号で規定されるフレーム期間中に、画素の露光と、露光された画素からの画素信号の読出しとを実行し、全画素から読み出された１フレーム分の画素信号を第１の出力データＤ１として出力する。また、第１のセンサ１１は、画素の露光期間中であることを示す露光タイミング信号を生成し、これを第２のセンサ１２に入力する。
　一方、第２のセンサ１２は、各画素でイベントが検出されたタイミングで、イベントを検出した画素の位置情報（アドレス等）と、検出されたイベントの極性（正イベント又は負イベント）と、イベントが検出された時刻を示す情報（タイムスタンプ等）と、イベントが検出されたタイミングが第１のセンサ１１の露光期間中であるか否かを示す情報（以下、露光期間フラグという）とを含むイベントデータを生成し、生成されたイベントデータを随時、第２の出力データ（イベントストリーム）Ｄ２として出力する。なお、露光期間フラグは、第１のセンサ１１から入力された露光タイミング信号に基づいて生成されてよい。また、第２の出力データＤ２は、第１の基準信号とは異なる周期及び／又は位相の基準信号によって同期化（フレーム化）されて出力されてもよい。
　第１の信号処理装置１３は、所定の第２のフレーム周期で立ち上がる（又は立ち下がる）の第２の基準信号に同期することで、第１のセンサ１１から入力された第１の出力データＤ１と、第２のセンサ１２から入力され得た第２の出力データＤ２とを用いてフレームデータを生成し、生成されたフレームデータを第３の出力データＤ３として出力する。
　その際、第１の信号処理装置１３は、露光期間フラグに基づくことで、第２の出力データＤ２における各イベントデータが示すイベントが露光期間中に検出されたイベントであるか否かを判別し、露光期間中に検出されたイベントのイベントデータ（これを第２ａの出力データＤ２ａともいう）と、露光期間外に検出されたイベントのイベントデータ（これを第２ｂの出力データＤ２ｂともいう）とを分けて扱ってもよい。
　また、第１の信号処理装置１３は、第２ａの出力データＤ２ａと、第２ｂの出力データＤ２ｂとのうちの何れか一方がリクエストで要求されている場合には、要求された方のデータをフレームデータに含めることで第３の出力データＤ３を生成してもよい。
　ただし、リクエストで第２ａの出力データＤ２ａ及び第２ｂの出力データＤ２ｂの両方が要求されている場合や、リクエストでデータの指定がない場合等には、第１の信号処理装置１３は、第２ａの出力データＤ２ａと第２ｂの出力データＤ２ｂとの両方を含むフレームデータを生成してもよい。
　なお、第１のフレーム周期と第２のフレーム周期とは、同じ周期であってもよいし、異なる周期であってもよい。また、第１のフレーム周期と第２のフレーム周期とが同じ周期である場合、第１の基準信号と第２の基準信号とは、同じ位相（すなわち、同じタイミングで立ち上がる（又は立ち下がる）であってもよいし、異なる位相（すなわち、位相がズレている）であってもよい。
　１．２．２　第２動作例（同期型）
　図３は、本実施形態の第２動作例に係る撮像装置の概略動作例を説明するためのタイミングチャートである。なお、図３には、第１のセンサ１１がイメージセンサであり、第２のセンサ１２が同期型のＥＶＳである場合が例示されている。
　図３において、第１のセンサ１１は、図２に例示した第１動作例と同様に、第１の基準信号に同期して１フレーム分の第１の出力データＤ１を出力する。
　一方、第２のセンサ１２は、図２に例示した第１動作例と同様に、各画素でイベントが検出されたタイミングでイベントデータを生成する。ただし、第２動作例では、所定の第３のフレーム周期で立ち上がる（又は立ち下がる）の第３の基準信号に基づいて各フレーム分のイベントデータを蓄積し、蓄積されたイベントデータの集合を１フレーム分の出力データＤ２として出力する。
　なお、第１のフレーム周期と第３のフレーム周期とは、同じ周期であってもよいし、異なる周期であってもよい。また、第１のフレーム周期と第３のフレーム周期とが同じ周期である場合、第１の基準信号と第３の基準信号とは、同じ位相（すなわち、同じタイミングで立ち上がる（又は立ち下がる）であってもよいし、異なる位相（すなわち、位相がズレている）であってもよい。
　第１の信号処理装置１３は、図２に例示した第１動作例と同様に、第２の基準信号に同期することで、第１の出力データＤ１と、第２のセンサ１２から入力され得た第２の出力データＤ２とを用いて第３の出力データＤ３を生成して出力する。その際、露光期間フラグに基づくことで、第２ａの出力データＤ２ａと第２ｂの出力データＤ２ｂとを分けて扱ってもよい。
　その他の動作は、第１動作例と同様であってよいため、ここでは説明を省略する。
　１．３　第３の出力データの構造例
　次に、第１の信号処理装置１３から出力される第３の出力データＤ３のデータ構造の例について説明する。図４は、本実施形態に係る第３の出力データのデータ構造例を示す図である。
　図４に示すように、第３の出力データＤ３は、例えば、フレームデータの先頭を示すヘッダ部ＦＳと、フレームデータの末尾を示すトレーラ部ＦＥとの間のペイロード部に、第１の出力データＤ１を含むパケットＰ１と、第２の出力データＤ２を含むパケットＰ２とが配置された構造を有する。なお、第２ａの出力データＤ２ａと第２ｂの出力データＤ２ｂとを区別する場合、パケットＰ２は、第２ａの出力データＤ２ａのパケットＰ２ａと、第２ｂの出力データＤ２ｂのパケットＰ２ｂとに分かれていてもよい。また、ヘッダ部ＦＳとトレーラ部ＦＥとの間には、埋め込みデータを含むパケットＰ４が配置されてもよい。
　各パケットＰ１、Ｐ２（Ｐ２ａ、Ｐ２ｂ）、Ｐ４は、パケットの先頭を示すパケットヘッダＰＨと、パケットの末尾を示すパケットフッタＰＦとを備え、これらパケットヘッダＰＨとパケットフッタＰＦとの間に各データが配置された構造を備える。
　なお、各パケットＰ１、Ｐ２（Ｐ２ａ、Ｐ２ｂ）、Ｐ４のデータ長は、固定長であってもよいし、可変長であってもよい。固定長である場合、データが１つのパケットに収まらなければ複数のパケットに分割されてもよい。また、データが１つのパケットのデータ長よりも短い場合には、不足分が固定値でパディングされてもよい。
　また、第２ａの出力データＤ２ａと第２ｂの出力データＤ２ｂとを区別する場合、第２ａの出力データＤ２ａ及び／又は第２ｂの出力データＤ２ｂの格納位置を特定するための情報は、パケットＰ２ａ及び／又はＰ２ｂのパケットヘッダＰＨ又はパケットフッタＰＦ、フレームデータのヘッダ部ＦＳ又はトレーラ部ＦＥ若しくはペイロード部、及び、埋め込みデータのいずれに格納されてもよい。
　１．４　信号処理装置の構成例
　つづいて、第１の信号処理装置１３及び第２の信号処理装置１４の構成について、いくつか例を挙げて説明する。
　１．４．１　第１例
　第１例は、第１の信号処理部１３において第３の出力データの生成が実行され、第２の信号処理装置１４において第３の出力データに対する所定の処理が実行される場合を例示する。図５は、第１例に係る第１及び第２の信号処理装置の構成例を示す図である。
　図５に示すように、第１例では、第１の信号処理装置１３は、受信部４０１と、同期処理部４０２と、送信部４０３と、通信制御部４０４とを備える。一方、第２の信号処理装置１４は、受信部５０１と、ＡＰＩ（Application　Programming　Interface）処理部５０２と、ＡＰＩ呼出部５０３と、信号処理部５０４と、ＡＰＩ呼出部５０５と、ＡＰＩ処理部５０６と、通信制御部５０７とを備える。
　第１の信号処理装置１３において、受信部４０１は、第１のセンサ１１から第１の基準信号に同期して出力される第１の出力データを受信するとともに、第２のセンサ１２から非同期又は同期して出力される第２の出力データを受信する。
　同期処理部４０２は、受信部４０１で受信された第１の出力データと第２の出力データとを用いて第３の出力データを生成する。そして、送信部４０３は、同期処理部４０２で生成された第３の出力データを第２の信号処理装置１４へ送信する。
　第２の信号処理装置１４において、受信部５０１は、第１の信号処理装置１３から送信された第３の出力データを受信する。
　受信部５０１が第３の出力データを受信すると、ＡＰＩ呼出部５０３は、第３の出力データを取得するためのＡＰＩを呼び出す。ＡＰＩ処理部５０２は、ＡＰＩの呼び出しに応じて、受信部５０１で受信された第３の出力データをＡＰＩ呼出部５０３に供給する。これに対し、信号処理部５０４は、ＡＰＩ呼出部５０３が取得した第３の出力データを用いて所定の処理を実行する。なお、ＡＰＩ呼出部５０３は、第３の出力データのうち、第１のセンサ１１の露光期間内に生成された第２ａの出力データＤ２ａのみを選択的に取得するＡＰＩを呼び出してもよい。その場合、ＡＰＩ処理部５０２は、ＡＰＩの呼出しに応じて、受信部５０１で受信された第３の出力データのうちの第２ａの出力データＤ２ａを選択的にＡＰＩ呼出部５０３に供給してもよい。若しくは、ＡＰＩ呼出部５０３は、第３の出力データのうち、第１のセンサ１１の露光期間外に生成された第２ｂの出力データＤ２ｂのみを選択的に取得するＡＰＩを呼び出してもよい。その場合、ＡＰＩ処理部５０２は、ＡＰＩの呼出しに応じて、受信部５０１で受信された第３の出力データのうちの第２ｂの出力データＤ２ｂを選択的にＡＰＩ呼出部５０３に供給してもよい。
　また、第２の信号処理装置１４において、第１の信号処理装置１３へリクエストを送信するＡＰＩは、ＡＰＩ呼出部５０５を介してＡＰＩ処理部５０６へアクセスする。アクセスされたＡＰＩ処理部５０６は、ＡＰＩより指定されたリクエストを、通信制御部５０７を介して第１の信号処理装置１３の通信制御部４０４へ送信する。その際、ＡＰＩ呼出部５０５は、第１のセンサ１１の露光期間内に生成された第２ａの出力データＤ２ａのみを第３の出力データとして供給することを第１の信号処理装置１３に要求するリクエストを送信するためのＡＰＩを呼び出してもよい。これに対し、ＡＰＩ処理部５０６は、ＡＰＩの呼出しに応じて、第２ａの出力データＤ２ａのみを第３の出力データとして送信させるためのリクエストを通信制御部５０７から通信制御部４０４に送信させてもよい。この場合、第１の信号処理装置１３は、第１のセンサ１１の露光期間内に生成された第２ａの出力データＤ２ａを第３の出力データとして第２の信号処理装置１４に送信してよい。若しくは、ＡＰＩ呼出部５０５は、第１のセンサ１１の露光期間外に生成された第２ｂの出力データＤ２ｂのみを第３の出力データとして供給することを第１の信号処理装置１３に要求するリクエストを送信するためのＡＰＩを呼び出してもよい。これに対し、ＡＰＩ処理部５０６は、ＡＰＩの呼出しに応じて、第２ｂの出力データＤ２ｂのみを第３の出力データとして送信させるためのリクエストを通信制御部５０７から通信制御部４０４に送信させてもよい。この場合、第１の信号処理装置１３は、第１のセンサ１１の露光期間外に生成された第２ｂの出力データＤ２ｂを第３の出力データとして第２の信号処理装置１４に送信してよい。
　１．４．２　第２例
　第２例は、第１の信号処理部１３において第３の出力データの生成の他に第３の出力データに対する所定の処理の少なくとも一部が実行され、第２の信号処理装置１４において第３の出力データに対する所定の処理の残りが実行される場合を例示する。図６は、第２例に係る第１及び第２の信号処理装置の構成例を示す図である。
　図６に示すように、第２例では、第１の信号処理装置１３は、受信部４０１、同期処理部４０２及び送信部４０３の他に、ＡＰＩ処理部４１１と、ＡＰＩ呼出部４１２と、信号処理部４１３と、ＡＰＩ呼出部４１４と、ＡＰＩ処理部４１５とを備える。一方、第２の信号処理装置１４は、受信部５０１と、ＡＰＩ処理部５０２と、ＡＰＩ呼出部５０３とを備える。
　第１の信号処理装置１３において、同期処理部４０２は、受信部４０１により受信された第１の出力データ及び第２の出力データから第３の出力データを生成する。同期処理部４０２が第３の出力データを生成すると、ＡＰＩ呼出部４１２は、第３の出力データを取得するためのＡＰＩを呼び出すことで、ＡＰＩ処理部４１１を介して第３の出力データを取得する。これに対し、信号処理部４１３は、ＡＰＩ呼出部４１２が取得した第３の出力データを用いて、所定の処理の少なくとも一部を実行する。なお、ＡＰＩ呼出部４１２は、第３の出力データのうちの第２ａの出力データＤ２ａ又は第２ｂの出力データＤ２ｂのみを選択的に取得するＡＰＩを呼び出してもよい。その場合、ＡＰＩ処理部４１１は、ＡＰＩの呼出しに応じて、同期処理部４０２で生成された第３の出力データのうちの第２ａの出力データＤ２ａ又は第２ｂの出力データＤ２ｂを選択的にＡＰＩ呼出部４１２に供給してもよい。
　一方、ＡＰＩ呼出部４１４は、信号処理部４１３による所定の処理の結果を送信するためのＡＰＩを呼び出すことで、ＡＰＩ処理部４１５に、上記処理結果を送信部４０３を介して第２の信号処理装置１４へ送信させる。なお、ＡＰＩ呼出部４１４は、上記処理結果と共に第３の出力データを送信するためのＡＰＩを呼び出してもよい。
　送信部４０３から送信された処理結果は、第２の信号処理装置１４の受信部５０１で受信される。受信部５０１が第３の出力データを受信すると、ＡＰＩ呼出部５０３は、第３の出力データを取得するためのＡＰＩを呼び出す。ＡＰＩ処理部５０２は、ＡＰＩの呼び出しに応じて、受信部５０１で受信された第３の出力データをＡＰＩ呼出部５０３に供給する。そして、ＡＰＩ呼出部５０３は、該当するＡＰＩを呼び出して実行することで、所定の処理の残りを実行する。
　なお、以下の説明では、明確化のため、第１例である第１の信号処理装置１３及び第２の信号処理装置１４が第１例に係る構成を備える場合を例示する。
　１．５　撮像装置の具体例
　次に、本実施形態に係る撮像装置１のより具体的な構成について、いくつか例を挙げて説明する。
　１．５．１　第１例
　第１例では、第１のセンサ１１にイメージセンサを用い、第２のセンサ１２にＥＶＳを用い、イメージセンサ１１で取得された画像データ（第１の出力データ）に生じたボケを、ＥＶＳ１２からのイベントデータ（第２の出力データ）を用いて補正する、いわゆるデブラー補正を行うように構成された撮像装置１Ａについて説明する。なお、以下では、ＥＶＳ１２が非同期型（図２参照）である場合を例示するが、これに限定されず、同期型（図３参照）であってもよい。
　イメージセンサで取得される画像データにボケが生じる要因の１つとして、露光期間中に画角内の被写体が移動することが考えられる。これは、暗所での撮像など、露光期間を長くする場合に特に問題となる。一方で、一般的にＥＶＳの実質的なフレームレートはイメージセンサのそれよりも非常に高い。例えば、イメージセンサの一般的なフレームレートが６０～１２０ｆｐｓ（Frame　Per　Second）であるのに対し、ＥＶＳは１０００ｆｐｓ以上のフレームレートを実現することができる。そのため、ＥＶＳで取得されたイベントデータに基づいて再構成される画像データは、被写体の移動による影響を受け難い。そこで、第１例では、イメージセンサ１１で取得された画像データに生じたボケを、ＥＶＳ１２で取得されたイベントデータに基づいて補正する（デブラー補正）。
　図７は、第１例に係る撮像装置の概略構成例を示す機能ブロック図である。図８は、第１例に係る撮像装置の概略動作例を示すタイミングチャートである。
　図７及び図８に示すように、第１例では、第１の信号処理装置１３は、ＥＶＳ１２から入力されたイベントストリーム（第２の出力データＤ２）のうち、露光期間外に取得されたイベントデータ（第２ｂの出力データＤ２ｂ）を破棄し、イメージセンサ１１から入力された画像データ（第１の出力データＤ１）と、露光期間内にＥＶＳ１２で取得されたイベントデータ（第２ａの出力データＤ２ａ）と用いて、第２の信号処理装置１４へ出力されるフレームデータ（第３の出力データＤ３）を生成する。
　このように、第２の信号処理装置１４における処理（デブラー補正）に用いられないイベントデータ（第２ｂの出力データＤ２ｂ）を第１の信号処理装置１３において破棄することで、第１の信号処理装置１３から第２の信号処理装置１４へ送信されるデータ量を削減することが可能となる。それにより、伝送帯域を抑制することが可能となるため、より高速かつ効率的なデータ転送を実現することが可能となる。
　第２の信号処理装置１４は、フレームデータ（第３の出力データＤ３）における画像データ（第１の出力データＤ１）に生じたボケを、露光期間内に取得されたイベントデータ（第２ａの出力データＤ２ａ）を用いて補正する（デブラー補正）。それにより、第２の信号処理装置１４において、ボケが低減された高画質の画像データを取得することが可能となる。
　なお、本例では、露光期間外の被写体の移動が画像データにボケを生じさせる要因とならないため、露光時間外に取得されたイベントデータ（第２ｂの出力データＤ２ｂ）を破棄するとしたが、これに限定されず、例えば、露光時間外に取得されたイベントデータ（第２ｂの出力データＤ２ｂ）もフレームデータ（第３の出力データＤ３）に含めておき、第２の信号処理装置１４において、露光時間外に取得されたイベントデータ（第２ｂの出力データＤ２ｂ）を用いて、時系列に沿って配列する画像データ（第１の出力データＤ１）間のフレーム補間を行うように構成されてもよい。
　また、本例では、第１の信号処理装置１３においてデブラー補正に不要なイベントデータ（第２ｂの出力データＤ２ｂ）を破棄する場合を例示したが、これに限定されず、ＥＶＳ１２内において露光時間外に生成されたイベントデータを破棄するように構成されてもよい。若しくは、ＥＶＳ１２が露光時間外にイベントデータを生成しないように構成されてもよい。
　１．５．２　第２例
　第２例では、第１のセンサ１１にイメージセンサを用い、第２のセンサ１２にＥＶＳを用い、イメージセンサ１１による画像データ（第１の出力データ）の取得に加え、ＥＶＳ１２による被写体までの距離情報（デプス情報）を取得するように構成された撮像装置１Ｂについて説明する。なお、以下では、ＥＶＳ１２が非同期型（図２参照）である場合を例示するが、これに限定されず、同期型（図３参照）であってもよい。
　本例において、デプス情報は、被写体に向けて所定パターンの光を投光し、被写体に投影された所定パターンの光の形状に生じた歪みやサイズ等を特定することで、被写体までの距離を測定する、いわゆるストラクチャードライト方式を用いて取得される。被写体に投影された光の形状検出には、イメージセンサを用いることも可能であるが、よりフレームレートの高いＥＶＳを用いることで、より高速な測距が可能となる。
　ただし、ストラクチャードライト方式で投影される光は、イメージセンサで取得される画像データに干渉する。そのため、本例では、後述するように、イメージセンサの露光期間外に投光し、被写体に投影された光の形状をＥＶＳにて検出する。
　図９は、第２例に係る撮像装置の概略構成例を示す機能ブロック図である。図１０は、第２例に係る撮像装置の概略動作例を示すタイミングチャートである。
　図９に示すように、第２例に係る撮像装置１Ｂは、第１例に係る撮像装置１Ａと同様の構成に加え、被写体へ向けて所定パターンの光を投光する投光部１６をさらに備える。
　図１０に示すように、投光部１６が光を投光する投光期間は、イメージセンサ１１の露光期間外に設定される。これにより、イメージセンサ１１で取得される画像データ（第１の出力データＤ１）が投光部１６から投光された光の影響を受けることを回避することが可能となる。
　第１の信号処理装置１３は、ＥＶＳ１２から入力されたイベントストリーム（第２の出力データＤ２）のうち、露光期間内に取得されたイベントデータ（第２ａの出力データＤ２ａ）を破棄し、イメージセンサ１１から入力された画像データ（第１の出力データＤ１）と、露光期間外にＥＶＳ１２で取得されたイベントデータ（第２ｂの出力データＤ２ｂ）と用いて、第２の信号処理装置１４へ出力されるフレームデータ（第３の出力データＤ３）を生成する。
　このように、第２の信号処理装置１４における処理（測距処理）に用いられないイベントデータ（第２ａの出力データＤ２ａ）を第１の信号処理装置１３において破棄することで、第１例と同様に、第１の信号処理装置１３から第２の信号処理装置１４へ送信されるデータ量を削減することが可能となる。
　第２の信号処理装置１４は、フレームデータ（第３の出力データＤ３）におけるイベントデータ（第２ｂの出力データＤ２ｂ）を用いて画像データ（第１の出力データＤ１）を再構成し、これに写された投影光の形状の歪みやサイズ等を特定することで、被写体までの距離を示すデプス情報を生成する。その他の構成及び動作は、第１例と同様であってよい。
　なお、本例では、被写体に投影された光を検出していない露光時間内に取得されたイベントデータ（第２ａの出力データＤ２ａ）を破棄するとしたが、これに限定されず、例えば、露光時間内に取得されたイベントデータ（第２ａの出力データＤ２ａ）もフレームデータ（第３の出力データＤ３）に含めておき、第２の信号処理装置１４において、露光時間内に取得されたイベントデータ（第２ａの出力データＤ２ａ）を用いて、イメージセンサ１１で取得された画像データ（第１の出力データ）に対するデブラー補正を行うように構成されてもよい。
　また、本例では、第１の信号処理装置１３において測距処理に不要なイベントデータ（第２ａの出力データＤ２ａ）を破棄する場合を例示したが、これに限定されず、ＥＶＳ１２内において露光時間内に生成されたイベントデータを破棄するように構成されてもよい。若しくは、ＥＶＳ１２が露光時間内にイベントデータを生成しないように構成されてもよい。
　１．５．３　第３例
　第３例では、第１例のように、露光時間内に取得されたイベントデータ（第２ａの出力データＤ２ａ）を用いて画像データ（第１の出力データ）のデブラー補正を行うとともに、第２例のように、露光時間外に被写体に所定パターンの光を投光し、その際に取得されたイベントデータ（第２ｂの出力データ）を用いてデプス情報を取得する場合を例示する。
　図１１は、第３例に係る撮像装置の概略構成例を示す機能ブロック図である。図１２は、第３例に係る撮像装置の概略動作例を示すタイミングチャートである。
　図１１に示すように、第３例に係る撮像装置１Ｃは、第２例に係る撮像装置１Ｂと同様に、第１例に係る撮像装置１Ａの構成に加えて投光部１６をさらに備える。ただし、第３例に係る撮像装置１Ｃでは、第１の信号処理装置１３において、第１の出力データＤ１と第２ｂの出力データＤ２ｂとに加え、第２ａの出力データＤ２ａを含む第３の出力データＤ３が生成される。
　第２の信号処理装置１４は、フレームデータ（第３の出力データＤ３）における画像データ（第１の出力データＤ１）に生じたボケを露光期間内に取得されたイベントデータ（第２ａの出力データＤ２ａ）を用いて補正（デブラー補正）し、フレームデータ（第３の出力データＤ３）におけるイベントデータ（第２ｂの出力データＤ２ｂ）を用いて画像データ（第１の出力データＤ１）を再構成して被写体までの距離を示すデプス情報を取得する。その他の構成及び動作は、第１例又は第２例と同様であってよい。
　１．５．４　第４例
　第４例では、第１のセンサ１１にＴｏＦセンサを用い、第２のセンサ１２にＥＶＳを用い、ＴｏＦセンサ１１を用いて取得されるデプス情報のフレーム間を、ＥＶＳ１２を用いたストラクチャードライト方式により取得されたデプス情報で補間するように構成された撮像装置１Ｄについて説明する。なお、以下では、ＥＶＳ１２が非同期型（図２参照）である場合を例示するが、これに限定されず、同期型（図３参照）であってもよい。
　図１３は、第４例に係る撮像装置の概略構成例を示す機能ブロック図である。図１４は、第４例に係る撮像装置の概略動作例を示すタイミングチャートである。
　図１３に示すように、第４例に係る撮像装置１Ｄは、第２例に係る撮像装置１Ｂと同様の構成において、イメージセンサ１１がＴｏＦセンサ１１に置き換えられるとともに、被写体へ向けてパルス状のレーザ光を出射する発光部１７をさらに備える。ＴｏＦセンサ１１は、直接ＴｏＦ方式であっても、間接ＴｏＦ方式であってもよい。また、直接ＴｏＦ方式である場合、ＴｏＦセンサ１１を構成する各画素は、例えば、複数のＳＰＡＤ（Single　Photon　Avalanche　Diode）画素の集合で構成されたマクロ画素であってもよい。なお、投光部１６と発光部１７とは、同一の光源であってもよいし、別々の光源であってもよい。
　図１４に示すように、発光部１７は、第１の基準信号で規定された各フレーム期間の初期に、パルス状のレーザ光を出射する。これに対し、第１のセンサであるＴｏＦセンサ１１は、発光部１７が発光してから所定のサンプリング期間、所定のサンプリング周期で露光を繰り返すことで、被写体までの距離が反映されたマクロ画素毎のヒストグラムを作成する。作成されたヒストグラムは、第１の出力データＤ１として第１の信号処理装置１３に出力される。
　一方、投光部１６は、露光期間外に代えて、サンプリング期間外に、所定パターンの光を被写体へ向けて投光する。それ以外の動作は、第２例又は第３例で説明したストラクチャードライト方式と同様であってよい。
　第１の信号処理装置１３は、ＥＶＳ１２から入力されたイベントストリーム（第２の出力データＤ２）のうち、サンプリング期間内に取得されたイベントデータ（第２ａの出力データＤ２ａ）を破棄し、ＴｏＦセンサ１１から入力されたヒストグラム（第１の出力データＤ１）と、サンプリング期間外にＥＶＳ１２で取得されたイベントデータ（第２ｂの出力データＤ２ｂ）と用いて、第２の信号処理装置１４へ出力されるフレームデータ（第３の出力データＤ３）を生成する。
　第２の信号処理装置１４は、フレームデータ（第３の出力データＤ３）におけるヒストグラムＤ１を用いて被写体までの距離を示すデプス情報を生成する。また、第２の信号処理装置１４は、イベントデータ（第２ｂの出力データＤ２ｂ）を用いて画像データ（第１の出力データＤ１）を再構成して被写体までの距離を示すデプス情報を生成することで、ＴｏＦセンサ１１を用いて取得されるデプス情報のフレーム間を補間する。
　以上のように、ＴｏＦセンサ１１を用いて取得されるデプス情報のフレーム間をＥＶＳ１２を用いたストラクチャードライト方式により取得されるデプス情報で補間することで、時間軸方向に密なデプス情報を取得することが可能となるため、被写体までのより詳細な距離を特定することが可能となる。その他の構成及び動作は、第１例～第３例のいずれかと同様であってよい。
　１．６　デブラー補正及びフレーム補間について
　ここで、上述において例示した画像データのデブラー補正及びフレーム補間について説明する。図１５は、本実施形態に係るデブラー補正及びフレーム補間を説明するための図である。
　図１５の（Ａ）に示すように、第１の信号処理装置１３から出力されるフレームデータ（第３の出力データＤ３）には、イメージセンサ１１で取得された画像データ（第１の出力データＤ１）と、ＥＶＳ１２において露光時間内に取得されたイベントデータ（第２ａの出力データＤ２ａ）とが含まれている。画像データ（第１の出力データＤ１）は、第１の基準信号で規定される１フレーム期間中に１枚生成されるデータであるのに対し、１フレーム期間中に取得されたイベントデータ（第２ａの出力データＤ２ａ）からは、複数の画像データ（以下、イベント画像ともいう）を再構成することが可能である。
　そこで、図１５の（Ｂ）に示すように、イベントデータ（第２ａの出力データＤ２ａ）から再構成された複数のイベント画像に基づくことで、露光期間中の被写体の移動（移動方向、移動距離等）を特定し、特定された被写体の移動に基づくことで、画像データ（第１の出力データＤ１）に発生したボケを補正することができる。
　また、図１５の（Ｂ）に示すように、イベントデータ（第２ａの出力データＤ２ａ）から再構成された複数のイベント画像を用いて、画像データ（第１の出力データＤ１）における各領域のオプティカルフローを求め、求められたオプティカルフローに基づくことで、フレーム間の画像データを補間することも可能である。
　なお、図１６に示すように、ＥＶＳ１２において露光時間外に取得されたイベントデータ（第２ｂの出力データＤ２ｂ）に基づくことで、露光時間外の画像データをフレーム補間することも可能である。
　また、補間される画像データの生成は、上述のような、オプティカルフローに基づく手法に限定されず、例えば、画像データ（第１の出力データＤ１）とイベントデータ（第２の出力データＤ２）とを入力とするＤＮＮ（Deep　Neural　Network）を用いる機械学習を利用した手法など、種々の手法が採用されてよい。
　１．７　デプス情報のフレーム補間について
　つづいて、上述において例示したデプス情報のフレーム補間について説明する。図１７は、本実施形態に係るデプス情報のフレーム補間を説明するための図である。図１８～図２０は、本実施形態に係るデプス情報のフレーム補間により得られる効果を説明するための図である。なお、以下の説明では、理解のため、第１の出力データＤ１（ヒストグラム）から生成されるデプス情報の符号をＤ１とし、サンプリング期間外のイベントデータ（第２ｂの出力データＤ２ｂ）から再構成された画像データより求まるデプス情報の符号をＤ２ｂとする。また、デプス情報Ｄ１をデプス情報Ｄ２ｂでフレーム補間することで最終的に得られたデプス情報の符号をＤ４とする。
　図１７に示すように、イベントデータ（第２ｂの出力データＤ２ｂ）から再構成された画像データより求まるデプス情報Ｄ２ｂのフレームレートは、第１の出力データＤ１（ヒストグラム）から生成されるデプス情報Ｄ１のフレームレートよりも高い。そのため、第１の出力データＤ１（ヒストグラム）から生成されるデプス情報Ｄ１のフレーム間を、イベントデータ（第２ｂの出力データＤ２ｂ）から再構成された画像データより求まるデプス情報Ｄ２ｂで補間することで、より高レートのデプス情報を取得することができる。
　具体的には、例えば、イベントデータ（第２ｂの出力データＤ２ｂ）から再構成された画像データより求まるデプス情報Ｄ２ｂの前後フレームの差分ΔＤ２ｂを取得し、この差分ΔＤ２ｂと、第１の出力データＤ１（ヒストグラム）から生成されるデプス情報Ｄ１を加算することで、デプス情報Ｄ１の次フレームのデプス情報Ｄ２ｂが生成される。以降、次フレームのデプス情報Ｄ１までに補間されるデプス情報Ｄ２ｂについては、前フレームとして生成されたデプス情報Ｄ２ｂに、該当するデブス情報Ｄ２ｂ間の差分ΔＤ２ｂを加算することで求めることができる。
　以上のような動作を繰り返すことで、最終的に、デプス情報Ｄ１よりも高レートのデプス情報Ｄ４を生成することが可能である。
　例えば、図１８に例示するように、３０ｆｐｓのデプス情報Ｄ１のフレーム間に、５フレーム分のデプス情報Ｄ２ｂを補間することで、１８０ｆｐｓのデプス情報Ｄ４を生成することが可能である。
　また、例えば、図１９に例示するように、デプス情報Ｄ４間のトータルレイテンシは、イベントデータ（第２ｂの出力データＤ２ｂ）を生成する際の遅延量に依存するが、ＥＶＳ１２はＴｏＦセンサ１１に比べて高レートでイベントデータ（第２ｂの出力データＤ２ｂ）を生成することが可能であるため、デプス情報Ｄ４間のトータルレイテンシを最小限に抑えることも可能である。
　さらに、例えば、図２０に例示するように、デプス情報Ｄ１のフレーム間をデプス情報Ｄ２ｂで補間することで、デプス情報Ｄ１のフレームレートを下げた場合でも、十分なフレームレートのデプス情報Ｄ４を得ることができる。それにより、ＴｏＦセンサ１１から出力されるヒストグラム（第１の出力データＤ１）のフレームレートを下げることが可能となるため、消費電力の削減することも可能となる。
　１．８　撮像装置の構成例
　次に、上述において図７～図１４を用いて例示した撮像装置１Ａ～１Ｄの構成について説明する。
　１．８．１　第１構成例
　まず、上述において図７及び図８を用いて説明した第１例に係る撮像装置１Ａの構成例について説明する。図２１は、本実施形態の第１構成例に係る撮像装置の構成例を示すブロック図である。図２１に示すように、本構成例では、撮像装置１は、例えば、固体撮像装置１０と、第２の信号処理装置としてのアプリケーションプロセッサ１４とを備える。
　固体撮像装置１０は、第１のセンサとしてのイメージセンサ１１、第２のセンサとしてのＥＶＳ１２、及び、第１の信号処理装置としてのＦＰＧＡ１３に加え、制御部１５と、投光部１６と、外部インタフェース（Ｉ／Ｆ）１９とを備える。
　制御部１５は、例えば、ＣＰＵ（Central　Processing　Unit）などの情報処理装置で構成され、固体撮像装置１０の各部を制御する。
　外部Ｉ／Ｆ１９は、例えば、無線ＬＡＮ（Local　Area　Network）や有線ＬＡＮの他、ＣＡＮ（Controller　Area　Network）、ＬＩＮ（Local　Interconnect　Network）、ＦｌｅｘＲａｙ（登録商標）、ＭＩＰＩ（Mobile　Industry　Processor　Interface）、ＬＶＤＳ（Low　voltage　differential　signaling）等の任意の規格に準拠した通信ネットワークを介して外部のアプリケーションプロセッサ１４と通信を確立するための通信アダプタであってよい。
　ここで、アプリケーションプロセッサ１４は、例えば、固体撮像装置１０が車両等に実装される場合には、車両等に搭載されているＥＣＵ（Engine　Control　Unit）などであってよい。また、固体撮像装置１０が家庭内ペットロボットなどの自律移動ロボットやロボット掃除機や無人航空機や追従運搬ロボットなどの自律移動体に搭載されている場合には、アプリケーションプロセッサ１４は、その自律移動体を制御する制御装置等であってよい。さらに、固体撮像装置１０が携帯電話機やスマートフォンやタブレット端末などの電子機器に搭載されている場合には、アプリケーションプロセッサ１４は、これらの電子機器に組み込まれたＣＰＵや、これらの電子機器にネットワークを介して接続されたサーバ（クラウドサーバ等を含む）等であってよい。
　ＦＰＧＡ１３は、イメージセンサ１１から第１の基準信号に同期して出力された第１の出力データＤ１（画像データ）と、ＥＶＳ１２から非同期に出力された第２の出力データＤ２（イベントストリーム）とを入力する。そして、ＦＰＧＡ１３は、アプリケーションプロセッサ１４から外部Ｉ／Ｆ１９を介して入力されたリクエストに従い、第２の基準信号に同期して、指定されたデータを含む第３の出力データＤ３（フレームデータ）を生成する。生成された第３の出力データは、外部Ｉ／Ｆ１９を介してアプリケーションプロセッサ１４へ出力される。
　アプリケーションプロセッサ１４は、固体撮像装置１０から出力された第３の出力データに対し、デブラー処理や認識処理やＳＬＡＭなどの所定の処理を実行する。
　１．８．２　第２構成例
　図２２は、本実施形態の第２構成例に係る撮像装置の構成例を示すブロック図である。図２２に示すように、本構成例に係る撮像装置２は、第１構成例において図２１を用いて説明した撮像装置１と同様の構成において、固体撮像装置１０におけるイメージセンサ１１及びＥＶＳ１２が、ハイブリッドセンサ１１Ａに置き換えられた構成を備える。
　第２構成例に係るハイブリッドセンサ１１Ａは、その詳細については後述するが、例えば、イメージセンサとＥＶＳとが１チップ化されたセンサであり、画像データ（第１の出力データに相当）と、イベントデータ（第２の出力データに相当）とを出力することができる。ただし、本実施形態に係るハイブリッドセンサ１１Ａは、これに限定されず、例えば、ＴｏＦセンサとＥＶＳや、イメージセンサとＴｏＦセンサなど、第１のセンサ１１及び第２のセンサ１２として用いられる種々のセンサの組み合わせが１チップ化されたものであってもよい。
　その他の構成は、第１構成例に係る撮像装置１と同様であってよいため、ここでは詳細な説明を省略する。
　１．８．３　第３構成例
　次に、上述において図９及び図１０、図１１及び図１２、図１３及び図１４を用いて説明した第２例～第４例に係る撮像装置１Ｂ～１Ｄの構成例について説明する。なお、本構成例では、第４例に係る撮像装置１Ｄにおける投光部１６と発光部１７とが、共通の光源１８で構成された場合を例示する。
　図２３は、本実施形態の第３構成例に係る撮像装置の構成例を示すブロック図である。図２３に示すように、本構成例に係る撮像装置３は、第１構成例において図２１を用いて説明した撮像装置１と同様の構成において、光源１８が追加された構成を備える。
　上述における第２例及び第３例では、光源１８は、イメージセンサ１１の露光期間外に、所定パターンの光Ｌ３を被写体９０へ投光する。これに対し、ＥＶＳ１２は、被写体９０に投影された光Ｌ４の形状を検出してイベントデータ（第２ｂの出力データＤ２ｂ）を生成する。
　上述における第４例では、光源１８は、イメージセンサ１１の露光期間内に、パルス状のレーザ光Ｌ１を出射する。これに対し、ＴｏＦセンサ１１は、被写体９０で反射した反射光Ｌ２を所定のサンプリング周期で検出し、被写体９０までの距離が反映されたヒストグラム（第１の出力データＤ１）を生成する。また、光源１８は、イメージセンサ１１の露光期間外に、所定パターンの光Ｌ３を被写体９０へ投光する。これに対し、ＥＶＳ１２は、被写体９０に投影された光Ｌ４の形状を検出してイベントデータ（第２ｂの出力データＤ２ｂ）を生成する。
　その他の構成は、第１構成例に係る撮像装置１と同様であってよいため、ここでは詳細な説明を省略する。
　１．９　具体的構成例
　次に、本実施形態に係る撮像装置１の具体的構成例について説明する。図２４は、本実施形態に係る撮像装置の概略構成例を示す模式図であり、図２５は、本実施形態に係る撮像装置のシステム構成例を示すブロック図である。
　図２４に示すように、本実施形態に係る撮像装置１は、光源１０１０と、照射レンズ１０３０と、撮像レンズ１０４０と、固体撮像装置１００と、第１の信号処理装置１０５０とを備える。光源１０１０は、例えば、図２３における光源１８に相当し、固体撮像装置１００は、図２１又は図２２における固体撮像装置１０に相当する。すなわち、本例では、光源１８が固体撮像装置１０の外部に設けられている。なお、照射レンズ１０３０は必須の構成ではなく、省略されてもよい。
　光源１０１０は、図２５に示すように、例えば、垂直共振器型面発光レーザ（ＶＣＳＥＬ）１０１２と、ＶＣＳＥＬ１０１２を駆動する光源駆動部１０１１とから構成される。ただし、ＶＣＳＥＬ１０１２に限定されず、ＬＥＤ（Light　Emitting　Diode）などの種々の光源が使用されてもよい。また、光源１０１０は、点光源、面光源、線光源のいずれであってもよい。面光源又は線光源の場合、光源１０１０は、例えば、複数の点光源（例えばＶＣＳＥＬ）が１次元又は２次元に配列した構成を備えてもよい。なお、本実施形態において、光源１０１０は、例えば赤外（ＩＲ）光を出射する。ただし、これに限定されず、光源１０１０から照射される光は、可視光の波長帯とは異なる波長帯の光であればよい。
　照射レンズ１０３０は、光源１０１０の出射面側に配置され、光源１０１０から出射した光を所定の広がり角の照射光に変換する。
　撮像レンズ１０４０は、固体撮像装置１００の受光面側に配置され、入射光による像を固体撮像装置１００の受光面に結像する。入射光には、光源１０１０から出射して被写体９０１で反射した反射光も含まれ得る。被写体９０１は、例えば、アイトラッキングであれば、眼球を含むユーザの目の辺りであってよく、ＳＬＡＭであれば、自己位置周囲に存在する物体であってよい。ただし、これらに限定されるものではなく、撮像装置１の使用目的に応じて種々の物体が被写体９０１となり得る。
　固体撮像装置１００は、その詳細については後述するが、図２５に示すように、例えば、輝度を検出する画素（以下、輝度画素という）と、イベントを検出する画素（以下、イベント画素という）とが２次元格子状に配列するハイブリッドセンサ１０２２と、ハイブリッドセンサ１０２２を駆動することで、輝度画素で検出された輝度信号に基づく画像データ（第１の出力データＤ１）と、イベント画素で検出されたイベントデータに基づくデータ（第２の出力データＤ２）とを生成するセンサ制御部１０２１とから構成される。なお、その詳細については後述するが、輝度画素（第１画素ともいう）を含む構成はイメージセンサ（第１のセンサ１１）を構成し、イベント画素（第２画素ともいう）を含む構成はＥＶＳ（第２のセンサ１２）を構成してよい。
　第１の信号処理装置１０５０は、上述のように、ＦＰＧＡ、ＭＣＵ又はＭＰＵ、ＤＳＰ、ＡＳＩＣ、ＡＳＳＰ（Application　Specific　Standard　Product）などの処理装置で構成され、光源駆動部１０１１を介してＶＣＳＥＬ１０１２を駆動する。また、第１の信号処理装置１０５０は、固体撮像装置１００を制御することで、第１の出力データＤ１及び第２の出力データＤ２を取得し、取得したこれらのデータから第３の出力データＤ３を生成する。
　例えば、光源１０１０から出射した照射光は、照射レンズ１０３０を透して被写体（測定対象物又は物体ともいう）９０１に投影される。この投影された光は、被写体９０１で反射される。そして、被写体９０１で反射された光は、撮像レンズ１０４０を透して固体撮像装置１００に入射する。固体撮像装置１００のハイブリッドセンサ１０２２におけるＥＶＳ（第２のセンサ１２に相当）は、被写体９０１で反射した反射光を受光してイベントデータ（第２の出力データＤ２）を生成する。一方、ハイブリッドセンサ１０２２におけるイメージセンサ（第１のセンサ１１に相当）は、入射光における例えば可視光を受光して画像データ（第１の出力データＤ１）を生成する。
　第１の信号処理装置１０５０で生成された第３の出力データＤ３は、第２の信号処理装置１１００に供給される。第２の信号処理装置１１００は、上述のように、例えばアプリケーションプロセッサなどの情報処理装置で構成され、第１の信号処理装置１０５０から入力された画像データ及びイベントデータに基づいてデブラー補正やフレーム補間や画像処理や認識処理やＳＬＡＭなどの所定の処理を実行する。
　１．１０　ハイブリッドセンサの構成例
　図２６は、本実施形態に係るハイブリッドセンサの概略構成例であって、画素分離構成の例を示すブロック図である。図２６に示すように、本実施形態に係るハイブリッドセンサ１１Ａは、例えば、画素アレイ部１０１と、垂直駆動回路１０２Ａと、水平駆動回路１０２Ｂと、Ｘアービタ１０４Ａと、Ｙアービタ１０４Ｂと、輝度信号処理回路１０３Ａと、イベント信号処理回路１０３Ｂと、システム制御回路１０５と、輝度データ処理部１０８Ａと、イベントデータ処理部１０８Ｂとを備える。
　画素アレイ部１０１は、画素レイアウトにおける繰返しの単位となる単位画素１１０が、行方向及び列方向に、すなわち２次元格子状（行列状ともいう）に配置された構成を有する。ここで、行方向（ロウ方向ともいう）とは画素行の画素の配列方向（図面中、横方向）をいい、列方向（カラム方向ともいう）とは画素列の画素の配列方向（図面中、縦方向）をいう。なお、ここでいう繰返しの単位は、ベイヤー配列やクワッドベイヤー配列などのカラーフィルタ配列における繰返しの単位とは異なり、素子設計において繰り返される構成単位であってよい。
　各単位画素１１０は、１以上の輝度画素３１０と１以上のイベント画素３２０とを備える。本説明において、輝度画素３１０とイベント画素３２０とは、それぞれ単に画素と称される場合がある。単位画素１１０の具体的な回路構成や画素構造の詳細については後述するが、画素分離構成では、輝度画素３１０とイベント画素３２０とがそれぞれ個別の光電変換部を備える。具体的には、輝度画素３１０は、入射光の輝度に応じた電荷を生成しかつ蓄積する光電変換部ＰＤ１を備え、輝度に応じた電圧の輝度信号を生成する。一方、イベント画素３２０は、入射光の輝度に応じた電荷を生成する光電変換部ＰＤ２を備え、光電変換部ＰＤ２から流れ出した光電流に基づいて入射光の輝度変化を検出した場合、自身からの読出しを要求するリクエストを出力し、このリクエストを入力するアービタによる調停に従って、イベントを検出したことを示すイベントデータを出力する。
　画素アレイ部１０１では、行列状の画素配列に対し、画素行ごとに画素駆動線ＬＤ１及びＬＤ２が行方向に沿って配線され、画素列ごとに垂直信号線ＶＳＬ１及びＶＳＬ２が列方向に沿って配線されている。例えば、画素駆動線ＬＤ１は、各行の輝度画素３１０に接続され、画素駆動線ＬＤ２は、各行のイベント画素３２０に接続される。一方、例えば、垂直信号線ＶＳＬ１は、各列の輝度画素３１０に接続され、垂直信号線ＶＳＬ２は、各列のイベント画素３２０に接続される。ただし、これに限定されず、画素駆動線ＬＤ１及びＬＤ２は、互いに直交するように配線されていてもよい。同様に、垂直信号線ＶＳＬ１及びＶＳＬ２は、互いに直交するように配線されていてもよい。例えば、画素駆動線ＬＤ１が行方向に配線され、画素駆動線ＬＤ２が列方向に配線され、垂直信号線ＶＳＬ１が列方向に配線され、垂直信号線ＶＳＬ２が行方向に配線されてもよい。
　画素駆動線ＬＤ１は、輝度画素３１０から輝度信号を読み出す際の駆動を行うための制御信号を伝送する。画素駆動線ＬＤ２は、イベント画素３２０をイベント検出が可能なアクティブ状態にするための制御信号を伝送する。図２６では、画素駆動線ＬＤ１及びＬＤ２がそれぞれ１本ずつの配線として示されているが、１本ずつに限られるものではない。画素駆動線ＬＤ１及び画素駆動線ＬＤ２それぞれの一端は、垂直駆動回路１０２Ａの各行に対応した出力端に接続される。
　（輝度画素の駆動構成）
　各輝度画素３１０は、入射光を光電変換して電荷を発生させる光電変換部ＰＤ１と、光電変換部ＰＤ１に発生した電荷の電荷量に応じた電圧値の輝度信号を生成する画素回路１１１とを備え、垂直駆動回路１０２Ａによる制御に従い、垂直信号線ＶＳＬ１に輝度信号を出現させる。
　垂直駆動回路１０２Ａは、シフトレジスタやアドレスデコーダなどによって構成され、画素アレイ部１０１の輝度画素３１０を全画素同時あるいは行単位等で駆動する。すなわち、垂直駆動回路１０２Ａは、当該垂直駆動回路１０２Ａを制御するシステム制御回路１０５と共に、画素アレイ部１０１の各輝度画素３１０の動作を制御する駆動部を構成する。垂直駆動回路１０２Ａは、その具体的な構成については図示を省略するが、一般的に、読出し走査系と掃出し走査系との２つの走査系を備えている。
　読出し走査系は、各画素から信号を読み出すために、画素アレイ部１０１の各画素を行単位で順に選択走査する。各画素から読み出される輝度信号はアナログ信号である。掃出し走査系は、読出し走査系によって読出し走査が行われる読出し行に対して、その読出し走査よりも露光時間分だけ先行して掃出し走査を行う。
　この掃出し走査系による掃出し走査により、読出し行の各輝度画素３１０の光電変換部ＰＤ１から不要な電荷が掃き出されることによって当該光電変換部ＰＤ１がリセットされる。そして、この掃出し走査系で不要電荷を掃き出す（リセットする）ことにより、所謂電子シャッタ動作が行われる。ここで、電子シャッタ動作とは、光電変換部ＰＤ１の電荷を捨てて、新たに露光を開始する（電荷の蓄積を開始する）動作のことを言う。
　読出し走査系による読出し動作によって読み出される信号は、その直前の読出し動作または電子シャッタ動作以降に受光した光量に対応している。そして、直前の読出し動作による読出しタイミングまたは電子シャッタ動作による掃出しタイミングから、今回の読出し動作による読出しタイミングまでの期間が、各画素における電荷の蓄積期間（露光期間ともいう）となる。
　垂直駆動回路１０２Ａによって選択走査された画素行の各輝度画素３１０から出力される輝度信号は、画素列ごとに垂直信号線ＶＳＬ１の各々を通して輝度信号処理回路１０３Ａに入力される。輝度信号処理回路１０３Ａは、画素アレイ部１０１の画素列ごとに、選択行の各輝度画素３１０から垂直信号線ＶＳＬ１を通して出力される輝度信号に対して所定の信号処理を行うとともに、信号処理後の輝度信号を一時的に保持する。
　具体的には、輝度信号処理回路１０３Ａは、信号処理として少なくとも、ノイズ除去処理、例えばＣＤＳ（Correlated　Double　Sampling：相関二重サンプリング）処理や、ＤＤＳ（Double　Data　Sampling）処理を行う。例えば、ＣＤＳ処理により、リセットノイズや画素内の増幅トランジスタの閾値ばらつき等の画素固有の固定パターンノイズが除去される。輝度信号処理回路１０３Ａは、その他にも、例えば、ＡＤ（アナログ－デジタル）変換機能を備え、光電変換部ＰＤ１から読み出されたアナログの輝度信号をデジタル信号に変換して出力する。
　水平駆動回路１０２Ｂは、シフトレジスタやアドレスデコーダなどによって構成され、輝度信号処理回路１０３Ａの画素列に対応する画素回路１１１を順番に選択する。この水平駆動回路１０２Ｂによる選択走査により、輝度信号処理回路１０３Ａにおいて画素回路１１１ごとに信号処理された輝度信号が順番に出力される。
　（イベント画素の駆動構成）
　各イベント画素３２０は、入射光の輝度に応じた電荷を生成する光電変換部ＰＤ２と、光電変換部ＰＤ２から流出した光電流の電流値変化に基づいてイベントの有無を検出するアドレスイベント検出回路２１０とを備え、入射光の輝度に応じた光電流に所定の閾値を超える変化が生じたか否かに基づいて、イベントの有無を検出する。例えば、各イベント画素３２０は、輝度変化が所定の閾値を超えたこと、又は、下回ったことをイベントとして検出する。
　イベント画素３２０は、イベントを検出した際に、イベントの発生を表すイベントデータの出力許可を要求するリクエストをＸアービタ１０４Ａ及びＹアービタ１０４Ｂにそれぞれに出力する。そして、イベント画素３２０は、イベントデータの出力許可を表す応答をＸアービタ１０４Ａ及びＹアービタ１０４Ｂそれぞれから受け取った場合、イベント信号処理回路１０３Ｂに対してイベントデータを出力する。
　イベント信号処理回路１０３Ｂは、イベント画素３２０から入力されたイベントデータに対して所定の信号処理を実行し、信号処理後のイベントデータを出力する。
　上述したように、イベント画素３２０で生成される光電流の変化は、イベント画素３２０の光電変換部ＰＤ２に入射する光の光量変化（輝度変化）とも捉えることができる。従って、イベントは、所定の閾値を超えるイベント画素３２０の光量変化（輝度変化）であるとも言うことができる。イベントの発生を表すイベントデータには、少なくとも、イベントとしての光量変化が発生したイベント画素３２０の位置を表す座標等の位置情報が含まれる。イベントデータには、位置情報の他、光量変化の極性を含ませることができる。
　イベント画素３２０からイベントが発生したタイミングで出力されるイベントデータの系列については、イベントデータ同士の間隔がイベントの発生時のまま維持されている限り、イベントデータは、イベントが発生した相対的な時刻を表す時刻情報を暗示的に含んでいるということができる。
　但し、イベントデータがメモリに記憶されること等により、イベントデータ同士の間隔がイベントの発生時のまま維持されなくなると、イベントデータに暗示的に含まれる時刻情報が失われる。そのため、イベント信号処理回路１０３Ｂは、イベントデータ同士の間隔がイベントの発生時のまま維持されなくなる前に、イベントデータに、タイムスタンプ等のイベントが発生した相対的な時刻を表す時刻情報を含めてもよい。
　（その他構成）
　システム制御回路１０５は、各種のタイミング信号を生成するタイミングジェネレータなどによって構成され、当該タイミングジェネレータで生成された各種のタイミングを基に、垂直駆動回路１０２Ａ、水平駆動回路１０２Ｂ、Ｘアービタ１０４Ａ、Ｙアービタ１０４Ｂ、輝度信号処理回路１０３Ａ、及び、イベント信号処理回路１０３Ｂなどの駆動制御を行う。
　輝度データ処理部１０８Ａ及びイベントデータ処理部１０８Ｂそれぞれは、少なくとも演算処理機能を有し、輝度信号処理回路１０３Ａ又はイベント信号処理回路１０３Ｂから出力される画像データ（画像フレームデータ及びイベントフレームデータ）に対して演算処理等の種々の信号処理を行う。
　輝度データ処理部１０８Ａ又はイベントデータ処理部１０８Ｂから出力された画像データは、例えば、同一チップ又は外部のチップに配置されたＦＰＧＡ１３へ出力される。
　なお、ハイブリッドセンサ１１Ａは、輝度データ処理部１０８Ａ及びイベントデータ処理部１０８Ｂでの信号処理に必要なデータや、輝度信号処理回路１０３Ａ、イベント信号処理回路１０３Ｂ、輝度データ処理部１０８Ａ及びイベントデータ処理部１０８Ｂのうちのいずれか１つ以上で処理されたデータ等を一時的に保持するための記憶部を備えていてもよい。
　１．１０．１　ハイブリッドセンサの他の構成例
　図２７は、本実施形態に係るハイブリッドセンサの他の概略構成例であって、画素共有構成の例を示すブロック図である。図２６と図２７とを比較すると分かるように、画素共有構成では、単位画素１１０における１以上の輝度画素３１０と１以上のイベント画素３２０とが、１つの光電変換部ＰＤを共有する。言い換えれば、輝度信号を取得する第１信号処理部に相当する画素回路１１１及び輝度信号処理回路１０３Ａと、イベント信号を取得する第２信号処理部に相当するアドレスイベント検出回路２１０及びイベント信号処理回路１０３Ｂとが、共通の光電変換部ＰＤに接続されている。それ以外の構成及び動作は、図２６を用いて説明した画素分離構成に係るハイブリッドセンサ１１Ａと同様であってよいため、ここでは詳細な説明を省略する。
　１．１０．２　ハイブリッドセンサの画素配列例
　図２８は、本実施形態に係るハイブリッドセンサの画素配列例を示す模式図である。図２８に示すように、図２６に例示した画素分離構成では、例えば、ベイヤー配列の繰返し単位である配列パターン１１０Ａを構成する４つの画素のうちの１つが、イベント画素３２０で構成され、残りの３つが輝度画素３１０ｒ、３１０ｂ、３１０ｇで構成されてもよい。
　１．１０．３　ハイブリッドセンサの他の画素配列例
　図２９は、本実施形態に係るハイブリッドセンサの他の画素配列の例を示す模式図である。図２９に示すように、図２７に例示した画素共有構成では、ベイヤー配列の繰返し単位である配列パターン１１０Ａを構成する４つの画素それぞれが、輝度画素３１０ｒ、３１０ｇ又は３１０ｂとイベント画素３２０とを共有する共有画素で構成されてもよい。
　ただし、画素共有構成では、全ての画素が輝度画素３１０とイベント画素３２０との共有画素である必要はなく、配列パターン１１０Ａを構成する複数の画素のうちの一部（１又は２以上）が共有画素であってもよい。
　このように、画素アレイ部１０１においてイメージセンサを構成する輝度画素３１０と、ＥＶＳを構成するイベント画素３２０とを均等に混在させて配置することで、イメージセンサとＥＶＳとの光軸を一致又は略一致させることが可能となる。それにより、アイトラッキングやＳＬＡＭなどにおいて使用するセンサを例えばイメージセンサとＥＶＳとの間で切り替えた場合でも、それぞれのセンサで取得された画像データの座標系を一致させるための幾何変換などの処理を省略又は簡略化することが可能となるため、処理速度の高速化が抑制されることを防止することが可能となる。
　また、画素アレイ部１０１において輝度画素３１０とイベント画素３２０とを混在させた構成とすることで、イメージセンサとＥＶＳとを異なるチップで構成した場合のように、使用しない方のセンサを常時オン状態としておくことによる電力の浪費を抑制することが可能となるため、消費電力の増大を抑制することが可能となる。
　１．１１　固体撮像装置の積層構造例
　図３０は、本実施形態に係る固体撮像装置の積層構造例を示す図である。図３０に示すように、固体撮像装置１０は、画素チップ１４０と回路チップ１５０とが上下に積層された構造を備えてもよい。画素チップ１４０は、例えば、輝度画素３１０及びイベント画素３２０それぞれの光電変換部や、輝度画素３１０及びイベント画素３２０における回路構成の一部を備える半導体チップであり、回路チップ１５０は、画素チップ１４０に配置された構成以外の構成を備える半導体チップである。
　画素チップ１４０と回路チップ１５０との接合には、例えば、それぞれの接合面を平坦化して両者を電子間力で貼り合わせる、いわゆる直接接合を用いることができる。ただし、これに限定されず、例えば、互いの接合面に形成された銅（Ｃｕ）製の電極パッド同士をボンディングする、いわゆるＣｕ－Ｃｕ接合や、その他、バンプ接合などを用いることも可能である。
　また、画素チップ１４０と回路チップ１５０とは、例えば、半導体基板を貫通するＴＣＶ（Through　Contact　Via）などの接続部を介して電気的に接続される。ＴＣＶを用いた接続には、例えば、画素チップ１４０に設けられたＴＣＶと画素チップ１４０から回路チップ１５０にかけて設けられたＴＣＶとの２つのＴＣＶをチップ外表で接続する、いわゆるツインＴＣＶ方式や、画素チップ１４０から回路チップ１５０まで貫通するＴＣＶで両者を接続する、いわゆるシェアードＴＣＶ方式などを採用することができる。
　ただし、画素チップ１４０と回路チップ１５０との接合にＣｕ－Ｃｕ接合やバンプ接合を用いた場合には、Ｃｕ－Ｃｕ接合部やバンプ接合部を介して両者が電気的に接続されてもよい。
　２．移動体への応用例
　本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図３１は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図３１に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（Interface）１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced　Driver　Assistance　System）の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図３１の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図３２は、撮像部１２０３１の設置位置の例を示す図である。
　図３２では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５を有する。
　撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図３２には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０km/h以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、運転者状態検出部１２０４１や、撮像部１２０３１に適用され得る。運転者状態検出部１２０４１に本開示に係る技術を適用することにより、ドライバや同乗者のアイトラッキングを迅速かつ的確に実行することが可能となる。また、撮像部１２０３１に本開示に係る技術を適用することにより、車両１２１００の走行位置や姿勢を迅速かつ的確に取得することが可能となる。
　以上、本開示の実施形態について説明したが、本開示の技術的範囲は、上述の実施形態そのままに限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、異なる実施形態及び変形例にわたる構成要素を適宜組み合わせてもよい。
　また、本明細書に記載された各実施形態における効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
　なお、本技術は以下のような構成も採用することができる。
（１）
　第１のセンサによって第１の基準信号に同期して生成された第１のデータと、第２のセンサによって生成された第２のデータとを受信する第１受信部と、
　前記第１のデータと前記第２のデータの少なくとも一部とを第２の基準信号に同期する第３のデータとして送信する送信部と、
　を備える情報処理装置。
（２）
　前記第２のセンサは、入射光の輝度変化をイベントとして検出する１以上の画素を備えるＥＶＳ（Event-based　Vision　Sensor）である
　前記（１）に記載の情報処理装置。
（３）
　前記ＥＶＳは、前記第１の基準信号に同期せずに前記第２のデータを生成する
　前記（２）に記載の情報処理装置。
（４）
　前記第２のデータは、前記イベントが前記第１のセンサにおける露光期間中に検出されたイベントであるか否かを示す第２情報を含む
　前記（２）又は（３）に記載の情報処理装置。
（５）
　前記送信部は、前記第２のデータのうちから前記第２情報に基づいて選択された第４のデータと、前記第１のデータとを前記第３のデータとして送信する
　前記（４）に記載の情報処理装置。
（６）
　前記第４のデータは、前記露光期間中に検出されたイベントに基づいて生成されたデータである
　前記（５）に記載の情報処理装置。
（７）
　前記第４のデータは、前記露光期間外に検出されたイベントに基づいて生成されたデータである
　前記（５）に記載の情報処理装置。
（８）
　前記露光期間中に検出されたイベントに基づいて生成されたデータと、前記露光期間外に検出されたイベントに基づいて生成されたデータとの何れかに対するリクエストを受け付ける制御部をさらに備え、
　前記送信部は、前記第２のデータのうち、前記リクエストで要求されたデータを前記第３のデータに含めて送信する
　前記（４）～（７）の何れか１つに記載の情報処理装置。
（９）
　前記送信部は、前記第２情報に基づくことで、前記第２のデータにおける、前記露光期間中に検出されたイベントに基づいて生成されたデータと、前記露光期間外に検出されたイベントに基づいて生成されたデータとを区別して、前記第３のデータに含めて送信する
　前記（４）に記載の情報処理装置。
（１０）
　前記第１のセンサは、入射光の光量に応じた階調信号を生成する１以上の画素を備えるイメージセンサである
　前記（１）～（９）の何れか１つに記載の情報処理装置。
（１１）
　前記第１のセンサは、被写体で反射した光の飛行時間に基づいて前記被写体までの距離に関する第１情報を生成する１以上の画素を備える測距センサである
　前記（１）～（９）の何れか１つに記載の情報処理装置。
（１２）
　前記第１のデータと前記第２のデータの少なくとも一部とをフレーム化することで前記第３のデータを生成する処理部をさらに備える
　前記（１）～（１１）の何れか１つに記載の情報処理装置。
（１３）
　前記送信部から送信された前記第３のデータを受信する第２受信部と、
　前記第２受信部で受信された前記第３のデータに対して所定の処理を実行する信号処理部と、
　を備える前記（１）～（１２）の何れか１つに記載の情報処理装置。
（１４）
　前記第１のデータは、画像データであり、
　前記所定の処理は、前記第１のデータに発生したボケを補正するデブラー補正である
　前記（１３）に記載の情報処理装置。
（１５）
　前記第１のデータは、画像データ又はデプス情報であり、
　前記所定の処理は、前記第１の基準信号に同期して生成された前記第１のデータ間のフレームを補間するフレーム補間である
　前記（１３）に記載の情報処理装置。
（１６）
　前記第１のセンサと前記第２のセンサとの少なくとも一方をさらに備える
　前記（１）～（１５）の何れか１つに記載の情報処理装置。
（１７）
　第１のセンサによって第１の基準信号に同期して生成された第１のデータと、第２のセンサによって生成された第２のデータとを受信する工程と、
　前記第１のデータと前記第２のデータの少なくとも一部とを第２の基準信号に同期する第３のデータとして送信する工程と、
　を備える情報処理方法。
（１８）
　第１のセンサによって第１の基準信号に同期して生成された第１のデータと、第２のセンサによって生成された第２のデータの少なくとも一部とを用いて第３のデータを生成する処理部と、
　前記第３のデータ又は前記第３のデータに対して所定の処理の少なくとも一部を実行することで生成された処理結果とのうちの少なくとも一方を送信する送信部と、
　を備える情報処理装置。
（１９）
　第１のセンサによって第１の基準信号に同期して生成された第１のデータと、第２のセンサによって生成された第２のデータの少なくとも一部とを含む第３のデータを取得する呼出部と、
　前記呼出部により取得された前記第３のデータに対して所定の処理の少なくとも一部を実行する信号処理部と、
　を備える情報処理装置。
　１、１Ａ～１Ｄ、２、３　撮像装置
　１０、１００　固体撮像装置
　１１　第１のセンサ（イメージセンサ、ＴｏＦセンサ）
　１１Ａ、１０２２　ハイブリッドセンサ
　１２　第２のセンサ（ＥＶＳ）
　１３、１０５０　第１の信号処理装置（ＦＰＧＡ）
　１４、１１００　第２の信号処理装置（アプリケーションプロセッサ）
　１５　制御部
　１６　投光部
　１７　発光部
　１８、１０１０　光源
　１９　外部Ｉ／Ｆ
　１４０　画素チップ
　１５０　回路チップ
　４０１、５０１　受信部
　４０２　同期処理部
　４０３　送信部
　４０４、５０７　通信制御部
　４１１、４１５、５０２、５０６　ＡＰＩ処理部
　４１２、４１４、５０３、５０５　ＡＰＩ呼出部
　４１３、５０４　信号処理部
　１０１１　光源駆動部
　１０１２　ＶＣＳＥＬ
　１０３０　照射レンズ
　１０４０　撮像レンズ

Claims (19)

  1. 　第１のセンサによって第１の基準信号に同期して生成された第１のデータと、第２のセンサによって生成された第２のデータとを受信する第１受信部と、
    　前記第１のデータと前記第２のデータの少なくとも一部とを第２の基準信号に同期する第３のデータとして送信する送信部と、
    　を備える情報処理装置。
  2. 　前記第２のセンサは、入射光の輝度変化をイベントとして検出する１以上の画素を備えるＥＶＳ（Event-based　Vision　Sensor）である
    　請求項１に記載の情報処理装置。
  3. 　前記ＥＶＳは、前記第１の基準信号に同期せずに前記第２のデータを生成する
    　請求項２に記載の情報処理装置。
  4. 　前記第２のデータは、前記イベントが前記第１のセンサにおける露光期間中に検出されたイベントであるか否かを示す第２情報を含む
    　請求項２に記載の情報処理装置。
  5. 　前記送信部は、前記第２のデータのうちから前記第２情報に基づいて選択された第４のデータと、前記第１のデータとを前記第３のデータとして送信する
    　請求項４に記載の情報処理装置。
  6. 　前記第４のデータは、前記露光期間中に検出されたイベントに基づいて生成されたデータである
    　請求項５に記載の情報処理装置。
  7. 　前記第４のデータは、前記露光期間外に検出されたイベントに基づいて生成されたデータである
    　請求項５に記載の情報処理装置。
  8. 　前記露光期間中に検出されたイベントに基づいて生成されたデータと、前記露光期間外に検出されたイベントに基づいて生成されたデータとの何れかに対するリクエストを受け付ける制御部をさらに備え、
    　前記送信部は、前記第２のデータのうち、前記リクエストで要求されたデータを前記第３のデータに含めて送信する
    　請求項４に記載の情報処理装置。
  9. 　前記送信部は、前記第２情報に基づくことで、前記第２のデータにおける、前記露光期間中に検出されたイベントに基づいて生成されたデータと、前記露光期間外に検出されたイベントに基づいて生成されたデータとを区別して、前記第３のデータに含めて送信する
    　請求項４に記載の情報処理装置。
  10. 　前記第１のセンサは、入射光の光量に応じた階調信号を生成する１以上の画素を備えるイメージセンサである
    　請求項１に記載の情報処理装置。
  11. 　前記第１のセンサは、被写体で反射した光の飛行時間に基づいて前記被写体までの距離に関する第１情報を生成する１以上の画素を備える測距センサである
    　請求項１に記載の情報処理装置。
  12. 　前記第１のデータと前記第２のデータの少なくとも一部とをフレーム化することで前記第３のデータを生成する処理部をさらに備える
    　請求項１に記載の情報処理装置。
  13. 　前記送信部から送信された前記第３のデータを受信する第２受信部と、
    　前記第２受信部で受信された前記第３のデータに対して所定の処理を実行する信号処理部と、
    　を備える請求項１に記載の情報処理装置。
  14. 　前記第１のデータは、画像データであり、
    　前記所定の処理は、前記第１のデータに発生したボケを補正するデブラー補正である
    　請求項１３に記載の情報処理装置。
  15. 　前記第１のデータは、画像データ又はデプス情報であり、
    　前記所定の処理は、前記第１の基準信号に同期して生成された前記第１のデータ間のフレームを補間するフレーム補間である
    　請求項１３に記載の情報処理装置。
  16. 　前記第１のセンサと前記第２のセンサとの少なくとも一方をさらに備える
    　請求項１に記載の情報処理装置。
  17. 　第１のセンサによって第１の基準信号に同期して生成された第１のデータと、第２のセンサによって生成された第２のデータとを受信する工程と、
    　前記第１のデータと前記第２のデータの少なくとも一部とを第２の基準信号に同期する第３のデータとして送信する工程と、
    　を備える情報処理方法。
  18. 　第１のセンサによって第１の基準信号に同期して生成された第１のデータと、第２のセンサによって生成された第２のデータの少なくとも一部とを用いて第３のデータを生成する処理部と、
    　前記第３のデータ又は前記第３のデータに対して所定の処理の少なくとも一部を実行することで生成された処理結果とのうちの少なくとも一方を送信する送信部と、
    　を備える情報処理装置。
  19. 　第１のセンサによって第１の基準信号に同期して生成された第１のデータと、第２のセンサによって生成された第２のデータの少なくとも一部とを含む第３のデータを取得する呼出部と、
    　前記呼出部により取得された前記第３のデータに対して所定の処理の少なくとも一部を実行する信号処理部と、
    　を備える情報処理装置。
PCT/JP2023/020588 2022-06-28 2023-06-02 情報処理装置及び情報処理方法 Ceased WO2024004519A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US18/876,772 US20250373939A1 (en) 2022-06-28 2023-06-02 Information processing device and information processing method
CN202380048952.8A CN119422369A (zh) 2022-06-28 2023-06-02 信息处理装置和信息处理方法
JP2024530596A JPWO2024004519A1 (ja) 2022-06-28 2023-06-02
EP23830969.4A EP4550770A4 (en) 2022-06-28 2023-06-02 INFORMATION PROCESSING DEVICE AND METHOD

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022103389 2022-06-28
JP2022-103389 2022-06-28

Publications (1)

Publication Number Publication Date
WO2024004519A1 true WO2024004519A1 (ja) 2024-01-04

Family

ID=89382708

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/020588 Ceased WO2024004519A1 (ja) 2022-06-28 2023-06-02 情報処理装置及び情報処理方法

Country Status (5)

Country Link
US (1) US20250373939A1 (ja)
EP (1) EP4550770A4 (ja)
JP (1) JPWO2024004519A1 (ja)
CN (1) CN119422369A (ja)
WO (1) WO2024004519A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2025243844A1 (ja) * 2024-05-21 2025-11-27 ソニーセミコンダクタソリューションズ株式会社 データ処理装置およびデータ処理方法、並びに、イベントデータ出力センサ

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140368712A1 (en) * 2013-06-17 2014-12-18 Samsung Electronics Co., Ltd. Image adjustment apparatus and image sensor for synchronous image and asynchronous image
US20190356849A1 (en) * 2018-05-18 2019-11-21 Samsung Electronics Co., Ltd. Cmos-assisted inside-out dynamic vision sensor tracking for low power mobile platforms
US20200014836A1 (en) * 2018-07-06 2020-01-09 Samsung Electronics Co., Ltd. Method and apparatus for capturing dynamic images
WO2020158069A1 (ja) * 2019-01-29 2020-08-06 富士フイルム株式会社 撮像装置、撮像方法、及びプログラム
JP2021508975A (ja) 2017-12-26 2021-03-11 プロフジー イベントベースセンサから信号を出力するための方法、およびそのような方法を使用するイベントベースセンサ

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10827135B2 (en) * 2018-11-26 2020-11-03 Bae Systems Information And Electronic Systems Integration Inc. BDI based pixel for synchronous frame-based and asynchronous event-driven readouts
CN114494050B (zh) * 2022-01-14 2025-02-11 武汉大学 一种基于事件相机的自监督视频去模糊和图像插帧方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140368712A1 (en) * 2013-06-17 2014-12-18 Samsung Electronics Co., Ltd. Image adjustment apparatus and image sensor for synchronous image and asynchronous image
JP2021508975A (ja) 2017-12-26 2021-03-11 プロフジー イベントベースセンサから信号を出力するための方法、およびそのような方法を使用するイベントベースセンサ
US20190356849A1 (en) * 2018-05-18 2019-11-21 Samsung Electronics Co., Ltd. Cmos-assisted inside-out dynamic vision sensor tracking for low power mobile platforms
US20200014836A1 (en) * 2018-07-06 2020-01-09 Samsung Electronics Co., Ltd. Method and apparatus for capturing dynamic images
WO2020158069A1 (ja) * 2019-01-29 2020-08-06 富士フイルム株式会社 撮像装置、撮像方法、及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4550770A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2025243844A1 (ja) * 2024-05-21 2025-11-27 ソニーセミコンダクタソリューションズ株式会社 データ処理装置およびデータ処理方法、並びに、イベントデータ出力センサ

Also Published As

Publication number Publication date
US20250373939A1 (en) 2025-12-04
JPWO2024004519A1 (ja) 2024-01-04
EP4550770A4 (en) 2025-09-17
CN119422369A (zh) 2025-02-11
EP4550770A1 (en) 2025-05-07

Similar Documents

Publication Publication Date Title
TWI846754B (zh) 固體攝像裝置、信號處理晶片、及電子機器
US20260036696A1 (en) Sensor fusion system, synchronization control apparatus, and synchronization control method
CN112913224B (zh) 固态成像元件和成像装置
JP7044107B2 (ja) 光センサ、及び、電子機器
WO2020170861A1 (ja) イベント信号検出センサ及び制御方法
JP2020072317A (ja) センサ及び制御方法
WO2022270034A1 (ja) 撮像装置、電子機器、および光検出方法
WO2021200523A1 (ja) 撮像装置及び撮像方法
WO2020129657A1 (ja) センサ及び制御方法
WO2020246186A1 (ja) 撮像システム
US12561943B2 (en) Information processing apparatus and information processing method
WO2021100593A1 (ja) 測距装置及び測距方法
JP2020068484A (ja) 固体撮像装置及び撮像装置
WO2024004519A1 (ja) 情報処理装置及び情報処理方法
US12088927B2 (en) Imaging device and imaging method
WO2022254792A1 (ja) 受光素子およびその駆動方法、並びに、測距システム
WO2026022922A1 (ja) 光検出素子、及び光検出装置
WO2024135094A1 (ja) 光検出装置、および、光検出装置の制御方法
WO2025073725A1 (en) Processing device, sensor device and method for operating a processing device
WO2025253973A1 (ja) 情報処理装置、撮像装置および情報処理方法
JP2024090345A (ja) 光検出装置、および、光検出装置の制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23830969

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2024530596

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 18876772

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 202380048952.8

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2023830969

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2023830969

Country of ref document: EP

Effective date: 20250128

WWP Wipo information: published in national office

Ref document number: 202380048952.8

Country of ref document: CN

WWP Wipo information: published in national office

Ref document number: 2023830969

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 18876772

Country of ref document: US