WO2021200188A1 - 画像処理装置および方法、プログラム、並びに、画像処理システム - Google Patents

画像処理装置および方法、プログラム、並びに、画像処理システム Download PDF

Info

Publication number
WO2021200188A1
WO2021200188A1 PCT/JP2021/010984 JP2021010984W WO2021200188A1 WO 2021200188 A1 WO2021200188 A1 WO 2021200188A1 JP 2021010984 W JP2021010984 W JP 2021010984W WO 2021200188 A1 WO2021200188 A1 WO 2021200188A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
restored
restoration
area
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2021/010984
Other languages
English (en)
French (fr)
Inventor
佳孝 宮谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Priority to EP21782322.8A priority Critical patent/EP4131925A4/en
Priority to JP2022511866A priority patent/JP7632456B2/ja
Priority to US17/798,423 priority patent/US12525038B2/en
Priority to CN202180023696.8A priority patent/CN115315938A/zh
Publication of WO2021200188A1 publication Critical patent/WO2021200188A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional [3D] objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/955—Computational photography systems, e.g. light-field imaging systems for lensless imaging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Definitions

  • the present technology relates to an image processing device, a method, a program, and an image processing system, and more particularly to an image processing device, a method, a program, and an image processing system capable of specifying an area to be restored.
  • the image sensor is generally used in combination with an image sensor that concentrates on the image sensor.
  • the image sensor guides the light from the subject surface to each pixel of the image sensor so as to reproduce the light intensity distribution of the subject surface, so that the image sensor detects a level corresponding to the light intensity distribution in each pixel.
  • a signal can be obtained, and a captured image of the subject can be obtained as a whole.
  • An image pickup device to which such an image pickup element is applied restores a restored image by, for example, performing a predetermined calculation on a detection image generated by the image pickup element.
  • This disclosure was made in view of such a situation, and makes it possible to specify the area to be restored.
  • the image processing device on one aspect of the present technology includes a plurality of pixels that receive incident light that is incident without passing through either an image pickup lens or a pinhole, and is an output pixel of at least two of the plurality of pixels.
  • the restored image is obtained by using the restoration matrix in the region of the detected image obtained in the image sensor having a configuration for making the incident angle directivity of the value with respect to the incident light from the subject different from each other. It is an image processing device provided with an area specifying unit for specifying a restoration area to be restored.
  • the image processing method of one aspect of the present technology includes a plurality of pixels that receive incident light that is incident without passing through either the image pickup lens or the pinhole, and the output pixels of at least two of the plurality of pixels.
  • the restored image is obtained by using the restoration matrix in the region of the detected image obtained in the image sensor having a configuration for making the incident angle directivity of the value with respect to the incident light from the subject different from each other. This is an image processing method that specifies the restoration area to be restored.
  • a program of one aspect of the present technology comprises a computer comprising a plurality of pixels that receive incident light incident light without passing through an image sensor or a pinhole, and outputs at least two of the plurality of pixels.
  • a restored image using a restoration matrix in the region of the detected image obtained by an image sensor having a configuration for making the incident angle directivity of the pixel value with respect to the incident light from the subject different from each other. It is a program that functions as an area identification part that identifies the restoration area.
  • An image processing system on another aspect of the present technology includes an image pickup device and an image processor, and the image pickup device includes a plurality of pixels that receive incident light that is incident without passing through either an image pickup lens or a pinhole.
  • the image sensor is provided with a configuration for allowing the output pixel values of at least two of the plurality of pixels to have different characteristics from each other in the incident angle directivity with respect to the incident light from the subject.
  • the image processing device is an image processing system including a region specifying unit that specifies a restored region for restoring a restored image using a restoration matrix in the region of the detected image obtained by the image sensor.
  • the image processing apparatus and method of one aspect of the present technology, and the program include a plurality of pixels that receive incident light that is incident without passing through either an image pickup lens or a pinhole, and at least two of the plurality of pixels.
  • the reconstruction matrix in the region of the detected image obtained in the image sensor having a configuration for making the incident angle directivity of the output pixel value of one pixel with respect to the incident light from the subject different from each other.
  • the restored area for restoring the restored image is identified using.
  • the image pickup device includes a plurality of pixels that receive incident light incident without passing through either an image pickup lens or a pinhole, and at least two of the plurality of pixels are provided.
  • the subject is imaged by an image sensor having a configuration in which the incident angle directivity of the output pixel value of one pixel with respect to the incident light from the subject has different characteristics from each other.
  • the restored region for restoring the restored image is specified by using the restoration matrix.
  • the above-mentioned detected image is an image that cannot be recognized as an image even if the user visually recognizes it (that is, the subject cannot be visually recognized) because the image of the subject is not formed.
  • a restored image is used from this detected image using a predetermined restoration matrix. Need to be restored. Since the area to be restored cannot be controlled as described above and the entire detected image is restored, there is a risk of information leakage or unauthorized use in the restored image as in the case of the captured image described above. In addition, it was not possible to control the disclosure range based on user privileges and the like.
  • the restoration area for restoring the restored image includes a plurality of pixels that receive incident light that is incident without passing through either the image sensor or the pinhole, and the output pixel values of at least two of the plurality of pixels are incident on the incident light from the subject.
  • the restored region for restoring the restored image is specified by using the restoration matrix. In other words, a non-restored area that does not restore the restored image is set for the detected image.
  • the restoration matrix is used to identify a non-restoration region in which the restoration image is not restored, among the regions of the detection image obtained in the image sensor having a configuration for making the angular directional characteristics different from each other.
  • the detection image 51 shown in FIG. 1A includes a plurality of pixels that receive incident light that is incident without passing through either the image pickup lens or the pinhole, and at least two of the plurality of pixels. It consists of a detection signal obtained from a pixel obtained by imaging the subject with an image sensor having a configuration for making the incident angle directivity of the output pixel value with respect to the incident light from the subject different from each other. It is an image. As shown in FIG. 1A, the detected image 51 cannot be recognized as an image even if the user visually recognizes it because the image of the subject is not formed (that is, the subject cannot be visually recognized). ) It is an image.
  • the restored image 52 of B in FIG. 1 shows an example of the restored image restored from the detected image 51.
  • a person 53-1, a person 53-2, and a person 53-3 are shown as subjects.
  • the person 53-1 to the person 53-3 can be visually recognized as the subject.
  • the person 53 is referred to as the person 53.
  • the restored image 52 is released and the faces of each person 53 are made public, there is a risk of infringement of the portrait right.
  • a non-restoration area including the face portion of each person 53 is set, and the restored image is restored.
  • the restored image is restored by setting a region other than the non-restored area as the restored area.
  • the restored image 54 shown in FIG. 1C shows an example of the restored image thus restored so as not to restore the non-restored area.
  • the non-restored area 55-1 is a non-restored area set to include the face portion of the person 53-1.
  • the non-restored area 55-2 is a non-restored area set to include the face portion of the person 53-2.
  • the non-restored area 55-3 is a non-restored area set to include the face portion of the person 53-3.
  • the non-restored area 55-1 to the non-restored area 55-3 are referred to as a non-restored area 55.
  • these non-restored regions 55 are not restored and remain as detected images. That is, in the restored image 54, the face portion of each person 53 is invisible.
  • the restored image can be made public while keeping the face part of each person 53 private. That is, by setting the restored area and the non-restored area, it is possible to control whether or not to restore an arbitrary area of the detected image. As a result, it is possible to control, for example, disclosure / non-disclosure of an arbitrary area of the detected image, and control of information protection / non-protection against unauthorized leakage or unauthorized use. Further, for example, it is possible to control the target range such as image analysis and control the level of the service to be provided.
  • the restored area (or non-restored area) may be the entire area of the detected image. That is, the entire region of the detected image can be a restored region or a non-restored region.
  • FIG. 2 is a diagram showing a main configuration example of an image pickup apparatus which is an embodiment of an image processing apparatus to which the present technology is applied.
  • the image pickup apparatus 100 shown in FIG. 2 is an apparatus that images a subject and obtains electronic data related to the captured image.
  • the image pickup apparatus 100 includes ⁇ 1.
  • the restored image non-restored area
  • the restored image can be set for the detected image, and the restored image can be restored so as not to restore the non-restored area.
  • FIG. 2 shows the main things such as the processing unit and the data flow, and not all of them are shown in FIG. That is, in the image pickup apparatus 100, there may be a processing unit that is not shown as a block in FIG. 2, or there may be a processing or data flow that is not shown as an arrow or the like in FIG.
  • the image pickup apparatus 100 includes an image pickup unit 101, an area identification unit 102, a learning data storage unit 103, a restoration matrix update unit 104, a restoration unit 105, and the like.
  • the image pickup unit 101 has an image pickup device 121, which will be described later, and performs processing related to generation of a detected image.
  • the image pickup unit 101 can take an image of the subject and generate a detection image by the image pickup device 121.
  • the image sensor 121 includes a plurality of pixel output units that receive incident light incident light without passing through either an image pickup lens or a pinhole, and the output pixel value of at least two pixel output units of the plurality of pixel output units. This is an image sensor having a configuration for making the incident angle directivity with respect to the incident light from the subject different from each other. Details of the image sensor 121 will be described later.
  • the imaging unit 101 may supply the generated detection image to the region identification unit 102 and the restoration unit 105.
  • the imaging unit 101 may supply the restoration matrix updating unit 104 corresponding to the detected image, that is, a restoration matrix used to generate the restored image from the detected image.
  • This restoration matrix may be stored in advance by the imaging unit 101, or may be generated by the imaging unit 101.
  • the angle of view of the image sensor 121 may be fixed or variable in the absolute coordinate system of the three-dimensional space.
  • the position and orientation of the image sensor 121 (or the image pickup unit 101) may be fixed with respect to the image pickup device 100 or may be variable.
  • the image pickup apparatus 100 may be fixed or variable in the absolute coordinate system of the three-dimensional space.
  • the area specifying unit 102 performs processing related to specifying the restored area (or non-restored area). For example, the region specifying unit 102 can acquire the detected image supplied from the imaging unit 101. Further, the area specifying unit 102 can acquire the learning data stored in the learning data storage unit 103. Further, the area specifying unit 102 restores (or) the detected image supplied from the image pickup unit 101, that is, the detected image obtained by the image pickup device 121, based on the learning data read from the learning data storage unit 103. Non-restored area) can be set. Further, the area specifying unit 102 generates the restored area information (or the non-restored area information indicating the non-restored area) indicating the restored area, and supplies the restored area information to the restored matrix updating unit 104.
  • the restored area information or the non-restored area information indicating the non-restored area
  • the learning data storage unit 103 performs processing related to storage of learning data.
  • the learning data storage unit 103 has an arbitrary storage medium and stores learning data relating to the identification of the restoration area. This learning data will be described later.
  • the learning data storage unit 103 may supply the stored learning data to the area identification unit 102, for example, in response to a request from the area identification unit 102.
  • the restoration matrix update unit 104 performs processing related to updating the restoration matrix.
  • the restoration matrix update unit 104 may acquire the restoration area information (or non-restoration area information) supplied from the area identification unit 102.
  • the restoration matrix updating unit 104 can acquire the restoration matrix supplied from the imaging unit 101.
  • This restoration matrix is a restoration matrix (used for restoration of the restored image) corresponding to the detected image generated by the imaging unit 101.
  • the restoration matrix update unit 104 updates the restoration matrix acquired from the imaging unit 101 based on the restoration area information, and restores only the restoration area without restoring the non-restoration area (corresponding to the non-restoration area). (Also called a recovery matrix) can be generated. That is, the restoration matrix update unit 104 is a partial restoration matrix generation unit that generates a partial restoration matrix used to restore only the restoration image of the specified restoration region from the detected image. This non-restored area is an area determined based on the restored area indicated by the restored area information, and is an area other than the restored area of the detected image.
  • the restored matrix updating unit 104 updates the restored matrix acquired from the imaging unit 101 based on the non-restored area information, and the non-restored area information. It is possible to generate a non-restoration area corresponding restoration matrix for restoring only the restoration area without restoring the non-restoration area indicated by.
  • This restored area is an area determined based on the non-restored area indicated by the non-restored area information, and is an area other than the non-restored area of the detected image.
  • the restoration matrix update unit 104 can supply the restoration matrix corresponding to the non-restoration area, which is the restoration matrix after the update, to the restoration unit 105.
  • the restoration matrix update unit 104 may set a partial restoration matrix (also referred to as a restoration matrix corresponding to a non-restoration region). For example, it is predetermined that the left half is not restored when a face is detected in the upper left of the detected image, and the restoration matrix is also a matrix that does not restore only the left half (a dedicated matrix when the left half is not restored).
  • a face is detected in advance (for example, stored in a storage area in the restoration matrix update unit 104) and the restoration matrix update unit 104 detects a face in the upper left of the detection image based on the restoration area information.
  • the restoration matrix update unit 104 may set whether or not to apply the restoration matrix corresponding to the non-restoration region prepared in advance without generating the restoration matrix corresponding to the non-restoration region.
  • the restoration matrix update unit 104 selects one from a plurality of restoration matrices corresponding to the non-restoration area prepared in advance based on the restoration area information. And may be applied. That is, the restoration matrix update unit 104 can be said to be a partial restoration matrix setting unit that sets a partial restoration matrix used to restore only the restoration image of the specified restoration area from the detected image.
  • the restoration unit 105 performs processing related to restoration of the restored image.
  • the restoration unit 105 can acquire the detected image supplied from the imaging unit 101. Further, the restoration unit 105 can acquire the restoration matrix corresponding to the non-restoration region supplied from the restoration matrix update unit 104. Further, the restoration unit 105 can restore the restored image by using the restoration matrix corresponding to the non-restoration area. By this process, a restored image in which only the restored area is restored can be generated from the detected image. In addition, the restoration unit 105 can output the generated restored image (restored image in which only the restored area is restored from the detected image) to the outside of the image pickup apparatus 100. The restored image may be restored outside the imaging device 100.
  • the restoration unit 105 does not perform this restoration, but associates the detected image with the restoration matrix corresponding to the non-restoration region and outputs the output to the restoration device outside the imaging device 100, which performs the restoration processing.
  • the image pickup apparatus 100 can transmit the image to the restoration apparatus (another apparatus) in a state where the information is protected. Therefore, it is possible to suppress the occurrence of infringement of privacy rights due to unauthorized leakage or unauthorized use of images.
  • the output of the information to the outside may be performed by communication via an arbitrary communication path, or may be performed via an arbitrary storage medium (that is, the information is stored in the storage medium and output). It may be.
  • the term "associate" means, for example, to make the other information available (linkable) when processing one piece of information (data, commands, programs, etc.). That is, the information associated with each other may be collected as one file or the like, or may be individual information.
  • the information B associated with the information A may be transmitted on a transmission path different from that of the information A. Further, for example, the information B associated with the information A may be recorded on a recording medium (or another recording area of the same recording medium) different from the information A.
  • the area specifying unit 102 can control the area to be restored by specifying the restored area (non-restored area). As a result, the image pickup apparatus 100 can restore the restored image so as not to restore an arbitrary area.
  • each of these processing units imaging unit 101 to restoring unit 105) of the imaging device 100 can have an arbitrary configuration.
  • each processing unit may be configured by a logic circuit that realizes the above-mentioned processing.
  • each processing unit has, for example, a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and the like, and the above-mentioned processing is realized by executing a program using them. You may do so.
  • each processing unit may have both configurations, and a part of the above-mentioned processing may be realized by a logic circuit, and the other may be realized by executing a program.
  • the configurations of the respective processing units may be independent of each other. For example, some processing units realize a part of the above-mentioned processing by a logic circuit, and some other processing units execute a program.
  • the above-mentioned processing may be realized by the other processing unit by both the logic circuit and the execution of the program.
  • pixel or “pixel output unit”.
  • the "pixel” is independent of other pixels in a region (also referred to as a pixel region) in which a physical configuration for receiving incident light of the image sensor 121 is formed. It refers to a division unit including at least one physical configuration capable of receiving light.
  • the physical configuration capable of receiving light is, for example, a photoelectric conversion element, for example, a photodiode (PD (Photo Diode)).
  • PD Photo Diode
  • the number of physical configurations (for example, photodiodes) formed in one pixel is arbitrary, and may be singular or plural. The type, size, shape, etc. are also arbitrary.
  • each "pixel” includes, for example, an on-chip lens, a light-shielding film, a color filter, a flattening film, an antireflection film, and the like. Includes all physical configurations related to light reception. Further, a configuration such as a read circuit may be included. That is, the physical configuration of each pixel may be any configuration.
  • the detection signal read from the "pixel” may be referred to as a "pixel unit (or pixel output unit) detection signal” or the like.
  • the pixel unit (or pixel output unit) detection signal is also referred to as a “pixel unit detection signal (or pixel output unit detection signal)”.
  • this pixel unit detection signal is also referred to as "pixel output”.
  • the value is also referred to as an "output pixel value”.
  • the value of the detection signal (output pixel value) for each pixel of the image sensor 121 can have the incident angle directivity (characteristic with respect to the incident angle) of the incident light from the subject independently of the others. That is, each pixel unit (pixel output unit) of the image sensor 121 has a configuration in which the incident angle directivity of the output pixel value with respect to the incident light from the subject can be set independently. Therefore, in the image sensor 121, the output pixel values of at least two pixel units have different incident angle directivity with respect to the incident light from the subject.
  • the pixel unit detection signal is a single "physical configuration capable of receiving light”. It may be the detection signal obtained by the above-mentioned, or it may be the detection signal obtained by a plurality of “physical configurations capable of receiving light”.
  • the pixel unit detection signal (output pixel value) can be combined into one at any stage.
  • the output pixel values of a plurality of pixels may be added in the state of an analog signal, or may be converted into a digital signal and then added.
  • a plurality of detection signals can be collectively singularized, or a single detection signal can be singularized. That is, the resolution (number of data) of the detected image is variable.
  • the image sensor 121 will be described as having a pixel region in which a plurality of pixels are arranged in a matrix (a pixel array is formed).
  • the arrangement pattern of the pixels (or pixel output units) of the image sensor 121 is arbitrary and is not limited to this example.
  • the pixels (or pixel output units) may be arranged in a honeycomb structure.
  • the pixels (or pixel output units) may be arranged in one row (or one column). That is, the image sensor 121 may be a line sensor.
  • the wavelength range in which the image sensor 121 (pixels) has sensitivity is arbitrary.
  • the image pickup device 121 (pixels) may be sensitive to visible light, or may be sensitive to invisible light such as infrared light or ultraviolet light. It may be sensitive to both visible and invisible light.
  • the image sensor 121 has a plurality of pixel output units.
  • the image sensor 121 is used to ensure that the directivity of the output pixel values of at least two pixel output units of the plurality of pixel output units with respect to the incident light from the subject has different characteristics from each other.
  • the angular directivity is different from each other.
  • the “incident angle directivity” refers to the light receiving sensitivity characteristic according to the incident angle of the incident light, that is, the detection sensitivity with respect to the incident angle of the incident light. For example, even if the incident light has the same light intensity, the detection sensitivity may change depending on the incident angle. Such a bias in detection sensitivity (including the case where there is no bias) is referred to as “incident angle directivity”.
  • the signal levels (detection signal levels) of the detection signals of each pixel output unit are different from each other.
  • the image sensor 121 each pixel output unit of the image sensor 121) has a physical configuration having such characteristics.
  • the image pickup device 121 may have a basic structure similar to that of a general image pickup device such as a CMOS (Complementary Metal Oxide Semiconductor) image sensor.
  • CMOS Complementary Metal Oxide Semiconductor
  • This incident angle directivity may be realized by any method.
  • the incident angle directivity may be realized by providing a light-shielding film in front of the photoelectric conversion element (photodiode or the like) (light incident side).
  • an image pickup lens or a pinhole is provided in front of the image sensor (on the light incident side).
  • the image sensor can obtain a detection signal at a level corresponding to the image of the imaged subject in each pixel (that is, an image of the imaged subject can be obtained).
  • the size is physically increased, which may make it difficult to miniaturize the device.
  • the image sensor 121 has incident angle directivity in which the detection sensitivities of the pixels are different from each other, as shown in the upper left part of FIG. That is, the light receiving sensitivity characteristic according to the incident angle of the incident light is different for each pixel.
  • the light-receiving sensitivity characteristics of all the pixels do not have to be completely different, and some pixels may include those having the same light-receiving sensitivity characteristics, or some pixels may have different light-receiving sensitivities. It may have characteristics.
  • the image pickup element 121 Assuming that the light source constituting the subject surface 131 is a point light source, in the image pickup element 121, light rays having the same light intensity emitted from the same point light source are incident on all the pixels. However, each pixel is incident at a different incident angle. Since each pixel of the image sensor 121 has different incident angle directivity, the light rays having the same light intensity are detected with different sensitivities. That is, detection signals having different signal levels are detected for each pixel.
  • the sensitivity characteristic according to the incident angle of the incident light received by each pixel of the image sensor 121 determines the light receiving sensitivity according to the incident angle. It shall be expressed by a coefficient to be expressed, and the signal level of the detection signal (also referred to as the detection signal level) according to the incident light in each pixel is multiplied by a coefficient set corresponding to the light receiving sensitivity according to the incident angle of the incident light. It will be what is required.
  • the detection signal levels DA, DB, and DC at the positions Pa, Pb, and Pc are represented by the following equations (1) to (3), respectively. NS.
  • DA ⁇ 1 ⁇ a + ⁇ 1 ⁇ b + ⁇ 1 ⁇ c ...
  • DB ⁇ 2 ⁇ a + ⁇ 2 ⁇ b + ⁇ 2 ⁇ c ...
  • DC ⁇ 3 ⁇ a + ⁇ 3 ⁇ b + ⁇ 3 ⁇ c ...
  • ⁇ 1 is a coefficient set according to the incident angle of the light beam from the point light source PA on the subject surface 131 to be restored at the position Pa on the image sensor 121.
  • ⁇ 1 is a coefficient set according to the incident angle of the light beam from the point light source PB on the subject surface 131 to be restored at the position Pa on the image sensor 121.
  • ⁇ 1 is a coefficient set according to the incident angle of the light beam from the point light source PC on the subject surface 131 to be restored at the position Pa on the image sensor 121.
  • the detection signal level DA at the position Pa is the product of the light intensity "a" of the light ray from the point light source PA at the position Pa and the coefficient ⁇ 1 and the point light source PB at the position Pa. It is expressed by the sum (composite value) of the product of the light intensity "b" of the light beam and the coefficient ⁇ 1 and the product of the light intensity "c” of the light ray from the point light source PC at the position Pa and the coefficient ⁇ 1.
  • the coefficients ⁇ x, ⁇ x, and ⁇ x (x is a natural number) are collectively referred to as a coefficient set.
  • the coefficient sets ⁇ 2, ⁇ 2, and ⁇ 2 of the equation (2) are set according to the incident angles of the light rays from the point light sources PA, PB, and PC on the subject surface 131 to be restored at the position Pb on the image pickup element 121.
  • Coefficient set That is, the detection signal level DB at the position Pb is the product of the light intensity "a" of the light beam from the point light source PA at the position Pb and the coefficient ⁇ 2, and the point light source PB at the position Pb, as in the above equation (2).
  • the coefficients ⁇ 3, ⁇ 3, and ⁇ 3 of the equation (3) are coefficients set according to the incident angle of the light rays from the point light sources PA, PB, and PC on the subject surface 131 to be restored at the position Pc on the image pickup element 121. It is a set.
  • the detection signal level DC at the position Pc is the product of the light intensity "a” of the light beam from the point light source PA at the position Pc and the coefficient ⁇ 3, and the point light source PB at the position Pc, as in the above equation (3). It is expressed by the sum (composite value) of the product of the light intensity "b" of the light beam from the light source "b” and the coefficient ⁇ 3 and the product of the light intensity "c” of the light ray from the point light source PC at the position Pc and the coefficient ⁇ 3.
  • these detection signal levels are different from those in which the image of the subject is imaged because the light intensities of the light rays emitted from the point light sources PA, PB, and PC are mixed. It is a thing. That is, since the detection signal level shown in the upper right part of FIG. 3 is not the detection signal level corresponding to the image (captured image) in which the image of the subject is formed, the pixel value shown in the lower right part of FIG. (Generally the two do not match).
  • a simultaneous equation using the coefficient set ⁇ 1, ⁇ 1, ⁇ 1, the coefficient set ⁇ 2, ⁇ 2, ⁇ 2 coefficient set ⁇ 3, ⁇ 3, ⁇ 3 and the detection signal levels DA, DB, and DC is constructed, and a, b, and c are set.
  • the image pickup device 121 has different incident angle directivity in at least two pixel output units without the need for an optical filter composed of an image pickup lens, a diffraction grating, or the like, a pinhole, or the like.
  • an optical filter composed of an imaging lens, a diffraction grating, etc., a pinhole, etc. are not essential configurations, so that the height of the imaging device is reduced, that is, the thickness of light in a configuration that realizes an imaging function is reduced with respect to the incident direction. It becomes possible to do.
  • FIG. 4 shows a front view of a part of the pixel array portion of a general image sensor
  • the right portion of FIG. 4 shows a front view of a part of the pixel array portion of the image sensor 121.
  • FIG. 4 shows an example in which the pixel array portion has a configuration in which the number of pixels in each of the horizontal direction and the vertical direction is 6 pixels ⁇ 6 pixels, but the configuration of the number of pixels is limited to this. is not it.
  • the incident angle directivity can be formed by, for example, a light-shielding film.
  • a light-shielding film In the general image sensor 151, as in the example on the left side of FIG. 4, it is shown that pixels 151a having the same incident angle directivity are arranged in an array.
  • the image sensor 121 in the example on the right side of FIG. 4 is provided with a light-shielding film 121b in a different range for each pixel 121a, which is a part of the light receiving region of the photodiode.
  • the light receiving sensitivity of the incident light with respect to the incident angle is different for each pixel 121a (that is, the incident angle directivity is different from each other).
  • the range in which the pixel is shielded differs depending on the light-shielding film 121b-1 and the light-shielding film 121b-2 provided (the area (position) for shielding the pixel). ), And at least one of the shaded areas is different). That is, in the pixel 121a-1, a light-shielding film 121b-1 is provided so as to block a part of the left side in the light receiving region of the photodiode by a predetermined width, and in the pixel 121a-2, the right side in the light receiving region.
  • a light-shielding film 121b-2 is provided so as to block a part of the light-shielding film 121b-1 by a width wider in the horizontal direction than the light-shielding film 121b-1.
  • the light-shielding film 121b is provided so as to block light in a different range in the light receiving region for each pixel, and is randomly arranged in the pixel array.
  • the range of the light-shielding film 121b is preferably set to an area where a desired amount of light can be secured because the amount of light that can be received decreases as the ratio of covering the light-receiving area of each pixel increases.
  • the area of is limited to, for example, about 3/4 of the entire range in which light can be received at the maximum. By doing so, it is possible to secure a light amount equal to or greater than a desired amount.
  • each pixel is provided with an unshielded range having a width corresponding to the wavelength of the light to be received, it is possible to receive the minimum amount of light. That is, for example, in the case of a B pixel (blue pixel), the wavelength is about 500 nm, but it is possible to receive the minimum amount of light as long as the light is not shielded by a width corresponding to this wavelength or more.
  • FIG. 5 A configuration example of the image sensor 121 in this case will be described with reference to FIG.
  • the upper part of FIG. 5 is a side sectional view of the image sensor 121
  • the middle part of FIG. 5 is a top view of the image sensor 121.
  • the side sectional view of the upper part of FIG. 5 is an AB cross section in the middle part of FIG.
  • the lower part of FIG. 5 is an example of a circuit configuration of the image sensor 121.
  • the image pickup device 121 having the configuration shown in FIG. 5 includes a plurality of pixel output units that receive incident light that is incident without passing through either the image pickup lens or the pinhole, and at least two of the plurality of pixel output units. It has a configuration for making the incident angle directivity of the output pixel value of the pixel output unit with respect to the incident light from the subject different from each other. Further, the image sensor 121 in this case has a configuration in which the plurality of pixel output units can independently set the incident angle directivity with respect to the incident light from the subject for each pixel output unit.
  • the adjacent pixels 121a-15 and 121a-16 are of a so-called back-illuminated type in which a wiring layer Z12 is provided at the bottom layer in the drawing and a photoelectric conversion layer Z11 is provided above the wiring layer Z12.
  • FIG. 5 it is a side view and a top view of two pixels constituting the pixel array of the image sensor 121, but it goes without saying that a larger number of pixels 121a are arranged. Is omitted.
  • the pixels 121a-15 and 121a-16 are provided with photodiodes 121e-15 and 121e-16 in the photoelectric conversion layer Z11, respectively. Further, on the photodiodes 121e-15 and 121e-16, on-chip lenses 121c-15 and 121c-16 and color filters 121d-15 and 121d-16 are configured from above, respectively.
  • the on-chip lenses 121c-15 and 121c-16 collect the incident light on the photodiodes 121e-15 and 121e-16.
  • the color filters 121d-15 and 121d-16 are optical filters that transmit light of specific wavelengths such as red, green, blue, infrared and white. In the case of white, the color filters 121d-15 and 121d-16 may or may not be transparent filters.
  • light-shielding films 121p-15 to 121p-17 are formed at the boundaries between the pixels to suppress crosstalk between adjacent pixels.
  • the light-shielding film 121b-15 and 121b-16 partially shields the light-receiving surface S when viewed from the upper surface.
  • the light-shielding film 121b-15, 121b-16 On the light receiving surface S of the photodiode 121e-15, 121e-16 in the pixels 121a-15, 121a-16, different ranges are shielded by the light-shielding film 121b-15, 121b-16, whereby each pixel is shielded from light. Different incident angle directivity is set.
  • the light-shielding range is not limited to the case where all the pixels 121a of the image sensor 121 are different from each other, and there may be some pixels 121a in which the same range is light-shielded.
  • the right end portion of the light-shielding film 121p-15 and the upper end portion of the light-shielding film 121b-15 are connected, and the left end portion of the light-shielding film 121b-16 and the light-shielding film 121p are connected. It is connected to the upper end of -16 and is L-shaped when viewed from the side.
  • the light-shielding films 121b-15 to 121b-17 and the light-shielding films 121p-15 to 121p-17 are made of a metal, for example, tungsten (W), aluminum (Al), or Al and copper (Cu). It is composed of an alloy with. Further, the light-shielding films 121b-15 to 121b-17 and the light-shielding films 121p-15 to 121p-17 are formed at the same time by the same metal as the wiring in the same process as the process in which the wiring is formed in the semiconductor process. It may be. The film thicknesses of the light-shielding films 121b-15 to 121b-17 and the light-shielding films 121p-15 to 121p-17 do not have to be the same depending on the position.
  • the pixel 121a includes a photodiode 161 (corresponding to the photodiode 121e), a transfer transistor 162, an FD (Floating Diffusion) unit 163, a selection transistor 164, and an amplification transistor 165. , And a reset transistor 166 is provided and is connected to the current source 168 via a vertical signal line 167.
  • the photodiode 161 has a configuration in which the anode electrodes are grounded and the cathode electrodes are connected to the gate electrodes of the amplification transistor 165 via the transfer transistor 162.
  • the transfer transistor 162 is driven according to the transfer signal TG. For example, when the transfer signal TG supplied to the gate electrode of the transfer transistor 162 becomes high level, the transfer transistor 162 is turned on. As a result, the electric charge stored in the photodiode 161 is transferred to the FD unit 163 via the transfer transistor 162.
  • the amplification transistor 165 serves as an input unit of a source follower, which is a read-out circuit that reads out a signal obtained by photoelectric conversion in the photodiode 161. Output to. That is, in the amplification transistor 165, the drain terminal is connected to the power supply voltage VDD, and the source terminal is connected to the vertical signal line 167 via the selection transistor 164, so that the current source 168 is connected to one end of the vertical signal line 167. And the source follower.
  • the FD (Floating Diffusion) unit 163 is a floating diffusion region having a charge capacitance C1 provided between the transfer transistor 162 and the amplification transistor 165, and the charge transferred from the photodiode 161 via the transfer transistor 162. Temporarily accumulate.
  • the FD unit 163 is a charge detection unit that converts an electric charge into a voltage, and the electric charge stored in the FD unit 163 is converted into a voltage in the amplification transistor 165.
  • the selection transistor 164 is driven according to the selection signal SEL, and turns on when the selection signal SEL supplied to the gate electrode reaches a high level to connect the amplification transistor 165 and the vertical signal line 167.
  • the reset transistor 166 is driven according to the reset signal RST. For example, the reset transistor 166 is turned on when the reset signal RST supplied to the gate electrode reaches a high level, and the electric charge accumulated in the FD unit 163 is discharged to the power supply voltage VDD to reset the FD unit 163.
  • the pixel circuit shown in the lower part of FIG. 5 operates as follows.
  • the reset transistor 166 and the transfer transistor 162 are turned on, the electric charge accumulated in the FD unit 163 is discharged to the power supply voltage VDD, and the FD unit 163 is reset.
  • the reset transistor 166 and the transfer transistor 162 are turned off, the exposure period is reached, and the photodiode 161 accumulates electric charges according to the amount of incident light.
  • the reset transistor 166 is turned on, the FD unit 163 is reset, and then the reset transistor 166 is turned off. By this operation, the FD unit 163 is reset and set to the reference potential.
  • the potential of the FD unit 163 in the reset state is output from the amplification transistor 165 as the reference potential.
  • the transfer transistor 162 is turned on, and the electric charge accumulated in the photodiode 161 is transferred to the FD unit 163.
  • the potential of the FD unit 163 to which the charge of the photodiode is transferred is output from the amplification transistor 165 as a signal potential.
  • the reference potential is subtracted from the signal potential, and it is output as a detection signal by CDS (correlated double sampling).
  • the pixel 121a in the case of FIG. 5 is provided with one photodiode 121e for each pixel 121a, and a different range is shielded by the light-shielding film 121b for each pixel 121a.
  • the detection signal for one pixel of the detection image having incident angle directivity can be expressed by one pixel 121a.
  • the incident angle directivity can be formed, for example, by the position, size, shape, etc. of the light receiving element (for example, a photodiode) in the pixel. Pixels with different parameters have different sensitivities to incident light of the same light intensity from the same direction. That is, by setting these parameters for each pixel, the incident angle directivity can be set for each pixel.
  • a plurality of light receiving elements may be provided in the pixel so that they can be selectively used. By doing so, the incident angle directivity can be set for each pixel by selecting the light receiving element.
  • FIG. 6 is a diagram showing another configuration example of the image sensor 121.
  • a side sectional view of the pixel 121a of the image sensor 121 is shown in the upper part of FIG. 6, and a top view of the image sensor 121 is shown in the middle part of FIG.
  • the side sectional view of the upper part of FIG. 6 is an AB cross section in the middle part of FIG.
  • the lower part of FIG. 6 is an example of a circuit configuration of the image sensor 121.
  • the image pickup device 121 having the configuration shown in FIG. 6 includes a plurality of pixel output units that receive incident light that is incident without passing through either the image pickup lens or the pinhole, and at least two of the plurality of pixel output units. It has a configuration for making the incident angle directivity of the output pixel value of the pixel output unit with respect to the incident light from the subject different from each other. Further, in the image sensor 121 in this case, the plurality of pixel output units make the PDs (Photodiodes) that contribute to the output different from each other, so that the incident angle directivity of the output pixel value is independent for each pixel output unit. Can be set to.
  • PDs Photodiodes
  • the image sensor 121 in the image sensor 121, four photodiodes 121f-1 to 121f-4 are formed in the pixel 121a, and the light-shielding film 121p separates the photodiodes 121f-1 to 121f-4 from each other. It has a configuration different from that of the image pickup device 121 of FIG. 6 in that it is formed in the region. That is, in the image sensor 121 of FIG. 6, the light-shielding film 121p is formed in a “+” shape when viewed from the upper surface.
  • the common configurations thereof are designated by the same reference numerals, and detailed description thereof will be omitted.
  • an electrical and optical cross between the photodiodes 121f-1 to 121f-4 is formed by separating the photodiodes 121f-1 to 121f-4 by the light-shielding film 121p. Talk can be prevented. That is, the light-shielding film 121p of FIG. 6 is for preventing crosstalk like the light-shielding film 121p of the image sensor 121 of FIG. 5, and is not for providing incident angle directivity.
  • the photodiodes 121f-1 to 121f-4 have different incident angles at which the light receiving sensitivity characteristics are high. That is, the output pixel value of the pixel 121a can have a desired incident angle directivity depending on which of the photodiodes 121f-1 to 121f-4 is used to read the charge. That is, the incident angle directivity of the output pixel value of the pixel 121a can be controlled.
  • one FD unit 163 is shared by four photodiodes 121f-1 to 121f-4.
  • the lower part of FIG. 6 shows an example of a circuit configuration in which one FD unit 163 is shared by four photodiodes 121f-1 to 121f-4.
  • the description of the same configuration as that of the lower part of FIG. 5 in the lower part of FIG. 6 will be omitted.
  • the difference from the circuit configuration in the lower part of FIG. 5 is that the photodiodes 161-1 to 161-4 (photodiodes 121f-1 to in the upper part of FIG. 6) are replaced with the photodiode 161 and the transfer transistor 162. (Corresponding to 121f-4) and transfer transistors 162-1 to 162-4 are provided to share the FD unit 163.
  • the photodiode 161-1 to 161-4 when it is not necessary to explain the photodiodes 161-1 to 161-4 separately from each other, the photodiode is referred to as the photodiode 161.
  • the transfer transistors 162-1 to 162-4 separately from each other the transfer transistors 162 to 162 are referred to as transfer transistors 162.
  • the photodiodes 161 that read out charges different from each other between at least two pixels the photodiodes 161 that contribute to the output pixel value can be made different from each other. That is, by selecting the photodiode 161 that reads out the electric charge, the output pixel value of the pixel 121a can have a desired incident angle directivity.
  • the charges of the photodiode 121f-1 and the photodiode 121f-3 are transferred to the FD unit 163, and the signals obtained by reading each of them are added to the output pixel value of the pixel 121a.
  • the incident angle directivity in the left-right direction in the figure can be provided.
  • the upper and lower parts in the figure are added to the output pixel value of the pixel 121a. It is possible to have the incident angle directivity of the direction.
  • the signal obtained based on the electric charge of each photodiode 121f of the pixel 121a in FIG. 6 may be added after being read from the pixel, or added in the pixel (for example, the FD unit 163). You may try to do it.
  • the combination of the photodiode 121f that adds an electric charge (or a signal corresponding to the electric charge) is arbitrary, and is not limited to the above example.
  • the charges (or signals corresponding to the charges) of three or more photodiodes 121f may be added.
  • the charge of one photodiode 121f may be read out without addition.
  • the pixel 121a (detection sensitivity) is obtained.
  • the desired incident angle directivity may be provided.
  • the photodiode 121f When the electronic shutter function is used, if the photodiode 121f is reset immediately before being read out to the FD unit 163, the photodiode 121f can be in a state where it does not contribute to the detection signal level of the pixel 121a. If there is a time between the reset and the reading to the FD unit 163, it is possible to make a partial contribution.
  • each of the pixels 121a in FIG. 6 is provided with four photodiodes 121f, and the light-shielding film 121b is not formed on the light-receiving surface.
  • the light-shielding film 121p provides a plurality of regions.
  • Four photodiodes 121f-1 to 121f-4 are formed, and represent a detection signal for one pixel of a detection image having incident angle directivity.
  • the range of the photodiodes 121f-1 to 121f-4 that does not contribute to the output functions in the same manner as the shaded area, and has incident angle directivity to detect one pixel of the detected image. It represents a signal.
  • the detection signals for one pixel are expressed by using the photodiodes 121f-1 to 121f-4, the light-shielding film 121b is not used, so that the detection signal is not a signal obtained by optical modulation. ..
  • the number of photodiodes arranged in the pixel is arbitrary and is not limited to the above example. That is, the number of partial regions in which the photodiode is arranged in the pixel is also arbitrary.
  • the photodiode is arranged in four partial regions in which the pixel is divided into four equal parts, but this partial region does not have to be evenly divided. That is, the size and shape of each partial region do not have to be unified (a partial region having a different size and shape from the others may be included). Alternatively, the position (position in the partial region), size, shape, etc. of the photodiode arranged in each partial region may be different for each photodiode (for each partial region). At that time, the size and shape of each partial region may or may not be unified.
  • these parameters do not have to be unified in all the pixels of the image sensor 121. That is, in one or more pixels of the image sensor 121, one or more of these parameters may be different from the other pixels.
  • a pixel whose division position for forming a partial region for arranging the photodiode in the pixel is different from that of other pixels may be included in the pixel group of the image sensor 121. That is, the image sensor 121 may have one or more pixels whose partial region size and shape are different from those of other pixels. For example, by making the division position different for each pixel, even if only the upper left photodiode is used for a plurality of pixels, the incident angle directivity of the detection signal detected in each of the plurality of pixels is directed.
  • the sexes can be different from each other.
  • pixels in which the positions, sizes, shapes, etc. of the plurality of photodiodes arranged in the pixels are different from those of other pixels may be included in the pixel group of the image pickup device 121. That is, the image pickup device 121 may have one or more pixels in which at least one of the positions, sizes, and shapes of the plurality of photodiodes arranged is different from the other pixels. For example, by making the position, size, shape, etc. of the photodiode different for each pixel, even if only the upper left photodiode is used for a plurality of pixels, it is detected in each of the plurality of pixels. The incident angle directivity of the detection signals can be different from each other.
  • one or more pixels may have one or more pixels in which both the parameter of the partial region (size, shape) and the parameter of the photodiode (position, size, shape) are different from other pixels.
  • a pixel whose number of divisions for forming a partial region for arranging the photodiode in the pixel is different from that of other pixels may be included in the pixel group of the image pickup device 121. That is, the image sensor 121 may have one or more pixels in which the number of arranged photodiodes is different from that of other pixels.
  • the incident angle directivity can be set more freely by making the number of divisions (the number of photodiodes) different for each pixel.
  • the incident angle directivity of each pixel in the image sensor 121 is generated by, for example, the principle shown in FIG. 7.
  • the upper left and upper right parts of FIG. 7 are views for explaining the principle of generation of incident angle directivity in the image sensor 121 of FIG. 5, and the lower left and lower right parts of FIG. 7 are the image sensor 121 of FIG. It is a figure explaining the generation principle of the incident angle directivity.
  • one pixel in the upper left portion and the upper right portion in FIG. 7 is each composed of one photodiode 121e.
  • one pixel in the lower left and lower right of FIG. 7 is composed of two photodiodes 121f.
  • an example in which one pixel is composed of two photodiodes 121f is described here, this is for convenience of explanation, and the number of photodiodes 121f constituting one pixel is other numbers. There may be.
  • a light shielding film 121b-11 is formed so as to block the right half of the light receiving surface of the photodiode 121e-11 when incident light is incident from the upper side to the lower side in the drawing. .. Further, in the upper right portion of FIG. 7, a light-shielding film 121b-12 is formed so as to block the left half of the light-receiving surface of the photodiode 121e-12.
  • the alternate long and short dash line in the drawing indicates that the light receiving surface of the photodiode 121e is the center position in the horizontal direction in the drawing and is perpendicular to the light receiving surface.
  • the incident light from the upper right direction in the figure indicated by the arrow forming the incident angle ⁇ 1 with respect to the alternate long and short dash line in the figure is shielded by the photodiode 121e-11.
  • Light is easily received in the left half range that is not shielded by the film 121b-11, but the incident light from the upper left direction in the figure, which is indicated by the arrow forming the incident angle ⁇ 2 with respect to the alternate long and short dash line in the figure, is a photodiode. It is difficult to receive light in the range of the left half that is not shielded by the light-shielding film 121b-11 of 121e-11.
  • the light receiving sensitivity characteristic is high with respect to the incident light from the upper right side in the figure, and the light receiving sensitivity characteristic is low with respect to the incident light from the upper left side. Will have sex.
  • the incident light from the upper right direction in the figure indicated by the arrow forming the incident angle ⁇ 11 with respect to the alternate long and short dash line in the figure is a photodiode. It is difficult to receive light in the range of the left half that is shielded by the light-shielding film 121b-12 of 121e-12, but it is incident from the upper left direction in the figure, which is indicated by the arrow forming the incident angle ⁇ 12 with respect to the alternate long and short dash line in the figure. Light is easily received in the right half range that is not shielded by the light-shielding film 121b-12 of the photodiode 121e-12.
  • the light receiving sensitivity characteristic is low with respect to the incident light from the upper right side in the figure, and the light receiving sensitivity characteristic is high with respect to the incident light from the upper left side. Will have sex.
  • photodiodes 121f-1 and 121f-2 are provided on the left and right sides of the drawing, and the light-shielding film 121b is provided by reading out one of the detection signals. It is configured to have incident angle directivity without any problem.
  • the incident light from the upper left direction in the figure which is indicated by the arrow forming the incident angle ⁇ 22 with respect to the alternate long and short dash line in the figure, is incident on the photodiode 121f-2, but the detection signal is not read. , Does not contribute to the detection signal level of the pixel 121a.
  • the photodiode 121f-12 provided on the left side in the drawing
  • the same incident angle directivity as the configuration in the upper right portion of FIG. 7. That is, the incident light from the upper right direction in the figure, which is indicated by the arrow forming the incident angle ⁇ 31 with respect to the alternate long and short dash line in the figure, is incident on the photodiode 121f-11, but the detection signal is not read and this pixel. It does not contribute to the detection signal level of 121a.
  • the incident light from the upper left direction in the figure which is indicated by the arrow forming the incident angle ⁇ 32 with respect to the alternate long and short dash line in the figure, is received by incident on the photodiode 121f-12, and the detection signal is received. It is read out and contributes to the detection signal level of the pixel 121a.
  • the incident angle directivity of each pixel in the image sensor 121 is set as shown in FIG. 8, for example, by using the on-chip lens 121c in addition to the one by the light-shielding film 121b described above. That is, in the middle left part of FIG. 8, the on-chip lens 121c-11 that collects the incident light from the incident direction in the upper part of the figure, the color filter 121d-11 that transmits the light of a predetermined wavelength, and the pixel by photoelectric conversion.
  • the photodiodes 121e-11 that generate signals are stacked in this order, and in the middle right part of FIG. 8, the on-chip lens 121c-12, the color filter 121d-12, and the photodiode 121e-12 are formed from the upper incident direction in the figure. It is configured in order.
  • the on-chip lens 121c When it is not necessary to distinguish between the on-chip lens 121c-11, 121c-12, the color filter 121d-11, 121d-12, and the photodiode 121e-11,121e-12, the on-chip lens 121c is simply used. , The color filter 121d, and the photodiode 121e.
  • the image sensor 121 is further provided with light-shielding films 121b-11 and 121b-12 that block a part of the region that receives incident light, as shown in the left portion of the middle stage and the right portion of the middle stage of FIG. Has been done.
  • the detection signal level of the photodiode 121e-11 changes according to the incident angle ⁇ of the incident light.
  • the incident angle ⁇ which is the angle formed by the incident light
  • the incident angle ⁇ becomes larger with respect to the one-point chain line perpendicular to each of the central positions of the photodiode 121e and the on-chip lens 121c (the incident angle ⁇ is positive).
  • the light increases in the direction (tilts to the right in the drawing)
  • the light is focused in the range where the light-shielding film 121b-11 is not provided, so that the detection signal level of the photodiode 121e-11 increases.
  • the smaller the incident angle ⁇ the larger the incident angle ⁇ is in the negative direction (tilting to the left in the figure)
  • the more light is focused in the range where the light-shielding film 121b-11 is provided.
  • the detection signal level of the photodiode 121e-11 becomes smaller.
  • the incident angle ⁇ referred to here is 0 degrees when the direction of the incident light coincides with the alternate long and short dash line, and the incident light from the upper right in the figure is incident on the incident angle ⁇ 21 side on the left side of the middle stage of FIG.
  • the incident angle ⁇ is a positive value
  • the incident angle ⁇ on the incident angle ⁇ 22 side on the right side of the middle row in FIG. 8 is a negative value. Therefore, in FIG. 8, the incident light incident on the on-chip lens 121c from the upper right side has a larger incident angle than the incident light incident on the upper left side. That is, in FIG. 8, the incident angle ⁇ increases as the traveling direction of the incident light tilts to the right (increases in the positive direction), and decreases as it tilts to the left (increases in the negative direction).
  • the waveform of the dotted line in the upper part of FIG. As shown by, the detection signal level of the photodiode 121e-12 changes according to the incident angle ⁇ of the incident light.
  • the larger the incident angle ⁇ (the larger the incident angle ⁇ is in the positive direction), the light is focused in the range where the light-shielding film 121b-12 is provided, so that the detection signal level of the photodiode 121e-12 Becomes smaller.
  • the smaller the incident angle ⁇ (the larger the incident angle ⁇ is in the negative direction), the light is incident in the range where the light-shielding film 121b-12 is not provided, so that the detection signal level of the photodiode 121e-12 Becomes larger.
  • the horizontal axis represents the incident angle ⁇
  • the vertical axis represents the detection signal level in the photodiode 121e.
  • the waveforms shown by the solid line and the dotted line indicating the detection signal level according to the incident angle ⁇ shown in the upper part of FIG. 8 can be changed according to the range of the light-shielding film 121b. It is possible to have different incident angle directivity.
  • the solid line waveform in the upper part of FIG. 8 corresponds to the solid line arrow indicating how the incident light in the middle left part and the lower left part of FIG. 8 is focused by changing the incident angle ⁇ . ..
  • the dotted line waveform in the upper part of FIG. 8 corresponds to the dotted arrow indicating how the incident light in the middle right part and the lower right part of FIG. 8 is focused by changing the incident angle ⁇ . ..
  • the incident angle directivity referred to here is a characteristic of the detection signal level (light receiving sensitivity characteristic) of each pixel according to the incident angle ⁇ , but in the case of the middle example of FIG. 8, this corresponds to the incident angle ⁇ . It can be said that it is a characteristic of the shading value. That is, the light-shielding film 121b shields the incident light in a specific direction at a high level, but cannot sufficiently block the incident light from a direction other than the specific direction. This change in the light-shielding level causes different detection signal levels depending on the incident angle ⁇ as shown in the upper part of FIG.
  • each pixel has different incident angle directivity. It will have a direction.
  • two photodiodes 121f-1 and 121f-2 are provided for one on-chip lens 121c-11 (pixel output unit is 2).
  • pixel output unit is 2
  • the photodiode on the left side of the middle stage of FIG. 8 is used. It is possible to obtain the same detection signal level as in the state where the right side of 121e-11 is shielded from light.
  • the incident angle ⁇ which is the angle formed by the incident light
  • the incident angle ⁇ increases with respect to the alternate long and short dash line at the center position of the on-chip lens 121c (when the incident angle ⁇ increases in the positive direction).
  • the light is focused in the range of the photodiode 121f-1 from which the detection signal is read, so that the detection signal level is increased.
  • the smaller the incident angle ⁇ the larger the incident angle ⁇ is in the negative direction
  • the detection signal level is because the light is focused in the range of the photodiode 121f-2 where the detected value is not read out.
  • two photodiodes 121f-11 and 121f-12 are provided for one on-chip lens 121c-12.
  • the incident angle ⁇ which is the angle formed by the incident light
  • the incident angle ⁇ increases with respect to the alternate long and short dash line at the center position of the on-chip lens 121c (when the incident angle ⁇ increases in the positive direction).
  • the light is focused in the range of the photodiode 121f-11 where the detection signal does not contribute to the detection signal of the output pixel unit, so that the detection signal level of the detection signal of the output pixel unit becomes small.
  • the smaller the incident angle ⁇ (the larger the incident angle ⁇ is in the negative direction), the light is focused in the range of the photodiode 121f-12 in which the detection signal contributes to the detection signal of each output pixel. , The detection signal level of the detection signal for each output pixel becomes large.
  • the incident angle directivity it is desirable that the randomness is high.
  • the above equations (1) to (3) or the equations (4) to (6) described later may be the same equations. This is because the relationship between the unknown number that is the solution of the simultaneous equations and the number of equations cannot be satisfied, and the pixel values constituting the restored image may not be obtained.
  • one photodiode 121e-11 and a photodiode 121e-12 are formed in the pixel 121a.
  • one pixel output unit when one pixel output unit is composed of a plurality of photodiodes 121f, it can be considered that the output pixel value of the pixel output unit is modulated according to the incident angle. can. Therefore, it is possible to make the characteristics of the output pixel value (incident angle directivity) different for each pixel output, and the incident angle directivity for each pixel output is set. Further, when one pixel output unit is configured from a plurality of photodiodes 121f, one on-chip lens 121c is indispensable for one pixel output unit in order to generate incident angle directivity in one pixel output unit. It becomes a composition.
  • the one-pixel output unit is configured according to the incident angle.
  • the incident light on one photodiode 121e-11 or the photodiode 121e-12 is modulated, and as a result, the output pixel value is modulated. Therefore, the characteristics of the output pixel value (incident angle directivity) can be made different, and the incident angle directivity is set in units of one pixel output.
  • the incident angle directivity is independently manufactured by the light-shielding film 121b provided for each pixel output unit. Sometimes set.
  • the number of the plurality of photodiodes 121f for setting the incident angle directivity for each pixel output unit is independently set at the time of manufacture in the 1-pixel output unit, and which photodiode 121f is used to determine the incident angle directivity. Whether to set it can be switched at the time of imaging.
  • the setting range of the light-shielding film 121b is the range from the left end to the position A in the horizontal direction of the pixel 121a, and the range from the upper end to the position B in the vertical direction. do.
  • the weight Wh is set so that the weight Wx becomes ( ⁇ ( ⁇ x ⁇ a) / 2 ⁇ + 1/2) when ⁇ ⁇ a + ⁇ and the weight Wx becomes 0 when the incident angle ⁇ x> ⁇ a + ⁇ .
  • the weight Wh is 0,0.5,1 will be described, but the weight Wh will be 0,0.5,1 when the ideal condition is satisfied.
  • the incident angle directivity of each pixel 121a that is, the coefficient (coefficient set) corresponding to the light receiving sensitivity characteristic can be obtained.
  • the on-chip lenses 121c having different focal lengths are used for the inclination (1 / 2 ⁇ ) indicating the change in the weight in the range where the weight Wx in the horizontal direction and the weight Wy in the vertical direction are around 0.5. It can be set with.
  • the incident angle directivity of the pixel 121a can be set to a different value by making the range in which the photodiode 121e is shielded by the light-shielding film 121b and the curvature of the on-chip lens 121c different.
  • the curvature of the on-chip lens may be the same for all the pixels in the image sensor 121, or may be different for some pixels.
  • the image sensor 121 does not require an image pickup lens.
  • the on-chip lens 121c is necessary at least when the incident angle directivity is realized by using a plurality of photodiodes in the pixel as described with reference to FIG.
  • the on-chip lens 121c and the imaging lens have different physical actions.
  • the imaging lens has a condensing function for incident light incident from the same direction onto a plurality of pixels adjacent to each other.
  • the light passing through the on-chip lens 121c is incident only on the light receiving surface of the photodiode 121e or 121f constituting the corresponding one pixel.
  • the on-chip lens 121c is provided for each pixel output unit, and collects the subject light incident on itself only in the corresponding pixel output unit. That is, the on-chip lens 121c does not have a condensing function for incident the diffused light emitted from the virtual point light source on a plurality of pixels adjacent to each other.
  • the detection signal levels DA, DB, and DC at the positions Pa, Pb, and Pc on the image sensor 121 can be expressed by the same equations as the above equations (1) to (3).
  • DA ⁇ 1 ⁇ a + ⁇ 1 ⁇ b + ⁇ 1 ⁇ c ...
  • DB ⁇ 2 ⁇ a + ⁇ 2 ⁇ b + ⁇ 2 ⁇ c ...
  • DC ⁇ 3 ⁇ a + ⁇ 3 ⁇ b + ⁇ 3 ⁇ c ...
  • the detection signal level is the same for all the detection signal levels DA, DB, and DC as shown in the upper central portion and the lower central portion of FIG. Is.
  • the coefficient set group consisting of the coefficient set ⁇ 11, ⁇ 11, ⁇ 11, the coefficient set ⁇ 12, ⁇ 12, ⁇ 12, and the coefficient set ⁇ 13, ⁇ 13, ⁇ 13 is the coefficient set ⁇ 1, ⁇ 1, ⁇ 1, and the coefficient set ⁇ 2 on the subject surface 131, respectively. It is a coefficient set group of the subject surface 131'corresponding to ⁇ 2, ⁇ 2, coefficient set ⁇ 3, ⁇ 3, ⁇ 3.
  • the method is the same as the method for obtaining the light intensity (a, b, c) of the light rays in the point light sources PA, PB, and PC in the case of the subject surface 131 shown by.
  • one detection image is obtained by storing the coefficient set group for each distance from the image pickup element 121 to the subject surface in advance, switching the coefficient set group to construct simultaneous equations, and solving the constructed simultaneous equations. Based on the above, it is possible to obtain restored images of subject surfaces having various subject distances.
  • the detected image is captured only once, and in the subsequent processing, the coefficient set group is switched according to the distance to the subject surface to obtain the restored image, so that the restored image at an arbitrary distance is generated. It is also possible to do.
  • deep learning is performed on the detection signal of the image sensor without performing image recognition based on the restored image after obtaining the restored image. It is also possible to apply machine learning such as, and perform image recognition or the like using the detection signal itself.
  • the pixels having incident angle directivity suitable for imaging the subject surface corresponding to the specified subject distance and angle of view without using all the pixels.
  • the restored image may be generated by using the detected image composed of the detection signal. By doing so, the restored image can be obtained by using the detection signal of the pixel suitable for imaging the subject surface corresponding to the specified subject distance and angle of view, so that the specified subject distance and angle of view can be obtained. It is possible to obtain the restored image with high accuracy.
  • the reason why the restored image can be obtained with high accuracy by obtaining the restored image using the detection signal of the pixel suitable for imaging the subject surface corresponding to the specified subject distance and angle of view will be described. ..
  • the pixel 121a is shaded by the light-shielding film 121b by the width d1 from each end of each of the four sides, and as shown in the lower part of FIG. 11, each of the four sides.
  • Pixels 121a are used, for example, to restore the image I1 of FIG. 11, which corresponds to the angle of view SQ1 including the entire subject person H101, as shown in the upper part of FIG.
  • the pixel 121a in FIG. 11 is in the incidentable angle range A of the incident light with respect to the image sensor 121 as shown in the left portion of FIG. 13, so that the subject width is horizontal on the subject surface 131. This is because it can receive the incident light for W1 minutes.
  • the pixel 121a'of FIG. 11 has a wider light-shielding range than the pixel 121a of FIG. 11, as shown in the left part of FIG. 13, incident light can be incident on the image sensor 121.
  • the angle range B ( ⁇ A) is obtained, so that the incident light corresponding to the subject width W2 ( ⁇ W1) is received in the horizontal direction on the subject surface 131.
  • the pixel 121a in FIG. 11 having a narrow light-shielding range is a wide angle-of-view pixel suitable for capturing a wide range on the subject surface 131
  • the pixel 121a'in FIG. 11 having a wide light-shielding range is It is a narrow angle-of-view pixel suitable for capturing a narrow range on the subject surface 131.
  • the wide angle of view pixel and the narrow angle of view pixel referred to here are expressions for comparing both the pixels 121a and 121a'in FIG. 11, and are not limited to this when comparing pixels with other angles of view.
  • FIG. 13 shows the relationship between the position on the subject surface 131 and the incident angle of the incident light from each position with respect to the center position C1 of the image sensor 121. Further, in FIG. 13, the relationship between the position on the subject surface 131 and the incident angle of the incident light from each position on the subject surface 131 with respect to the horizontal direction is shown, but the same relationship is also shown in the vertical direction. It becomes. Further, on the right side of FIG. 13, pixels 121a and 121a'in FIG. 11 are shown.
  • the pixel 121a of FIG. 11 is in the range ZA surrounded by the dotted line, and the pixel 121a of FIG. 11 is in the range ZB surrounded by the alternate long and short dash line.
  • the pixel 121a of FIG. 11 that captures the angle of view SQ1 is used when trying to restore the image of the angle of view SQ1 corresponding to the subject width W1.
  • the image of the subject width W1 of the subject surface 131 can be appropriately restored.
  • the detection signal level of the pixel 121a'of FIG. 11 that captures the angle of view SQ2 is used to appropriately obtain the subject width W2. You can restore the image of.
  • the angle of view SQ2 is narrower than the angle of view SQ1
  • the angle of view SQ2 is narrower than the image of the angle of view SQ1. It is possible to obtain a restored image with higher image quality by restoring the image having the angle of view SQ2 which is the angle of view.
  • all the pixels of the wide angle of view pixels may be used, or a part of the wide angle of view pixels may be used.
  • all the pixels of the narrow angle of view pixels may be used, or a part of the narrow angle of view pixels may be used.
  • an optical element composed of an image sensor, a diffraction grating, etc., a pinhole, and the like are not required, so that the degree of freedom in designing the device can be increased. , It is possible to realize the miniaturization of the device with respect to the incident direction of the incident light, and it is possible to reduce the manufacturing cost. Further, a lens corresponding to an imaging lens for forming an optical image, such as a focus lens, is not required.
  • the image sensor 121 only the detected image is acquired, and then the restored image is obtained by solving the simultaneous equations constructed by selectively using the coefficient set group according to the subject distance and the angle of view. Therefore, it is possible to generate restored images with various subject distances and angles of view.
  • the image sensor 121 can have incident angle directivity in pixel units, it is possible to realize a larger number of pixels as compared with an optical filter made of a diffraction grating and a conventional image sensor or the like. It is possible to obtain a high-resolution and high-angle resolution image sensor.
  • the image sensor 121 does not require an optical filter or the like made of a diffraction grating, the optical filter is not distorted by heat due to a high temperature in the usage environment. Therefore, by using such an image sensor 121, it is possible to realize a device having high environmental resistance.
  • the light-shielding film 121b that shields the entire pixel 121a in the vertical direction and shields the pixel 121a with a predetermined width in the horizontal direction is horizontal. It is called a band type light-shielding film 121b.
  • the light-shielding film 121b that blocks the entire pixel 121a in the horizontal direction and blocks the pixel 121a at a predetermined height in the vertical direction is referred to as a vertical band type light-shielding film 121b.
  • a vertical band type and a horizontal band type light-shielding film 121b may be combined to provide the pixel 121a with an L-shaped light-shielding film 121b.
  • the portion shown in black is the light-shielding film 121b. That is, the light-shielding film 121b-21 to the light-shielding film 121b-24 are light-shielding films of the pixels 121a-21 to 121a-24, respectively.
  • Each of these pixels has an incident angle directivity as shown in the right part of FIG.
  • the graph shown on the right side of FIG. 14 shows the light receiving sensitivity in each pixel.
  • the horizontal axis represents the incident angle ⁇ x in the horizontal direction (x direction) of the incident light
  • the vertical axis represents the incident angle ⁇ y in the vertical direction (y direction) of the incident light.
  • the light receiving sensitivity within the range C4 is higher than outside the range C4
  • the light receiving sensitivity within the range C3 is higher than outside the range C3
  • the light receiving sensitivity within the range C2 is higher than outside the range C2.
  • the light receiving sensitivity within the range C1 is higher than outside the range C1.
  • the detection signal level of the incident light that satisfies the conditions of the incident angle ⁇ x in the horizontal direction (x direction) and the incident angle ⁇ y in the vertical direction (y direction) within the range C1 becomes the highest. It is shown that the detection signal level decreases in the order of the conditions in the range C2, the range C3, the range C4, and the range other than the range C4.
  • the intensity of such light receiving sensitivity is determined by the range of light shielding by the light shielding film 121b.
  • each pixel 121a indicates the color of the color filter (for convenience of explanation, it is not actually described).
  • Pixel 121a-21 is a G pixel on which a green color filter is arranged
  • pixel 121a-22 is an R pixel on which a red color filter is arranged
  • pixel 121a-23 is a B on which a blue color filter is arranged.
  • It is a pixel
  • the pixels 121a-24 are G pixels in which a green color filter is arranged. That is, these pixels form a Bayer array.
  • the color filter array pattern is arbitrary.
  • the arrangement of the light-shielding film 121b and the color filter are irrelevant.
  • a filter other than the color filter may be provided in some or all of the pixels, or the filter may not be provided.
  • the “L-shaped” light-shielding film 121b shields the left side and the lower side of the pixel 121a in the figure
  • the “L-shaped” light-shielding film 121b The orientation of is arbitrary and is not limited to the example of FIG.
  • the "L-shaped" light-shielding film 121b may shield the lower side and the right side of the pixel 121a in the drawing, or may shield the right side and the upper side of the pixel 121a in the figure.
  • the upper side and the left side of the pixel 121a in the drawing may be shielded from light.
  • the orientation of the light-shielding film 121b can be set independently for each pixel.
  • the "L-shaped" light-shielding film 121b is also collectively referred to as an "L-shaped light-shielding film 121b".
  • the description of this example can also be applied to the case where the incident angle directivity is given by selectively using a plurality of photodiodes arranged in the pixel. That is, for example, by appropriately setting the division position (size and shape of each partial region), the position, size, shape, etc. of each photodiode, and appropriately selecting the photodiode, the above-mentioned L It is possible to realize the incident light directivity equivalent to the incident light directivity by the character-type light-shielding film 121b.
  • the light-shielding film 121b may be provided so as to have an incident angle directivity.
  • the width of the light-shielding film 121b in the horizontal direction changes from the width dx1, dx2, ... dxn with respect to the pixel arrangement in the horizontal direction, and this is dx1 ⁇ dx2 ⁇ ... -The relationship is ⁇ dxn.
  • the vertical height of the light-shielding film 121b changes to heights dy1, dy2, ... dym, which is dy1 ⁇ dy2 ⁇ ... ⁇ dxm. Become a relationship.
  • the interval between changes in the horizontal width and the vertical width of the light-shielding film 121b depends on the subject resolution (angle resolution) to be restored.
  • each pixel 121a in the image sensor 121'in FIG. 15 is such that the light-shielding range is changed so as to correspond to the pixel arrangement in the image sensor 121' in the horizontal direction and the vertical direction. It can be said that it has angular directivity.
  • the shading range of each pixel 121a in FIG. 15 is determined according to, for example, the rules described using the pixel 121a shown on the left side of FIG.
  • FIG. 16 shows the same configuration of the image sensor 121'as that of FIG. Further, the left portion of FIG. 16 shows the configuration of the pixel 121a of the image pickup device 121'in the right portion of FIG. 16 (same as FIG. 15).
  • the light-shielding film 121b shields the pixel 121a from the upper and lower ends of the pixel 121a toward the inside of the pixel 121a by the width dx1, respectively, and from the ends of the left side and the right side into the pixel 121a.
  • the light-shielding film 121b shields light by the height dy1 of each. In FIGS. 15 to 17, the light-shielding film 121b is in the range shown in black.
  • the range in which the light-shielding film 121b is light-shielded in this way is hereinafter referred to as the main light-shielding portion Z101 of the pixel 121a (black portion in the left portion of FIG. 16), and other than that.
  • the range of the square shape is referred to as the range Z102.
  • the pixel arrangement in the image sensor 121'in FIG. 15 is at the left end portion, and the pixel 121a-1 at the upper end portion has a rectangular opening Z111.
  • the left side thereof has a width dx1 from the left side of the pixel 121a, and the upper side thereof is arranged at a distance of dy1 from the upper side of the pixel 121a.
  • the pixel 121a-2 to the right of the pixel 121a-1 has a rectangular opening Z111 whose left side has a width dx2 from the left side of the pixel 121a and whose upper side is a distance of a height dy1 from the upper side of the pixel 121a.
  • the area other than the rectangular opening Z111 is shielded by the light-shielding film 121b.
  • the right side of the rectangular opening Z111 moves from the right side of the pixel 121a to the width dx1, dx2 ... dxn as the arrangement advances to the right side in the drawing.
  • the dotted square portion in the upper right portion of the range Z102 in FIG. 16 is the rectangular opening Z111, the left side thereof is the width dxn from the left side of the pixel 121a, and the upper side thereof is the distance from the upper side of the pixel 121a to the height dy1. It shows the state when it is placed in. Further, each interval of the widths dx1, dx2 ...
  • dxn is a value obtained by subtracting the width of the rectangular opening Z111 from the horizontal width of the range Z102 and dividing by the number of pixels n in the horizontal direction. That is, the interval of change in the horizontal direction is determined by dividing by the number of pixels n in the horizontal direction.
  • the horizontal position of the rectangular opening Z111 in the pixel 121a in the image pickup element 121' is the same in the pixel 121a (pixels 121a in the same row) having the same horizontal position in the image pickup element 121'. ..
  • the pixel 121a-3 adjacent immediately below the pixel 121a-1 has a rectangular opening Z111 whose left side has a width dx1 from the left side of the pixel 121a and whose upper side is a distance of a height dy2 from the upper side of the pixel 121a.
  • the area other than the rectangular opening Z111 is shielded by the light-shielding film 121b.
  • the upper side of the rectangular opening Z111 moves from the upper side of the pixel 121a to the heights dy1, dy2 ... Dyn as the arrangement advances to the lower side in the drawing. ..
  • the dotted square portion at the lower left in the range Z102 of FIG. 16 is the rectangular opening Z111, the left side of which is the width dx1 from the left side of the pixel 121a, and the upper side is the distance of the height dym from the upper side of the pixel 121a. It shows the state when it is placed in. Further, the respective intervals of the heights dy1, dy2 ...
  • dym are the value obtained by subtracting the height of the rectangular opening Z111 from the height in the vertical direction of the range Z102 and dividing by the number of pixels m in the vertical direction. Become. That is, the interval of change in the vertical direction is determined by dividing by the number of pixels m in the vertical direction.
  • the vertical position of the rectangular opening Z111 in the pixel 121a in the image sensor 121' is the same in the pixel 121a (pixel 121a in the same row) having the same vertical position in the image sensor 121'. ..
  • the angle of view can be changed by changing the main light-shielding portion Z101 and the rectangular opening Z111 of each pixel 121a constituting the image sensor 121'shown in FIG. 16 (FIG. 15).
  • FIG. 17 shows the configuration of the image sensor 121'when the angle of view is widened with respect to the image sensor 121' of FIG. 16 (FIG. 15).
  • the left portion of FIG. 17 shows the configuration of the pixel 121a of the image pickup device 121'in the right portion of FIG.
  • a main shading portion Z151 black portion in the left portion of FIG. 17
  • the other range is set to the range Z152.
  • a rectangular opening Z161 having a larger opening area than the rectangular opening Z111 is set.
  • the width dx1'( ⁇ dx1) is shielded by the light-shielding film 121b from the upper and lower ends of the pixel 121a toward the inside of the pixel 121a, respectively, and the left side.
  • the rectangular opening Z161 is formed by being shielded by the light-shielding film 121b by the height dy1'( ⁇ dy1) from the end on the right side toward the inside of the pixel 121a.
  • the pixel 121a-1 at the left end portion and the upper end portion has a rectangular opening Z161, and the left side thereof has a width dx1'from the left side of the pixel 121a.
  • the upper side thereof is arranged at a distance of height dy1'from the upper side of the pixel 121a, and the range other than the rectangular opening Z161 is shielded by the light-shielding film 121b.
  • the pixel 121a-2 to the right of the pixel 121a-1 has a rectangular opening Z161 whose left side has a width dx2'from the left side of the pixel 121a and whose upper side has a height dy1'from the upper side of the pixel 121a.
  • the area other than the rectangular opening Z161 is shielded by the light-shielding film 121b.
  • the right side of the rectangular opening Z161 moves from the right side of the pixel 121a to the width dx1', dx2'... dxn' as the arrangement advances to the right side in the drawing. do.
  • the respective intervals of the widths dx1', dx2'... dxn' are the width obtained by subtracting the horizontal width of the rectangular opening Z161 from the horizontal width of the range Z152, and the number of pixels in the horizontal direction n. It becomes the divided value. That is, the interval of change in the vertical direction is determined by dividing by the number of pixels n in the horizontal direction. Therefore, the interval of change of the width dx1', dx2'... dxn'is larger than the interval of change of the width dx1, dx2 ... dxn.
  • the horizontal position of the rectangular opening Z161 in the pixel 121a in the image sensor 121'in FIG. 17 is in the pixel 121a (pixels 121a in the same row) having the same horizontal position in the image sensor 121'. Be the same.
  • the pixel 121a-3 immediately below the pixel 121a-1 has a rectangular opening Z161 whose left side has a width dx1'from the left side of the pixel 121a and its upper side has a height dy2'from the upper side of the pixel 121a.
  • the area other than the rectangular opening Z161 is shielded by the light-shielding film 121b.
  • the upper side of the rectangular opening Z161 has a height dy1', dy2' ... dym'from the upper side of the pixel 121a as the arrangement advances to the lower side in the drawing. It changes with.
  • the interval of change of the heights dy1', dy2'... dym' is the height obtained by subtracting the height of the rectangular opening Z161 from the height in the vertical direction of the range Z152 with the number of pixels in the vertical direction m. It becomes the divided value. That is, the interval of change in the vertical direction is determined by dividing by the number of pixels m in the vertical direction. Therefore, the interval of change of height dy1', dy2'... dym'is larger than the interval of change of width height dy1, dy2 ... dym.
  • the vertical position of the rectangular opening Z161 in the pixel 121a in the image sensor 121'in FIG. 17 is in the pixel 121a (pixel 121a in the same row) having the same vertical position in the image sensor 121'. Be the same.
  • the image sensor 121'consisting of pixels 121a having various angles of view (having various incident angle directivities) can be obtained. It will be possible to realize.
  • pixels 121a having the same angle of view may be combined to realize the image sensor 121.
  • each unit U has wide angle of view pixels 121a-W and medium angle of view. It is composed of four pixels: pixels 121a-M, pixels 121a-N having a narrow angle of view, and pixels 121a-AN having an extremely narrow angle of view.
  • the number of pixels of all the pixels 121a is X
  • four different coefficient sets are used for each angle of view, and restored images having different angles of view are restored by four different simultaneous equations.
  • the image of the angle of view in the middle of the four types of angles of view and the images of the angles of view before and after the angle of view may be interpolated and generated from the images of the four types of angles of view, and the images of various angles of view are seamlessly generated. By doing so, a pseudo optical zoom may be realized.
  • the description of this example can also be applied to the case where the incident angle directivity is given by selectively using a plurality of photodiodes arranged in the pixel. That is, for example, by appropriately setting the division position (size and shape of each partial region), the position, size, shape, etc. of each photodiode, and appropriately selecting the photodiode, the above-mentioned rectangle It is possible to realize the incident light directivity equivalent to the incident light directivity by the light-shielding film 121b having an opening. Of course, also in this case, the image sensor 121 can be realized by combining the pixels 121a having various angles of view.
  • images with an intermediate angle of view and images with angles of view before and after the angle of view may be interpolated and generated from images with a plurality of types of angles of view.
  • pseudo Optical zoom may be realized.
  • ⁇ Third modification example> By the way, when the light-shielding range of the light-shielding film 121b of the pixel 121a in the image sensor 121 is given randomness, the greater the disorder of the difference in the light-shielding range of the light-shielding film 121b, the greater the disorder of the restoration unit 321 and the like.
  • the processing load is large. Therefore, the processing load may be reduced by reducing the disorder by making a part of the change in the light-shielding range of the light-shielding film 121b of the pixel 121a regular.
  • an L-shaped light-shielding film 121b that combines a vertical band type and a horizontal band type is formed, and a horizontal band type light-shielding film 121b having the same width is combined in a predetermined row direction.
  • the light-shielding film 121b is made to change randomly in pixel units while having regularity in the column direction and the row direction. As a result, the randomness in the incident angle directivity of each pixel may be reduced, and the external processing load of the image pickup element 121 such as the restoration unit 321 may be reduced.
  • a horizontal band type light-shielding film 121b having the same width X0 is used, and the range Z150.
  • a vertical band type light-shielding film 121b having the same height Y0 is used, and for the pixels 121a specified in each matrix, an L-shaped light-shielding film 121b in which these are combined is used. Is set.
  • a horizontal band type light-shielding film 121b having the same width X1 is used, and the same row indicated by the range Z151 adjacent to the range Z150.
  • a vertical band type light-shielding film 121b having the same height Y1 is used, and for the pixels 121a specified in each matrix, an L-shaped light-shielding film 121b in which these are combined is set. ..
  • a horizontal band type light-shielding film having the same width X2 is used, and the pixels in the same row indicated by the range Z152 adjacent to the range Z151 are used.
  • a vertical band type light-shielding film having the same height Y2 is used, and an L-shaped light-shielding film 121b in which these are combined is set for the pixels 121a specified in each matrix.
  • the range of the light-shielding film can be changed on a pixel-by-pixel basis while giving regularity to the width and position of the light-shielding film 121b in the horizontal direction and the height and position in the vertical direction. It is possible to suppress the disorder of the incident angle directivity, and as a result, it is possible to reduce the pattern of the coefficient set, and it is possible to reduce the processing load of the arithmetic processing in the subsequent stage (for example, the restoration unit 321 etc.). Become.
  • each pixel of the restored image of N ⁇ N rows and 1 column is obtained.
  • each element of the first column shown by the range Z201 of the matrix A corresponds to the element of the first row of the vector X
  • the N ⁇ N column shown by the range Z202 of the matrix A It is shown that each element of is corresponding to the element of the N ⁇ Nth line of the vector X.
  • each element of the vector X is obtained, so that the restored image is obtained.
  • a pinhole is used, and when a condensing function such as an imaging lens for incident light incident from the same direction is incident on both adjacent pixel output units, the position of each pixel and the position of each pixel are used. Since the relationship between the incident angles of light is uniquely determined, the matrix A is a square matrix in which all diagonal components ((i, i) elements) are 1 and all other than diagonal components are 0. become.
  • the relationship between the position of each pixel and the incident angle of light is not uniquely determined, so that the matrix A does not become a diagonal matrix. ..
  • the determinant of FIG. 20 is transformed as shown in FIG. 21 by multiplying both sides by the inverse matrix A -1 of the matrix A from the left, and the vector Y of the detected image is transformed by the inverse matrix A ⁇ .
  • the vector Y of the detected image is transformed by the inverse matrix A ⁇ .
  • the actual matrix A cannot be obtained accurately, cannot be measured accurately, cannot be solved in the case where the basis vector of the matrix A is close to linear dependence, and each element of the detected image contains noise. Or, in combination, it may not be possible to solve simultaneous equations.
  • the result of multiplying from the first stage and the second stage of is a matrix Y of N rows and N columns representing the detected image.
  • AT is a transposed matrix of the matrix A
  • ⁇ is a parameter
  • I is an identity matrix
  • matrix matrix AL in parenthesis in Equation (8) the inverse matrix of the transposed matrix of the matrix A by the matrix AR T. The determinant shown in FIG. 22 is realized.
  • the calculation as shown in FIG. 22 is performed by multiplying the attention element Xp in the matrix X by each element group Z221 of the corresponding column of the matrix AL. Group Z222 is required. Further, by multiplying the elements in the row corresponding to the element of interest Xp the element group Z222 matrix AR T, 2-dimensional response Z224 that corresponds to the element of interest Xp is calculated. Then, the matrix Y is obtained by integrating the two-dimensional response Z224 corresponding to all the elements of the matrix X.
  • the incident angle directivity of the horizontal band type pixel 121a set to the same width for each column of the image pickup element 121 shown in FIG. Have a corresponding set of coefficients.
  • each row of the element group of the matrix AR T Z223 ( Figure 23), the incidence of vertical band type pixel 121a to be set at the same height to be set for each row of the image sensor 121 shown in FIG. 19 Have a set of coefficients corresponding to the angular directivity.
  • the light-shielding range (light-receiving range) is changed on a pixel-by-pixel basis while having predetermined regularity in the horizontal direction and the vertical direction.
  • the range in which light is blocked in pixel units (the range in which light can be received) is not completely randomly set, but even if it is set to some extent at random, it is set at random. I reckon.
  • the light-shielding range (light-receiving range) is set completely randomly for each pixel, but also for some random ones (for example, some of all pixels).
  • the description of this example can also be applied to the case where the incident angle directivity is given by selectively using a plurality of photodiodes arranged in the pixel. That is, for example, by appropriately setting the division position (size and shape of each partial region), the position, size, shape, etc. of each photodiode, and appropriately selecting the photodiode, the above-mentioned pixels It is possible to realize the incident light directivity equivalent to the incident light directivity when a part of the change in the light-shielding range of the light-shielding film 121b of 121a is made regular. By doing so, it is possible to reduce the disorder in the incident angle directivity of each pixel and reduce the external processing load of the image sensor 121 such as the restoration unit 122.
  • the variation in the shape of the light-shielding film 121b for each pixel is arbitrary and is not limited to the above-mentioned examples.
  • the light-shielding film 121b may be set to be triangular and its range may be different so as to have different incident angle directivity, or the light-shielding film 12b may be set to be circular and its range may be different. By doing so, different incident angle directivities may be provided.
  • a linear light-shielding film in an oblique direction may be used.
  • the variation (pattern) of the light-shielding film 121b may be set for each of a plurality of pixels constituting the unit composed of a predetermined number of a plurality of pixels.
  • This one unit may be composed of any pixel.
  • the image sensor 121 may be provided with a color filter, and may be composed of pixels constituting the unit of the color array of the color filter.
  • a pixel group in which pixels having different exposure times are combined may be used as a unit. It is desirable that the pattern of the light-shielding film 121b in each pixel constituting the unit has a high degree of randomness, that is, the pixels constituting the unit have different incident angle directivity.
  • the arrangement pattern of the light-shielding film 121b may be set between the units. For example, the width and position of the light-shielding film may be changed for each unit. Further, a pattern in a range in which the light-shielding film 121b blocks light may be set in or between units of a plurality of pixels classified in different categories.
  • the description of this example can also be applied to the case where the incident angle directivity is given by selectively using a plurality of photodiodes arranged in the pixel. That is, for example, by appropriately setting the division position (size and shape of each partial region), the position, size, shape, etc. of each photodiode, and appropriately selecting the photodiode, the above-mentioned pixels It is possible to realize the incident light directivity equivalent to the incident light directivity when a part of the change in the light-shielding range of the light-shielding film 121b of 121a is made regular. By doing so, it is possible to reduce the disorder in the incident angle directivity of each pixel and reduce the external processing load of the image sensor 121 such as the restoration unit 122.
  • the description of this example can also be applied to the case where the incident angle directivity is given by selectively using a plurality of photodiodes arranged in the pixel. That is, by appropriately setting the division position (size and shape of each partial region), the position, size, shape, etc. of each photodiode, and appropriately selecting the photodiode, for example, a triangle or a circle. It is possible to realize the incident light directivity equivalent to the incident light directivity by a light-shielding film having an arbitrary shape such as a linear shape in an oblique direction.
  • the setting of the division position (size and shape of each partial region), the setting of the position, size, shape, etc. of each photodiode, the selection of the photodiode, and the like are performed in the same manner as in the case of the light-shielding film 121b described above. , It may be set for each unit.
  • ⁇ Photodiode control> When a plurality of photodiodes arranged in the pixels as described above are selectively used with reference to FIG. 6, the presence / absence or degree of contribution to the output pixel value of each pixel output unit of the plurality of photodiodes 121f is switched. Thereby, the incident angle directivity of the output pixel value in the pixel output unit may be changed in various ways.
  • the pixels 121a may be used as the pixels 121ab having the photodiodes 121f-111 to 121f-119, or the photodiodes 121f-111, 121f-112, 121f-114, and 121f-115. It may be used as the pixel 121a-s having.
  • the incident angle directivity of the output pixel value is controlled by controlling the presence / absence and degree of contribution of the photodiodes 121f-111 to 121f-119 to the output pixel value of the pixel 121a. Is controlled.
  • the pixel 121a is the pixel 121a-s
  • the presence / absence and degree of contribution of the photodiodes 121f-111, 121f-112, 121f-114, and 121f-115 to the output pixel value of the pixel 121a are determined.
  • the incident angle directivity of the output pixel value is controlled.
  • the other photodiodes 121f photodiodes 121f-113, 121f-116, 121f-117 to 121f-119 are controlled so as not to contribute to the output pixel value.
  • the incident angle directivity of the output pixel values is different between the plurality of pixels 121ab
  • the presence or absence of contribution to the output pixel value of at least one of the photodiodes 121f-111 to 121f-119 is determined.
  • the degree is different.
  • the incident angle directivity of the output pixel value is different between the plurality of pixels 121a-s, at least one of the photodiodes 121f-111, 121f-112, 121f-114, and 121f-115.
  • the presence or absence or degree of contribution to one output pixel value is different, and the other photodiodes 121f-113, 121f-116, 121f-117 to 121f-119 are commonly used among these pixels to obtain the output pixel value. Does not contribute.
  • Whether the pixel 121a is the pixel 121ab or the pixel 121a-s can be set for each pixel. Further, this setting may be made for each unit (plurality of pixels).
  • one on-chip lens is formed in each pixel (each pixel output unit) of the image sensor 121. That is, in the case where the pixel 121a has a configuration as shown in FIG. 24, as shown in FIG. 25, one on-chip lens 121c is provided for the photodiodes 121f-111 to 121f-119. Therefore, as described with reference to FIG. 24, whether the pixel 121a is the pixel 121a-b or the pixel 121a-s, one pixel (one pixel output unit) and one on-chip lens 121c are used. There is a one-to-one correspondence.
  • the image sensor 121 has been described above.
  • the image pickup unit 101 of FIG. 2 has the above-mentioned image pickup element 121.
  • the identification of the restored area (or non-restored area) by the area specifying unit 102 will be described.
  • the restored image 301 shown in A of FIG. 26 it is assumed that the person 302-1, the person 302-2, and the person 302-3 are reflected.
  • the person 302. When it is not necessary to distinguish the person 302-1 to the person 302-3 from each other, it is referred to as the person 302.
  • the predetermined area including the face portion of each person 302 may not be restored.
  • the partial area 303-3 including the face portion of the person 302-3 may not be restored.
  • the non-restored region 305-1 and the partial region 303-2 having the same position, shape, and size as the partial region 303-1 with respect to the detected image 304.
  • a non-restored area 305-2 and a partial area 303-3 having the same position, shape, and size are set as a non-restored area 305-3 having the same position, shape, and size.
  • the non-restored area 305-1 to the non-restored area 305-3 are referred to as a non-restored area 305.
  • Areas other than the non-restored area of the detected image are set as the restored area. That is, the restored area 306 indicates an area other than the non-restored area 305 of the detected image 304.
  • the above-mentioned non-restored area 305 may be used as the restored area
  • the above-mentioned restored area 306 may be used as the non-restored area.
  • the restored area and the non-restored area can be arbitrarily set in the detected image, but the detected image is actually a subject, for example, as in the detected image 307 shown in FIG. 26D.
  • the image is not formed and the user cannot visually recognize the subject. Therefore, in the detected image 307, for example, it is basically impossible for the user to visually identify the face portion as described above and set the non-restored region (or restored region).
  • the restored area is specified using AI (Artificial Intelligence).
  • AI Artificial Intelligence
  • machine learning for example, deep learning
  • the non-restored region 305 which may be the restored region 306 corresponding to the detected image as teacher data.
  • the non-restored area 305 (restored area 306) used as the teacher data for example, the one specified by the user or the like from the restored image 301 is used.
  • Such machine learning is performed using a large amount of teacher data to learn and model features.
  • the area specifying unit 102 identifies the restored area (non-restored area) from the detected image by using the learning result (learning data).
  • the region to be the restored region may be specified as an region having a predetermined feature.
  • a restore area or non-restoration area
  • only an arbitrary partial area having that characteristic can be restored, or another area can be restored so as not to restore that partial area.
  • Its features are optional. That is, it is possible to restore only an arbitrary partial area having an arbitrary feature, or to restore another area so as not to restore the partial area.
  • the partial area of the detected image corresponding to the area including the subject registered in advance in the restored image or the area other than that may be used as the restored area (or non-restored area).
  • the restored area or non-restored area
  • an area including a person may be used as a restored area (or a non-restored area), or an area other than the area containing the person may be used as a restored area (or a non-restored area).
  • an animal such as a dog or a cat may be the target subject, or an object such as a vehicle or a tool may be the target subject.
  • the partial area of the detected image corresponding to the area including the pre-registered part of the subject in the restored image or the area other than that may be used as the restored area (or non-restored area). By doing so, it is possible to restore only the area including the pre-registered portion of the pre-registered subject, or to restore another area so as not to restore the area.
  • the area including the face part of the person may be set as the restored area (or non-restored area), or the area other than the area including the face part may be set as the restored area (or non-restored area).
  • the area other than the area including the face part may be set as the restored area (or non-restored area).
  • parts other than the face such as the hands, feet, and upper body, may be the target parts.
  • any part of the subject other than the person such as the license plate of the vehicle, the arm part of the machine, and the sign part of the road sign, may be the target part.
  • the partial area of the detected image corresponding to the area including the person registered in advance in the restored image or the area other than that may be used as the restored area (or non-restored area).
  • the restored area or non-restored area.
  • an area including a specific individual may be designated as a restored area (or non-restored area), or an area other than the area including the individual may be designated as a restored area (or non-restored area).
  • the area including the pre-registered part (face, etc.) of the individual may be regarded as the restored area (or non-restored area), or the area other than the area including the pre-registered part may be designated as the restored area (or non-restored area). You may.
  • the partial area of the detected image corresponding to the area including the subject satisfying the pre-registered conditions in the restored image or the area other than that may be used as the restored area (or non-restored area).
  • the restored area or non-restored area
  • the area other than the area including the person performing the pre-registered operation is designated as the restored area (or non-restored area). You may.
  • the operation under this condition is optional. For example, it may be running, walking, jumping, climbing over a wall, sitting, crouching, driving, etc., or it may be another action. Further, for example, a subject that moves from left to right within the angle of view, a subject that moves from top to bottom, a subject that moves from the back to the front, and the like can be used as subjects that satisfy pre-registered conditions. good.
  • the movement (including movement) of the subject may be relative to the absolute coordinate system in the three-dimensional space. For example, the position or posture of the subject may be changed with respect to the periphery (background or the like) of the subject, or the position or posture of the subject may be changed with respect to the image pickup device 100 (image sensor 121). You may.
  • this condition is optional and may be other than operation.
  • the number of people may be a condition, or the gender, age, height, weight, etc. of an estimated person may be a condition.
  • the subject may be other than a person.
  • the conditions may be set according to the subject, or may be set for each subject.
  • a partial area of a pre-registered position and size of the detected image may be used as a restored area (or a non-restored area). That is, an arbitrary partial area may be used as a restored area (or a non-restored area) regardless of the content (subject) of the image. For example, a partial region having an arbitrary position, size, and shape of the detected image, such as the right half, the left half, the peripheral portion, and the central portion of the detected image, may be used as the restored region (or non-restored region).
  • the restored image is restored from the detected image by a matrix operation using a restored matrix (matrix A (or matrix A- 1)) as described with reference to FIGS. 20 and 21. That is, the restored image in the restored area is restored by the matrix calculation of the coefficient corresponding to the restored area of the restored matrix and the pixel value corresponding to the restored area of the detected image. That is, by deriving the matrix operation result only for the restoration area, only the restoration image of the restoration area can be restored.
  • matrix A or matrix A- 1
  • the restored image can be restored so as not to restore the non-restored area by not deriving the matrix operation result corresponding to the non-restored area.
  • the coefficient corresponding to the non-restoration region of the restoration matrix may be set to a predetermined value (for example, "0").
  • the coefficient of the restoration matrix (“Transfer Matrix (coefficient of simultaneous linear equations)” in FIG. 27) corresponding to the shaded portion of the restored image (“SceneImage (what you want to calculate)” in FIG. 27) is the shaded portion.
  • the value of the coefficient of the shaded portion of the restored matrix is set to "0". By doing so, even if the restored image is restored from the detected image by performing the matrix operation as shown in FIG. 21, the pixel value of the shaded portion of the restored image becomes "0" (that is, it is not restored). ..
  • the restoration matrix update unit 104 generates (sets) a non-restoration area corresponding restoration matrix in which the coefficient corresponding to the non-restoration area is “0” based on the restoration area information. That is, the restoration matrix update unit 104 sets the coefficient not corresponding to the restoration region to a pre-registered value (for example, "0") among the coefficients of the total restoration matrix which is the restoration matrix corresponding to the entire detected image. , A partial restoration matrix used to restore only the restoration image of the restoration area may be generated (set).
  • the restoration unit 105 restores the restored image from the detected image by using the restoration matrix corresponding to the non-restoration area (partial restoration matrix), the restoration image in which the pixel value of the non-restoration area is "0" is obtained. That is, the restoration unit 105 can restore the restored image by using the restoration matrix corresponding to the non-restoration area so that the non-restoration area is not restored.
  • the "pre-registered value" of the coefficient of the restoration matrix set by the restoration matrix update unit 104 is arbitrary and may be other than "0". That is, this "pre-registered value” may be a value that does not make the subject visible by matrix calculation. For example, this "pre-registered value” may or may not be unified in all the coefficients corresponding to the non-restored area. For example, as this "pre-registered value", a different value may be set for each coefficient or each block.
  • the coefficient corresponding to the non-restored region of the restored matrix may be deleted.
  • the coefficient corresponding to the non-restored region (shaded portion in FIG. 27) is deleted.
  • a restoration matrix consisting of coefficients corresponding to the non-restoration region (that is, a restoration matrix corresponding to the restoration region) is generated.
  • this restoration matrix only the restored image in the restored area can be restored from the detected image.
  • the restoration matrix update unit 104 generates a non-restoration area correspondence restoration matrix in which the coefficient corresponding to the non-restoration area is deleted, that is, the coefficient corresponding only to the restoration area is deleted based on the restoration area information. (Set). That is, the restoration matrix update unit 104 restores only the restored image in the restoration area by deleting the coefficient that does not correspond to the restoration area among the coefficients of the total restoration matrix that is the restoration matrix corresponding to the entire detection image. You may generate (set) a partial restoration matrix used for.
  • the restoration unit 105 restores the restored image from the detected image by using the restoration matrix corresponding to the non-restoration area (partial restoration matrix), the restoration image in which the pixel value of the non-restoration area is "0" is obtained. That is, the restoration unit 105 can restore the restored image by using the restoration matrix corresponding to the non-restoration area so that the non-restoration area is not restored.
  • the restoration matrix corresponding to the non-restoration area does not correspond to the entire detected image. That is, as described above, the non-restored region-corresponding restore matrix does not include the coefficient corresponding to the non-restored region. Therefore, information (for example, information indicating a restored region (or non-restored region) in the detected image) that associates each coefficient of the restored matrix corresponding to the non-restored region with the pixels of the detected image is required. Based on the information, the restoration unit 105 can correctly associate the restoration region in the detected image with the restoration matrix corresponding to the non-restoration region. This information may be known to the restoration unit 105 in advance, or may be supplied from the restoration matrix update unit 104 to the restoration unit 105 together with the restoration matrix corresponding to the non-restoration area.
  • the image pickup unit 101 of the image pickup device 100 takes an image of the subject using the image pickup element 121 in step S301 and generates a detection image.
  • step S302 the area specifying unit 102 identifies a restored area (or non-restored area) from the detection image generated in step S301 based on the learning data read from the learning data storage unit 103, and indicates the restored area. Generates restored area information (or non-restored area information indicating a non-restored area).
  • step S303 the restoration matrix update unit 104 updates the restoration matrix corresponding to the entire detected image based on the restoration area information (or non-restoration area information) generated in step S302, and creates the restoration matrix corresponding to the non-restoration area. Generate.
  • step S304 the restoration unit 105 restores the restored image from the detected image generated in step S301 by using the restoration matrix corresponding to the non-restoration area generated in step S303 so as not to restore the non-restoration area.
  • step S305 the restoration unit 105 outputs a restored image in which only the restoration area is restored in step S304. Even if the process of step S304 is omitted and the restoration unit 105 outputs the detection image generated in step S301 and the restoration matrix corresponding to the non-restoration region generated in step S303 in step S305 in association with each other. good.
  • step S305 When the process of step S305 is completed, the restored image generation process is completed.
  • the area specifying unit 102 can control the area to be restored by specifying the restored area (non-restored area). Therefore, by executing each process as described above, the image pickup apparatus 100 can restore the restored image so as not to restore an arbitrary area.
  • Image processing system example 1> In the above, the present technology has been described by taking an imaging device as an example, but the present technology is not limited to this example, and the present technology is not limited to this example, for example, an image processing device, an image coding device, an image decoding device, an information processing device, a communication device, an electronic device, and the like. Alternatively, it can be applied to any configuration such as a system composed of a plurality of devices.
  • FIG. 30 is a diagram showing a main configuration example of an embodiment of an image processing system to which the present technology is applied.
  • the image processing system 400 shown in FIG. 30 is a system having the same function as the image pickup apparatus 100, and is a system that captures a subject and restores a restored image from the obtained detected image. That is, the image processing system 400 has ⁇ 1.
  • the restored image non-restored area
  • the restored image can be set for the detected image, and the restored image can be restored so as not to restore the non-restored area.
  • the image processing system 400 includes an image pickup device 401 and an image processing device 402.
  • the image pickup apparatus 401 can capture a subject, generate a detection image, and output the detection image and a restoration matrix corresponding to the detection image.
  • the image processing device 402 acquires a detected image supplied from the outside and a restoration matrix corresponding to the detected image, sets a restoration area (or a non-restoration area) for the detected image, and indicates restoration area information indicating the restoration area. (Or non-restored area information indicating the non-restored area) can be generated. Further, the image processing device 402 updates the acquired restoration matrix based on the restoration area information, and restores only the restoration area (or restores the non-restoration area so as not to restore it). A region-aware restoration matrix can be generated. Further, the image processing device 402 uses the restoration matrix corresponding to the non-restoration area to obtain a restored image (or a restored image restored so as not to restore the non-restoring area) from the acquired detection image. Can be generated and output.
  • the image processing device 402 controls, for example, disclosure / non-disclosure of an arbitrary area of the detected image, control of information protection / non-protection against unauthorized leakage or unauthorized use, and image analysis. It is possible to control the target range of the above and the level of the service to be provided. Further, in the transmission of the image from the image pickup device 401 to the image processing device 402, the detected image is transmitted, so that the information can be protected and the occurrence of infringement of the privacy right due to unauthorized leakage or unauthorized use of the image can be suppressed. can do.
  • the imaging device 401 has an imaging unit 101.
  • the image processing device 402 has an area specifying unit 102 to a restoring unit 105.
  • Each processing unit performs the same processing as in the case of the image pickup apparatus 100. That is, each processing unit of the image pickup apparatus 401 and the image processing apparatus 402 performs processing according to the flow chart shown in FIG. 31, for example.
  • step S401 the image pickup unit 101 of the image pickup device 401 uses the image pickup device 121 to image the subject and generate a detection image.
  • step S402 the image pickup apparatus 401 supplies the detected image and the restoration matrix (total restoration matrix) corresponding to the detected image to the image processing apparatus 402.
  • step S411 the image processing apparatus 402 acquires the supplied detection image and the restoration matrix.
  • the detected image and the restoration matrix may be supplied from the image pickup apparatus 401 to the image processing apparatus 402 by communication via an arbitrary communication medium.
  • This communication method is arbitrary, and may be wired communication, wireless communication, or both. Further, this communication may be performed via a single network such as the Internet or a LAN (Local Area Network) or a plurality of networks, or may be performed via another device such as a communication device or a relay device. .. Further, this communication may be performed via a server or so-called cloud computing.
  • information may be exchanged via an arbitrary storage medium such as a removable flash memory or a hard disk. That is, the information to be exchanged may be stored in an arbitrary storage medium connected to the device of the supply source, the storage medium may be connected to the device of the supply destination, and the information may be read from the storage medium.
  • an arbitrary storage medium such as a removable flash memory or a hard disk.
  • step S412 the area specifying unit 102 of the image processing device 402 identifies the restored area (or non-restored area) from the detected image acquired in step S411 based on the learning data read from the learning data storage unit 103. Generates restored area information (or non-restored area information indicating a non-restored area) indicating the restored area.
  • step S413 the restoration matrix update unit 104 updates the restoration matrix acquired in step S411 based on the restoration area information (or non-restoration area information), and generates a restoration matrix corresponding to the non-restoration area.
  • step S414 the restoration unit 105 restores only the restoration area from the detected image acquired in step S411 using the restoration area-corresponding restoration matrix generated in step S413 (in other words, non-restoration). Restore (generate) the restored image (so as not to restore the area).
  • step S415 the image processing device 402 uses the image processing device for the restored image (in other words, the restored image restored so as not to restore the non-restored area) generated in step S414 in which only the restored area is restored. Output to the outside of 402.
  • the restored image in other words, the restored image restored so as not to restore the non-restored area
  • the output to the outside may be performed by communication via an arbitrary communication path, or may be performed via an arbitrary storage medium (that is, information is stored in the storage medium and output). You may.
  • the image processing system 400 can control the area to be restored. Therefore, the image processing system 400 controls the disclosure / non-disclosure of an arbitrary area of the detected image, controls the protection / non-protection of information against unauthorized leakage or unauthorized use, and covers the target range such as image analysis. You can control and control the level of service provided. Further, in the transmission of the image from the image pickup device 401 to the image processing device 402, the detected image is transmitted, so that the information can be protected and the occurrence of infringement of the privacy right due to unauthorized leakage or unauthorized use of the image can be suppressed. can do.
  • step S414 may be omitted, and in step S415, the image processing device 402 may associate the detected image with the restoration matrix corresponding to the non-restoration area and output it to the outside. That is, the restored image may be restored outside the image processing device 402, and in that case, the restoration unit 105 associates the detected image with the restoration matrix corresponding to the non-restoration area without performing this restoration, and the image. Output to a restoration device that performs restoration processing outside the processing device 402. By doing so, the image processing device 402 can transmit the image to the restoration device (another device) in a state where the information is protected. Therefore, it is possible to suppress the occurrence of infringement of privacy rights due to unauthorized leakage or unauthorized use of images.
  • the restoration unit 105 may be provided in the image pickup apparatus 401.
  • the restoration matrix update unit 104 supplies the derived restoration matrix corresponding to the non-restoration region to the restoration unit 105 of the imaging device 401. That is, the restoration matrix corresponding to the non-restoration region is transmitted from the image processing device 402 to the image pickup device 401.
  • the restoration unit 105 of the image pickup apparatus 401 uses the restoration matrix corresponding to the non-restoration region supplied from the restoration matrix update unit 104 of the image processing apparatus 402, and only the restoration region is obtained from the detected image supplied from the imaging unit 101. Restore (generate) the restored image so that it restores (in other words, does not restore the non-restored area).
  • the restoration matrix update unit 104 may also be provided in the image pickup apparatus 401.
  • the area identification unit 102 supplies the restoration area information to the restoration matrix update unit 104 of the imaging device 401. That is, the restoration area information is transmitted from the image processing device 402 to the image pickup device 401.
  • the restoration matrix updating unit 104 of the image pickup apparatus 401 updates the restoration matrix supplied from the imaging unit 101 based on the restoration region information supplied from the region identification unit 102 of the image processing apparatus 402, and the non-restoration region. Generate a corresponding restore matrix.
  • the restoration unit 105 of the image pickup apparatus 401 uses the restoration matrix corresponding to the non-restoration region to restore only the restoration region from the detected image supplied from the imaging unit 101 (in other words, the non-restoration region is not restored). To restore (generate) the restored image.
  • the image processing system 400 can protect the information, and the image processing system 400 can protect the information, such as illegal leakage or unauthorized use of the image. It is possible to suppress the occurrence of infringement of privacy rights due to.
  • FIG. 32 is a diagram showing a main configuration example of another embodiment of an image processing system to which the present technology is applied. Similar to the image processing system 400 (FIG. 30), the image processing system 410 shown in FIG. 32 is a system that captures an image of a subject and restores a restored image from the obtained detected image, and has a restored area (restored area) with respect to the detected image. You can set the non-restored area) and restore the restored image so that the non-restored area is not restored.
  • the image processing system 410 includes an image pickup device 411, an image processing device 412, and a restoration device 413. Similar to the image pickup device 401, the image pickup apparatus 411 can image a subject, generate a detection image, and output the detection image and the restoration matrix corresponding to the detection image.
  • the image processing device 412 acquires a detected image supplied from the outside and a restoration matrix corresponding to the detected image, sets a restoration area (or a non-restoration area) for the detected image, and indicates restoration area information indicating the restoration area. (Or non-restored area information indicating the non-restored area) can be generated. Further, the image processing device 412 updates the acquired restoration matrix based on the restoration area information, and restores only the restoration area (or restores the non-restoration area so as not to restore it). A restore matrix corresponding to the restore area can be generated and output.
  • the restoration device 413 acquires the restoration matrix corresponding to the non-restoration region and the detected image supplied from the outside, and uses the restoration matrix corresponding to the non-restoration region to restore only the restoration region from the detected image (or non-restoration image). It is possible to generate and output a restored image) that has been restored so that the restored area is not restored.
  • the imaging device 411 has an imaging unit 101.
  • the image processing device 412 has an area specifying unit 102 to a restoration matrix updating unit 104.
  • the restoration device 413 has a restoration unit 105.
  • Each processing unit performs the same processing as in the case of the image pickup apparatus 100. That is, each processing unit of the image pickup apparatus 411, the image processing apparatus 412, and the restoration apparatus 413 performs processing according to the flow chart shown in FIG. 33, for example.
  • step S421 the image pickup unit 101 of the image pickup device 411 images the subject using the image pickup device 121 and generates a detection image.
  • step S422 the image pickup apparatus 411 supplies the detected image and the restoration matrix (total restoration matrix) corresponding to the detected image to the image processing apparatus 412.
  • step S431 the image processing apparatus 412 acquires the supplied detection image and the restoration matrix.
  • step S423 the image pickup device 411 supplies the detected image to the restoration device 413.
  • step S441 the restoration device 413 acquires the supplied detection image. Information can be exchanged between the devices by any method as in the case of the image processing system 400.
  • step S432 the area specifying unit 102 of the image processing device 412 identifies the restored area (or non-restored area) from the detected image acquired in step S431 based on the learning data read from the learning data storage unit 103. Generates restored area information (or non-restored area information indicating a non-restored area) indicating the restored area.
  • step S433 the restoration matrix update unit 104 updates the restoration matrix acquired in step S431 based on the restoration area information (or non-restoration area information), and generates a restoration matrix corresponding to the non-restoration area.
  • step S434 the image processing device 412 supplies the restoration matrix corresponding to the non-restoration area to the restoration device 413.
  • step S442 the restoration device 413 acquires the supplied non-restoration region corresponding restoration matrix.
  • step S443 the restoration unit 105 of the restoration device 413 restores only the restoration area from the detection image acquired in step S441 by using the restoration matrix corresponding to the non-restoration area acquired in step S442 (in other words). To restore (generate) the restored image (so as not to restore the non-restored area).
  • step S444 the restoration device 413 transfers the restoration image (in other words, the restoration image restored so as not to restore the non-restoration area) generated in step S443, in which only the restoration area is restored, to the restoration device 413. Output to the outside.
  • the restoration image in other words, the restoration image restored so as not to restore the non-restoration area
  • the output to the outside may be performed by communication via an arbitrary communication path, or may be performed via an arbitrary storage medium (that is, information is stored in the storage medium and output). You may.
  • the restoration device 413 can output the image in a state where the information is protected for the desired area of the image. As a result, it is possible to suppress the occurrence of infringement of privacy rights due to unauthorized leakage or unauthorized use of images. Further, by executing each process in this way, the image processing system 410 can control the area to be restored. Therefore, the image processing system 410 controls the disclosure / non-disclosure of an arbitrary area of the detected image, controls the protection / non-protection of information against unauthorized leakage or unauthorized use, and covers the target range such as image analysis. You can control and control the level of service provided.
  • the image is transmitted from the image pickup device 411 to the restoration device 413 as a detected image, this transmission can be performed in a state where the information is protected, and the privacy right is infringed due to unauthorized leakage or unauthorized use of the image. Occurrence can be suppressed.
  • the restoration matrix corresponding to the detected image is transmitted from the image pickup apparatus 401 to the restoration apparatus 413 by a route different from that of the detected image (via the image processing apparatus 412). Therefore, unauthorized leakage of information can be further suppressed.
  • step S443 may be omitted, and in step S444, the restoration device 413 may associate the detected image with the restoration matrix corresponding to the non-restoration area and output it to the outside. That is, the restored image may be restored outside the restoration device 413.
  • the restoration unit 105 associates the detected image with the restoration matrix corresponding to the non-restoration area without performing this restoration, and the restoration device 105. It is output to another restoration device that performs restoration processing outside the 413. By doing so, the restoration device 413 can transmit the image to another restoration device in a state where the information is protected. Therefore, it is possible to suppress the occurrence of infringement of privacy rights due to unauthorized leakage or unauthorized use of images.
  • the detected image is supplied from the image pickup device 411 to the restoration device 413, but the detected image may be supplied via the image processing device 412. That is, the image processing device 412 may supply the detection image supplied from the image pickup device 411 and the restoration matrix corresponding to the non-restoration region generated for the detection image to the restoration device 413. Even in that case, since the image is transmitted as a detection image from the image pickup device 411 to the restoration device 413, unauthorized leakage of information can be further suppressed.
  • FIG. 34 is a diagram showing a main configuration example of another embodiment of the image processing system to which the present technology is applied. Similar to the image processing system 410 (FIG. 32), the image processing system 420 shown in FIG. 34 is a system that captures an image of a subject and restores a restored image from the obtained detected image, and has a restored area (restored area) with respect to the detected image. You can set the non-restored area) and restore the restored image so that the non-restored area is not restored.
  • the image processing system 420 includes an image pickup device 421, an image processing device 422, and a restoration device 423.
  • the image pickup apparatus 421 can capture a subject, generate a detection image, and output the detection image and a restoration matrix corresponding to the detection image.
  • the image processing device 422 acquires a detected image supplied from the outside and a restoration matrix corresponding to the detected image, sets a restoration area (or a non-restoration area) for the detected image, and indicates restoration area information indicating the restoration area. (Or non-restored area information indicating the non-restored area) can be generated and output.
  • the restoration device 423 acquires the restoration matrix corresponding to the non-restoration area and the detected image supplied from the outside, updates the acquired restoration matrix based on the restoration area information, and restores only the restoration area (or is not). It is possible to generate a restoration matrix corresponding to the non-restoration area used when (restoring the restoration area so as not to restore it). Further, the restoration device 423 uses the restoration matrix corresponding to the non-restoration area to generate a restoration image (or a restoration image restored so as not to restore the non-restoration area) from the acquired detection image. And can be output.
  • the image pickup device 421 has an image pickup unit 101.
  • the image processing device 422 has an area specifying unit 102 and a learning data storage unit 103.
  • the restoration device 423 has a restoration matrix update unit 104 and a restoration unit 105.
  • Each processing unit performs the same processing as in the case of the image pickup apparatus 100. That is, each processing unit of the image pickup apparatus 421, the image processing apparatus 422, and the restoration apparatus 423 performs processing according to the flow chart shown in FIG. 35, for example.
  • step S451 the image pickup unit 101 of the image pickup device 421 images the subject using the image pickup device 121 and generates a detection image.
  • step S452 the image pickup device 421 supplies the detected image to the image processing device 422.
  • step S461 the image processing device 422 acquires the supplied detected image. Information can be exchanged between the devices by any method as in the case of the image processing system 400.
  • step S453 the image pickup apparatus 421 supplies the detected image and the restoration matrix (total restoration matrix) corresponding to the detected image to the restoration apparatus 423.
  • step S471 the restoration device 423 acquires the supplied detection image and restoration matrix.
  • step S462 the area specifying unit 102 of the image processing device 422 identifies the restored area (or non-restored area) from the detected image acquired in step S461 based on the learning data read from the learning data storage unit 103. Generates restored area information (or non-restored area information indicating a non-restored area) indicating the restored area.
  • step S463 the image processing device 422 supplies the restoration area information (or non-restoration area information) to the restoration device 423.
  • step S472 the restoration device 423 acquires the supplied restoration area information (or non-restoration area information).
  • step S473 the restoration matrix update unit 104 of the restoration device 423 updates the restoration matrix acquired in step S471 based on the restoration area information (or non-restoration area information) acquired in step S472, and the non-restoration area. Generate a corresponding restoration matrix.
  • step S474 the restoration unit 105 restores only the restoration area from the detected image acquired in step S471 using the restoration matrix corresponding to the non-restoration area (in other words, does not restore the non-restoration area). To), restore (generate) the restored image.
  • step S475 the restoration device 423 transfers the restoration image (in other words, the restoration image restored so as not to restore the non-restoration area) generated in step S474 in which only the restoration area is restored. Output to the outside.
  • the output to the outside may be performed by communication via an arbitrary communication path, or may be performed via an arbitrary storage medium (that is, information is stored in the storage medium and output). You may.
  • the restoration device 423 can output the image in a state where the information is protected for the desired area of the image. As a result, it is possible to suppress the occurrence of infringement of privacy rights due to unauthorized leakage or unauthorized use of images. Further, by executing each process in this way, the image processing system 420 can control the area to be restored. Therefore, the image processing system 420 controls the disclosure / non-disclosure of an arbitrary area of the detected image, controls the protection / non-protection of information against unauthorized leakage or unauthorized use, and covers the target range such as image analysis. You can control and control the level of service provided.
  • the image is transmitted from the image pickup device 421 to the restoration device 423 as a detected image, this transmission can be performed in a state where the information is protected, and the privacy right is infringed due to unauthorized leakage or unauthorized use of the image. Occurrence can be suppressed. Further, in this case, since the restoration matrix is updated in the restoration device 423, the load on the image processing device 422 can be reduced as compared with the case of FIG. 32.
  • step S474 may be omitted, and in step S475, the restoration device 423 may associate the detected image with the restoration matrix corresponding to the non-restoration area and output it to the outside. That is, the restoration of the restored image may be performed outside the restoration device 423.
  • the restoration unit 105 associates the detected image with the restoration matrix corresponding to the non-restoration area without performing this restoration, and the restoration device 105. It is output to another restoration device that performs restoration processing outside the 423.
  • the restoration device 423 can transmit the image to another restoration device in a state where the information is protected. Therefore, it is possible to suppress the occurrence of infringement of privacy rights due to unauthorized leakage or unauthorized use of images.
  • the detected image is supplied from the image pickup device 421 to the restoration device 423, but the detection image may be supplied to the restoration device 423 via the image processing device 422. .. That is, even if the image processing device 422 supplies the detected image supplied from the image pickup device 421 and the restored area information (or non-restored area information) generated for the detected image to the restored device 423. good.
  • the restoration matrix may be supplied to the restoration device 423 via the image processing device 422. That is, even if the image processing device 422 supplies the restoration matrix supplied from the image pickup apparatus 421 and the restoration area information (or non-restoration area information) generated for the restoration matrix to the restoration device 423. good.
  • the detected image and the restored image may be supplied to the restoration device 423 via the image processing device 422.
  • FIG. 36 is a diagram showing a main configuration example of another embodiment of an image processing system to which the present technology is applied. Similar to the image processing system 420 (FIG. 34), the image processing system 430 shown in FIG. 36 is a system that captures an image of a subject and restores a restored image from the obtained detected image, and has a restored area (recovered area) with respect to the detected image. You can set the non-restored area) and restore the restored image so that the non-restored area is not restored.
  • the image processing system 430 includes an image pickup device 431 and a restoration device 432.
  • the image pickup apparatus 431 can capture a subject, generate a detection image, and output the detection image and a restoration matrix corresponding to the detection image. Further, the imaging device 431 sets a restored area (or non-restored area) for the detected image, generates and outputs restored area information (or non-restored area information indicating the non-restored area) indicating the restored area. Can be done.
  • the restoration device 432 can acquire the detected image supplied from the outside, the restoration matrix corresponding to the detected image, and the restoration area information. Further, the restoration device 432 is used when updating the acquired restoration matrix based on the acquired restoration area information and restoring only the restoration area (or restoring so as not to restore the non-restoration area). It is possible to generate a restoration matrix corresponding to a non-restoration area. Further, the restoration device 432 uses the restoration matrix corresponding to the non-restoration area to generate a restoration image (or a restoration image restored so as not to restore the non-restoration area) from the acquired detection image. And can be output.
  • the image pickup device 431 has an image pickup unit 101, an area identification unit 102, and a learning data storage unit 103.
  • the restoration device 432 has a restoration matrix update unit 104 and a restoration unit 105.
  • Each processing unit performs the same processing as in the case of the image pickup apparatus 100. That is, each processing unit of the image pickup apparatus 431 and the restoration apparatus 432 performs processing according to the flow chart shown in FIG. 37, for example.
  • step S481 the image pickup unit 101 of the image pickup device 431 uses the image pickup device 121 to image the subject and generate a detection image.
  • step S482 the area specifying unit 102 identifies a restored area (or non-restored area) from the detected image generated in step S481 based on the learning data read from the learning data storage unit 103, and indicates the restored area. Generates restored area information (or non-restored area information indicating a non-restored area).
  • step S483 the imaging device 431 supplies the detected image, the restoration matrix corresponding to the detected image, and the restoration area information (or non-restoration area information) to the restoration device 432.
  • step S491 the restoration device 432 acquires the supplied detection image, restoration matrix, and restoration area information (or non-restoration area information). Information can be exchanged between the devices by any method as in the case of the image processing system 400.
  • step S492 the restoration matrix update unit 104 of the restoration device 432 updates the restoration matrix acquired in step S491 based on the restoration area information (or non-restoration area information) acquired in step S491, and the non-restoration area. Generate a corresponding restoration matrix.
  • step S493 the restoration unit 105 restores only the restoration area from the detected image acquired in step S491 by using the restoration matrix corresponding to the non-restoration area (in other words, does not restore the non-restoration area). To), restore (generate) the restored image.
  • step S494 the restoration device 432 transfers the restoration image (in other words, the restoration image restored so as not to restore the non-restoration area) generated in step S493 in which only the restoration area is restored. Output to the outside.
  • the restoration image in other words, the restoration image restored so as not to restore the non-restoration area
  • the output to the outside may be performed by communication via an arbitrary communication path, or may be performed via an arbitrary storage medium (that is, information is stored in the storage medium and output). You may.
  • the restoration device 432 can output the image in a state where the information is protected for the desired area of the image. As a result, it is possible to suppress the occurrence of infringement of privacy rights due to unauthorized leakage or unauthorized use of images. Further, by executing each process in this way, the image processing system 430 can control the area to be restored. Therefore, the image processing system 430 controls the disclosure / non-disclosure of an arbitrary area of the detected image, controls the protection / non-protection of information against unauthorized leakage or unauthorized use, and covers the target range such as image analysis. You can control and control the level of service provided.
  • the image is transmitted from the image pickup device 431 to the restoration device 432 as a detected image, this transmission can be performed in a state where the information is protected, and the privacy right is infringed due to unauthorized leakage or unauthorized use of the image. Occurrence can be suppressed.
  • step S493 may be omitted, and in step S494, the restoration device 432 may associate the detected image with the restoration matrix corresponding to the non-restoration area and output it to the outside. That is, the restoration of the restored image may be performed outside the restoration device 432.
  • the restoration unit 105 associates the detected image with the restoration matrix corresponding to the non-restoration area without performing this restoration, and the restoration device 105. It is output to another restoration device that performs restoration processing outside the 432.
  • the restoration device 432 can transmit the image to another restoration device in a state where the information is protected. Therefore, it is possible to suppress the occurrence of infringement of privacy rights due to unauthorized leakage or unauthorized use of images.
  • FIG. 38 is a diagram showing a main configuration example of another embodiment of an image processing system to which the present technology is applied. Similar to the image processing system 430 (FIG. 36), the image processing system 440 shown in FIG. 38 is a system that captures an image of a subject and restores a restored image from the obtained detected image, and has a restored area (recovered area) with respect to the detected image. You can set the non-restored area) and restore the restored image so that the non-restored area is not restored.
  • the image processing system 440 has an image pickup device 441 and a restoration device 442.
  • the image pickup apparatus 441 can capture a subject, generate a detected image, and output the detected image. Further, the image pickup apparatus 441 can set a restored area (or a non-restored area) for the detected image and generate restored area information (or non-restored area information indicating the non-restored area) indicating the restored area. Further, when the imaging device 441 updates the restoration matrix corresponding to the generated detected image based on the restoration area information and restores only the restoration area (or restores the non-restoration area so as not to restore it). It is possible to generate and output a restoration matrix corresponding to the non-restoration area used.
  • the restoration device 442 can acquire the detected image and the restoration matrix corresponding to the non-restoration area supplied from the outside. Further, the restoration device 442 uses the restoration matrix corresponding to the non-restoration area to generate a restoration image in which only the restoration area is restored (or a restoration image restored so as not to restore the non-restoration area) from the detected image. Can be output.
  • the imaging device 441 has an imaging unit 101 to a restoration matrix updating unit 104.
  • the restoration device 442 has a restoration unit 105.
  • Each processing unit performs the same processing as in the case of the image pickup apparatus 100. That is, each processing unit of the image pickup apparatus 441 and the restoration apparatus 442 performs processing according to the flow chart shown in FIG. 39, for example.
  • step S501 the image pickup unit 101 of the image pickup device 441 uses the image pickup device 121 to image the subject and generate a detection image.
  • step S502 the area specifying unit 102 identifies the restored area (or non-restored area) from the detection image generated in step S501 based on the learning data read from the learning data storage unit 103, and indicates the restored area. Generates restored area information (or non-restored area information indicating a non-restored area).
  • step S503 the restoration matrix update unit 104 updates the restoration matrix corresponding to the detected image generated in step S501 based on the restoration area information (or non-restoration area information) generated in step S502, and does not restore. Generate a region-aware restoration matrix.
  • step S504 the image pickup apparatus 441 supplies the detected image and the restoration matrix corresponding to the non-restoration region to the restoration apparatus 442.
  • step S511 the restoration device 442 acquires the supplied detection image and the restoration matrix corresponding to the non-restoration region. Information can be exchanged between the devices by any method as in the case of the image processing system 400.
  • step S512 the restoration unit 105 of the restoration device 442 restores only the restoration area from the detection image acquired in step S511 using the restoration matrix corresponding to the non-restoration area acquired in step S511 (in other words). To restore (generate) the restored image (so as not to restore the non-restored area).
  • step S513 the restoration device 442 transfers the restoration image (in other words, the restoration image restored so as not to restore the non-restoration area) generated in step S512, in which only the restoration area is restored, to the restoration device 442. Output to the outside.
  • the restoration image in other words, the restoration image restored so as not to restore the non-restoration area
  • the output to the outside may be performed by communication via an arbitrary communication path, or may be performed via an arbitrary storage medium (that is, information is stored in the storage medium and output). You may.
  • the restoration device 442 can output the image in a state where the information is protected for the desired area of the image. As a result, it is possible to suppress the occurrence of infringement of privacy rights due to unauthorized leakage or unauthorized use of images. Further, by executing each process in this way, the image processing system 440 can control the area to be restored. Therefore, the image processing system 440 controls the disclosure / non-disclosure of an arbitrary area of the detected image, controls the protection / non-protection of information against unauthorized leakage or unauthorized use, and covers the target range such as image analysis. You can control and control the level of service provided.
  • the image is transmitted from the image pickup device 441 to the restoration device 442 as a detected image, this transmission can be performed in a state where the information is protected, and the privacy right is infringed due to unauthorized leakage or unauthorized use of the image. Occurrence can be suppressed.
  • step S512 may be omitted, and in step S513, the restoration device 442 may associate the detection image acquired in step S511 with the restoration matrix corresponding to the non-restoration area and output it to the outside. That is, the restoration of the restored image may be performed outside the restoration device 442.
  • the restoration unit 105 associates the detected image with the restoration matrix corresponding to the non-restoration area without performing this restoration, and the restoration device 105. It is output to another restoration device that performs restoration processing outside the 442.
  • the restoration device 442 can transmit the image to another restoration device in a state where the information is protected. Therefore, it is possible to suppress the occurrence of infringement of privacy rights due to unauthorized leakage or unauthorized use of images.
  • ⁇ In-vehicle device / system> In recent years, devices and systems have been developed in which a camera is installed in a vehicle, an image captured by the camera is analyzed, and warnings, alerts, guidances, etc. are appropriately issued based on the analysis results. In addition, based on the analysis results, devices and systems for controlling operations such as accelerators, brakes, and steering wheels (operations related to vehicle driving) have also been developed. Further, so-called drive recorders and the like that store captured images as records have also been developed. The present technology may be applied to an in-vehicle device, an in-vehicle system, or the like mounted on such a vehicle.
  • the in-vehicle device (or in-vehicle system) may generate a detected image instead of the above-mentioned captured image, and a restored area (or non-restored area) may be set for the detected image. do it.
  • a restored area or a non-restored area may be set according to the traveling speed of the vehicle in which the in-vehicle device (or in-vehicle system) is installed.
  • the back side far, wide angle
  • the front side near, wide angle
  • Narrow angle may be set as the restoration area.
  • the front side near, narrow angle
  • the back side far, wide angle
  • a restored area (or a non-restored area) may be set according to the subject.
  • a partial area including an obstacle that enters the angle of view at a speed higher than a predetermined threshold value or an obstacle that enters in a predetermined predetermined direction can be set as a restoration area or a non-restoration area. You may set it.
  • the partial area including the child is set as the restoration area, but the ball may not be included in the restoration area.
  • road signs and the like may be included in the restoration area.
  • the in-vehicle device (or in-vehicle system) restores the restored image from the detected image and restores only the desired area so that only the restored area is restored (not the non-restored area). (Or not to restore the desired area). That is, the area to be restored can be controlled.
  • an area including a person's face, a license plate, a windshield, etc. may be set as a restored area or a non-restored area.
  • the non-restored area may be restored depending on the intended use (provided destination). For example, in order not to restore the non-restored area when providing the video to the news media, restore the restored image using the restoration matrix corresponding to the non-restored area, and restore the non-restored area when providing it to the police.
  • the restored image may be restored using the entire restoration matrix. That is, for example, the news media is provided with a restored image in which only the restored area is restored (or the restored image restored so as not to restore the non-restored area), and the police are provided with the entire (restored area and non-restored area).
  • the restored image obtained by restoring the restored area) may be provided.
  • the detected image and the restoration matrix corresponding to the non-restoration area are supplied to the news media, and the restoration image in which only the restoration area is restored (or the restoration image restored so as not to restore the non-restoration area) in the news media. May be restored.
  • the police are supplied with the detected image and the restoration matrix (total restoration matrix) corresponding to the detected image, and the police restores the restored image obtained by restoring the entire (restored area and non-restored area). You may do so.
  • the present technology may be applied to a portable information processing terminal device having an imaging function, such as a so-called smartphone, tablet terminal, notebook personal computer, or the like. Further, the present technology may be applied to an imaging device such as a digital camera or a video camera. In this case, the portable information processing terminal device or the imaging device captures the subject and generates a detected image instead of the captured image, and sets a restored area (or a non-restored area) for the detected image. You just have to be able to do it.
  • the entire background may be set as a non-restored area and masked.
  • the non-restoration area may be set except for one's own face (or a plurality of faces registered in advance) so that the face is not restored. Further, it is possible to set the non-restoration area only in the area where the eyes are located so as not to restore. By doing so, it is possible to suppress the occurrence of privacy infringement due to leakage of personal information or the like.
  • the present technology may be applied to a device or system that monitors using a surveillance camera.
  • the surveillance camera captures the subject and generates a detected image instead of the captured image, and a restored area (or non-restored area) can be set for the detected image. good.
  • the entire body of the person, the face of the person, the hand of the person, etc. may be set in the non-restoration area so as not to be restored.
  • the user who inputs the personal identification number may be set in the non-restoration area so that it will not be restored.
  • a specific building, vehicle, or the like may be set as a non-restoration area so as not to be restored.
  • the non-restored area may be restored depending on the intended use. For example, in order not to restore the non-restored area when providing the video to the news media, restore the restored image using the restoration matrix corresponding to the non-restored area, and restore the non-restored area when providing it to the police. In addition, the restored image may be restored using the entire restoration matrix.
  • the present technology may be applied to an image distribution service or the like.
  • the area to be restored is controlled according to the user's authority (the restoration area is specified). ) May be done. For example, if the child of user A is set as the restoration target for the authority of user A in advance and the detection image provided to user A includes the child of user A, the server will perform the detection image together with the detection image.
  • a non-restored area-corresponding restoration matrix in which the area including the child of the user A is set as the restoration area is provided to the user A, and the restored image is restored using the non-restoring area-corresponding restoration matrix. That is, it is possible for the user A to visually recognize only the partial area including the subject (child of the user A) permitted to the user A.
  • the server when the same detection image is provided to the user B, the server provides the user B with a non-restoration area corresponding restoration matrix in which the area including the restoration target permitted to the user B is set as the restoration area. .. That is, it is possible for the user B to visually recognize only the partial area including the subject permitted for the user B.
  • the server controls the area to be restored according to (user authority) for each user. can do. That is, the server can provide services (control the service provision level) according to (user authority) for each user.
  • the non-restored region of the restored image may be processed.
  • another image may be combined with the non-restored area.
  • an appropriate sample face image may be combined with the non-restored area.
  • FIG. 40 is a diagram showing a main configuration example of an in-vehicle device, which is an embodiment of an image processing device to which the present technology is applied.
  • the in-vehicle device 500 shown in FIG. 40 captures an image of a subject, analyzes the captured image, and controls, for example, operations (operations related to vehicle driving) such as an accelerator, a brake, and a steering wheel based on the analysis result.
  • Controls operations related to vehicle equipment such as lighting of headlights, operation of direction indicators, operation of air conditioners and display devices, gives warnings, alerts, guidance, etc., and saves captured images as records. It is a device that can be used. Similar to the case of the image pickup device 100 and the like, the in-vehicle device 500 sets a restoration area (non-restoration area) for the detected image as the image to be analyzed, and displays the restored image so as not to restore the non-restoration area. It can be restored.
  • a restoration area non-restoration area
  • FIG. 40 shows the main things such as the processing unit and the data flow, and not all of them are shown in FIG. 40. That is, in the in-vehicle device 500, there may be a processing unit that is not shown as a block in FIG. 40, or there may be a processing or data flow that is not shown as an arrow or the like in FIG. 40.
  • the in-vehicle device 500 has an image pickup unit 101, a restoration unit 105, and the like, as in the case of the image pickup device 100.
  • These processing units perform basically the same processing as in the case of the image pickup apparatus 100.
  • the in-vehicle device 500 has a sensor unit 511.
  • the sensor unit 511 is a detection unit that has an arbitrary sensor and can detect arbitrary information about the subject and the periphery of the imaging unit 101 (that is, the vehicle and at least one of the periphery of the vehicle).
  • the sensor unit 511 can have sensors such as a distance measuring sensor, a temperature sensor, and an acceleration sensor. Of course, it may have a sensor other than these.
  • the sensor unit 511 may have a sensor that detects the operation condition of the accelerator, brake, handle, and the like. Further, the sensor unit 511 may have a sensor for detecting the operation condition for other equipment.
  • the sensor unit 511 may have a sensor such as an acoustic sensor or an impact sensor that detects a vehicle collision or the like.
  • the number of sensors is arbitrary and may be singular or plural. Further, the number of information detected by the sensor unit 511 is also arbitrary.
  • the sensor unit 511 may have a plurality of types of sensors and detect a plurality of types of information. The sensor unit 511 can supply the detected information as sensor information to the area identification unit 102.
  • the area specifying unit 102 sets the restored area (or non-restored area) for the detected image and generates the restored area information (or non-restored area information). At that time, the area specifying unit 102 can set a restored area (non-restored area) based on the learning data and the sensor information.
  • the area specifying unit 102 determines whether or not the subject is a person based on the sensor information (temperature distribution) detected by the temperature sensor, and the restored area (non-restored area) based on the determination result. May be set. Further, the area specifying unit 102 may set a restored area (non-restored area) according to the sensor information (for example, vehicle speed) detected by the acceleration sensor. Further, the area specifying unit 102 may set a restored area (non-restored area) according to the sensor information (for example, the distance to another vehicle or an obstacle) detected by the distance measuring sensor.
  • the area specifying unit 102 detects a sudden operation of the accelerator, brake, steering wheel, etc. based on the operation condition of the accelerator, brake, steering wheel, etc. detected by the sensor unit 511, and the restoration area is restored according to the detection result. (Non-restored area) may be set. Further, the region specifying unit 102 may set the restored region (non-restored region) based on the sound or impact detected by the sensor unit 511.
  • the restored area (non-restored area) can be set arbitrarily, or a predetermined option prepared in advance may be selected according to the conditions (switching the setting). For example, if it is determined that there is a high possibility of collision with another vehicle based on the sensor information of the distance measuring sensor, the restoration area may be switched.
  • the area specifying unit 102 can set the restored area (or non-restored area) more accurately.
  • the in-vehicle device 500 includes an analysis unit 512, a control unit 513, a bus 520, an input unit 521, a display unit 522, a storage unit 523, a storage medium 524, and a communication unit 525. Since the display unit 522 to the communication unit 525 can perform processing related to information output, it is also referred to as an output unit 530.
  • the analysis unit 512 can acquire the restored image (restored image in which only the restored area is restored) supplied from the restored unit 105 via the bus 520.
  • the analysis unit 512 analyzes the restored image in which only the restored area is restored, for example, identifies other vehicles, people, obstacles, etc., specifies the speed, posture, etc. of the vehicle, temperature, brightness, etc. , It is possible to identify the situation around the vehicle.
  • the analysis unit 512 may supply the analysis result to the control unit 513 via the bus 520.
  • the control unit 513 can acquire the analysis result supplied from the analysis unit 512 via the bus 520. Based on the analysis result, the control unit 513 controls, for example, operations of the accelerator, brake, steering wheel, etc. (operations related to vehicle driving), turns on the headlights, operates the direction indicator, and sets the air adjustment device and display device. It is possible to control operations related to vehicle equipment such as the operation of the steering wheel, give warnings, alerts, guidance, etc., and save captured images as records.
  • the input unit 521 has an arbitrary input device such as a keyboard, a mouse, a microphone, a touch panel, and an input terminal, and supplies information input by an operation of a user or the like or from another device via the input device. It is possible to accept the information and the like.
  • the input unit 521 can appropriately supply the received information to another processing unit (arbitrary processing unit) via the bus 520.
  • the restored image (restored image in which only the restored area is restored) output from the restored unit 105 can be supplied to the display unit 522, the storage unit 523, or the communication unit 525 via the bus 520.
  • the display unit 522 has, for example, a monitor capable of displaying an image, which is composed of a liquid crystal panel, an organic EL (Electro Luminescence) panel, or the like.
  • the display unit 522 can display, for example, the restored image supplied from the restoration unit 105.
  • the display unit 522 can display, for example, a GUI (Graphical User Interface) such as a menu, setting information of the in-vehicle device 500, and the like.
  • the display unit 522 can display the restored image stored in the storage medium 524.
  • the display unit 522 can display a thumbnail image of the restored image stored in the storage medium 524.
  • the storage unit 523 controls the storage of the storage medium 524 made of, for example, a semiconductor memory or the like.
  • the storage medium 524 may be a removable storage medium or a storage medium built in the in-vehicle device 500.
  • the storage unit 523 can store the restored image supplied via the bus 520 in the storage medium 524.
  • the storage unit 523 can store the detected images and the restoration matrix corresponding to the non-restoration region, which are supplied via the bus 520, in the storage medium 524.
  • the storage unit 523 can read the data stored in the storage medium 524 and supply the data to other processing units (for example, display unit 522, communication unit 525, etc.) via the bus 520.
  • the storage unit 523 can read the restored image (or its thumbnail image) from the storage medium, supply it to the display unit 522 via the bus 520, and display it.
  • the storage unit 523 may read the restored image or the detected image and the restoration matrix corresponding to the non-restoration area from the storage medium, supply the restoration image to the communication unit 525 via the bus 520, and transmit the restoration image to another device. can.
  • the communication unit 525 communicates with a server on the Internet, another device on a wired or wireless LAN, another external device, or the like by an arbitrary communication method.
  • the communication unit 525 communicates the restored image supplied from the restoration unit 105, the storage unit 523, or the like via the bus 520, or the detected image and the restoration matrix corresponding to the non-restoration area with the communication partner (external device).
  • the communication unit 525 can transmit the data by a streaming method or an upload method.
  • the area specifying unit 102 can control the area to be restored by specifying the restored area (non-restored area). Therefore, by having the above-described configuration, the in-vehicle device 500 can restore the restored image so as not to restore an arbitrary area, as in the case of the imaging device 100.
  • the in-vehicle device 500 can be used in, for example, in image analysis, image storage, etc. ⁇ 4.
  • the above-mentioned effects can be obtained in the usage example>.
  • each processing unit may be configured by a logic circuit that realizes the above-mentioned processing.
  • each processing unit may have, for example, a CPU, ROM, RAM, etc., and execute a program using them to realize the above-mentioned processing.
  • each processing unit may have both configurations, and a part of the above-mentioned processing may be realized by a logic circuit, and the other may be realized by executing a program.
  • the configurations of the respective processing units may be independent of each other. For example, some processing units realize a part of the above-mentioned processing by a logic circuit, and some other processing units execute a program.
  • the above-mentioned processing may be realized by the other processing unit by both the logic circuit and the execution of the program.
  • the image pickup unit 101 of the in-vehicle device 500 takes an image of the subject using the image pickup device 121 in step S551 and generates a detection image.
  • step S552 the sensor unit 511 performs sensing, detects predetermined information about the subject and the periphery of the imaging unit 101, and generates sensor information.
  • step S553 the area specifying unit 102 restores (or is not restored) from the detected image generated in step S551 based on the learning data read from the learning data storage unit 103 and the sensor information obtained in step S552.
  • the area is specified, and the restored area information (or the non-restored area information indicating the non-restored area) indicating the restored area is generated.
  • step S554 the restoration matrix update unit 104 updates the restoration matrix corresponding to the entire detected image based on the restoration area information (or non-restoration area information) generated in step S553, and sets the restoration matrix corresponding to the non-restoration area. Generate.
  • step S555 the restoration unit 105 restores the restored image from the detected image generated in step S551 by using the restoration matrix corresponding to the non-restoration area generated in step S554 so as not to restore the non-restoration area.
  • step S556 the output unit 530 outputs a restored image in which only the restored area is restored in step S555.
  • the display unit 522 displays the restored image.
  • the storage unit 523 stores the data of the restored image in the storage medium 524.
  • the communication unit 525 transmits the data of the restored image to another device.
  • step S555 Even if the process of step S555 is omitted and the output unit 530 outputs the detection image generated in step S551 and the non-restoration region corresponding restoration matrix generated in step S554 in step S556 in association with each other. good.
  • the storage unit 523 may store the detected image and the data of the restoration matrix corresponding to the non-restoration area in the storage medium 524.
  • the communication unit 525 may transmit the detected image and the data of the restoration matrix corresponding to the non-restoration region to another device.
  • step S556 When the process of step S556 is completed, the restored image generation process is completed.
  • the area specifying unit 102 can control the area to be restored by specifying the restored area (non-restored area). Therefore, by executing each process as described above, the in-vehicle device 500 can restore the restored image so as not to restore an arbitrary area. As a result, the in-vehicle device 500 can be changed to, for example, ⁇ 4. The above-mentioned effects can be obtained in the usage example>.
  • the image pickup device 121 has a plurality of pixel output units, and among the plurality of pixel output units, at least two pixel output units are incident from the subject.
  • the characteristics with respect to the incident angle of light need only be different from each other, and the configuration is arbitrary.
  • a random black-and-white pattern mask or optical interference mask may be used as the modulation element to modulate the light incident on the imaging surface of the imaging element 121 according to the black-and-white pattern or light interference.
  • FIG. 42 shows another configuration of the image sensor.
  • the mask 823 is fixed to the image sensor 822 so as to have a predetermined interval with respect to the image sensor IP of the image sensor 822, and the light from the subject surface OP is modulated by the mask 823 and then the image sensor. It is configured to be incident on the image pickup surface IP of 822.
  • FIG. 43 shows the case where a black and white pattern mask is used.
  • FIG. 43A illustrates a black and white pattern mask.
  • the black-and-white pattern mask 823BW has a configuration in which a white pattern portion that transmits light and a black pattern portion that blocks light are randomly arranged, and the pattern size is set independently of the pixel size of the image sensor 822.
  • FIG. 43B schematically shows the irradiation state of the imaging surface IP with respect to the light emitted from the point light source PA and the light emitted from the point light source PB. Further, in FIG.
  • an example of the response of the image sensor when the black-and-white pattern mask 823BW is used is also schematically shown for each of the light emitted from the point light source PA and the light emitted from the point light source PB.
  • the light from the subject surface OP is modulated by the black-and-white pattern mask 823BW and then incidents on the image pickup surface IP of the image pickup device 822. Therefore, the response of the image sensor corresponding to the light emitted from the point light source PA of the subject surface OP is Sbwa. Further, the response of the image sensor corresponding to the light emitted from the point light source PB of the subject surface OP is Sbwb. Therefore, the pixel output information output from the image sensor 822 is information obtained by synthesizing the responses of each point light source for each pixel output unit.
  • FIG. 44 shows the case where an optical interference mask is used.
  • the light emitted from the point light sources PA and PB of the subject surface OP is applied to the imaging surface IP of the imaging element 822 via the optical interference mask 823LF.
  • the light incident surface of the optical interference mask 823LF is provided with irregularities of about wavelength as shown in FIG. 44B.
  • the optical interference mask 823LF maximizes the transmission of light of a specific wavelength irradiated from the vertical direction.
  • the optical path length changes as the change in the incident angle (inclination with respect to the vertical direction) with respect to the optical interference mask 823LF of the light of a specific wavelength emitted from the point light sources PA and PB of the subject surface OP becomes large.
  • the pixel output information output from the image pickup element 822 is information obtained by synthesizing the modulated light intensity of each point light source for each pixel output unit.
  • the mask 823 may have a configuration in which the black pattern shown in FIG. 43 is used as a ⁇ / 2 wave plate ( ⁇ is a wavelength) and a linear polarizing element is provided on the front surface and the back surface of the mask in the same polarization direction.
  • ⁇ is a wavelength
  • a linear polarizing element is provided on the front surface and the back surface of the mask in the same polarization direction.
  • the pixel output information can be generated as in the case. If, for example, far-infrared light is used as the light of a specific wavelength emitted from the point light source, pixel output information corresponding to the subject in the imaging region can be generated even if the imaging region is dark.
  • the above-mentioned image sensor 121 (FIG. 3) can be further miniaturized.
  • the image pickup device 121 has a configuration as described with reference to FIG. 5, a configuration as described with reference to FIG. 6, a configuration as described with reference to FIGS. 42 and 43, or a configuration as described with reference to FIG. It suffices to have any of the configurations as described above. That is, if the image sensor 121 has any of these configurations, the present technology can be applied to them or a device having them. That is, the image sensor 121 includes a plurality of pixel output units that receive incident light that is incident without passing through either the image pickup lens or the pinhole, and outputs at least two pixel output units of the plurality of pixel output units. Any pixel value may have a configuration for allowing the incident angle directivity with respect to the incident light from the subject to have different characteristics from each other.
  • the image sensor 121 may have a configuration as described with reference to FIG. 5 or a configuration as described with reference to FIG. That is, if the image sensor 121 has any of these configurations, the present technology can be applied to them or a device having them. That is, the plurality of pixel output units of the image sensor 121 may have a configuration in which the incident angle directivity of the output pixel value can be set independently for each pixel output unit.
  • the image sensor 121 may have a configuration as described with reference to FIG. That is, if the image sensor 121 has such a configuration, the present technology can be applied to them or a device having them. That is, the plurality of pixel output units of the image sensor 121 may have a configuration in which the incident angle directivity with respect to the incident light from the subject can be set independently for each pixel output unit.
  • the image sensor 121 may have a configuration as described with reference to FIG. That is, if the image sensor 121 has such a configuration, the present technology can be applied to the image sensor 121 or a device having the image sensor 121. That is, the plurality of pixel output units of the image sensor 121 make the PDs (Photodiodes) that contribute to the output different from each other so that the incident angle directivity of the output pixel value can be set independently for each pixel output unit. You may.
  • PDs Photodiodes
  • FIG. 45 is a block diagram showing a configuration example of computer hardware that executes the above-mentioned series of processes programmatically.
  • the CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the input / output interface 910 is also connected to the bus 904.
  • An input unit 911, an output unit 912, a storage unit 913, a communication unit 914, and a drive 915 are connected to the input / output interface 910.
  • the input unit 911 includes, for example, a keyboard, a mouse, a microphone, a touch panel, an input terminal, and the like.
  • the output unit 912 includes, for example, a display, a speaker, an output terminal, and the like.
  • the storage unit 913 includes, for example, a hard disk, a RAM disk, a non-volatile memory, or the like.
  • the communication unit 914 includes, for example, a network interface.
  • the drive 915 drives a removable recording medium 921 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 901 loads the program stored in the storage unit 913 into the RAM 903 via the input / output interface 910 and the bus 904 and executes the above-described series. Is processed.
  • the RAM 903 also appropriately stores data and the like necessary for the CPU 901 to execute various processes.
  • the program executed by the computer can be recorded and applied to, for example, a removable recording medium 921 as a package medium or the like.
  • the program can be installed in the storage unit 913 via the input / output interface 910 by mounting the removable recording medium 921 in the drive 915.
  • This program can also be provided via wired or wireless transmission media such as local area networks, the Internet, and digital satellite broadcasting. In that case, the program can be received by the communication unit 914 and installed in the storage unit 913.
  • this program can be installed in advance in ROM 902 or storage unit 913.
  • this technology can be applied to systems and devices used for providing ornamental contents and the like.
  • the present technology can be applied to systems and devices used for traffic such as traffic condition supervision and automatic driving control.
  • the present technology can be applied to systems and devices used for security purposes.
  • the present technology can be applied to a system or device used for automatic control of a machine or the like.
  • the present technology can be applied to systems and devices used for agriculture and livestock industry.
  • the present technology can also be applied to systems and devices for monitoring natural conditions such as volcanoes, forests and oceans, and wildlife. Further, for example, the present technology can be applied to systems and devices used for sports.
  • the present technology includes a device or any configuration that constitutes a system, for example, a processor as a system LSI (Large Scale Integration), a module that uses a plurality of processors, a unit that uses a plurality of modules, a unit, and other units. It can also be implemented as a set or the like with added functions (that is, a part of the configuration of the device).
  • a processor as a system LSI (Large Scale Integration)
  • a module that uses a plurality of processors
  • a unit that uses a plurality of modules a unit, and other units.
  • It can also be implemented as a set or the like with added functions (that is, a part of the configuration of the device).
  • each of the above-mentioned processing units can be realized by an arbitrary configuration.
  • it may be composed of a circuit, an LSI, a system LSI, a processor, a module, a unit, a set, a device, a device, a system, or the like.
  • a plurality of them may be combined.
  • the same type of configuration may be combined such as a plurality of circuits and a plurality of processors, or different types of configurations such as a circuit and an LSI may be combined.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
  • the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
  • the configurations described above as a plurality of devices (or processing units) may be collectively configured as one device (or processing unit).
  • a configuration other than the above may be added to the configuration of each device (or each processing unit).
  • a part of the configuration of one device (or processing unit) may be included in the configuration of another device (or other processing unit). ..
  • this technology can have a cloud computing configuration in which one function is shared and jointly processed by a plurality of devices via a network. For example, applying it to a cloud service that provides services related to captured images (moving images) to arbitrary terminals such as computers, AV (AudioVisual) devices, portable information processing terminals, and IoT (Internet of Things) devices. You can also.
  • AV AudioVisual
  • IoT Internet of Things
  • the above-mentioned program can be executed in any device.
  • the device may have necessary functions (functional blocks, etc.) so that necessary information can be obtained.
  • each step described in the above flowchart can be executed by one device or can be shared and executed by a plurality of devices.
  • the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
  • a plurality of processes included in one step can be executed as processes of a plurality of steps.
  • the processes described as a plurality of steps can be collectively executed as one step.
  • the program executed by the computer may be such that the processing of the steps for writing the program is executed in chronological order in the order described in the present specification, in parallel, when the calls are made, and the like. It may be executed individually at the required timing of. That is, as long as there is no contradiction, the processing of each step may be executed in an order different from the above-mentioned order. Further, the processing of the step for writing this program may be executed in parallel with the processing of another program, or may be executed in combination with the processing of another program.
  • the present technology can also have the following configurations.
  • (1) The incident light from the subject is provided with a plurality of pixels that receive incident light that is incident without passing through either the image pickup lens or the pinhole, and the output pixel values of at least two of the plurality of pixels are the output pixel values.
  • the region for specifying the restored region for restoring the restored image using the restoration matrix is provided with a specific part.
  • the image processing apparatus wherein the restored area is a partial area of the detected image corresponding to a region including a pre-registered portion of the subject or a region other than the pre-registered portion of the subject in the restored image. .. (4) The image processing apparatus according to (3), wherein the restored area is a partial area of the detected image corresponding to a region including a person's face or a region other than the human face in the restored image. (5) The restored area is described in any one of (2) to (4), which is a partial area of the detected image corresponding to an area including a person registered in advance in the restored image or an area other than that. Image processing equipment.
  • the restored region is any of (1) to (5), which is a partial region of the detected image corresponding to the region including the subject satisfying the condition registered in advance in the restored image or the region other than that.
  • a learning result storage unit for storing the learning result using the detected image and the information of the restored region corresponding to the detected image as teacher data is further provided.
  • (9) Further includes a partial restoration matrix setting unit for setting a partial restoration matrix used to restore only the restoration image of the restoration region specified by the region identification unit from the detection image (1) to (8).
  • the image processing apparatus according to any one of. (10)
  • the partial restoration matrix setting unit sets the coefficient not corresponding to the restoration region to a pre-registered value among the coefficients of the total restoration matrix which is the restoration matrix corresponding to the entire detected image.
  • (11) The partial restoration matrix setting unit sets the partial restoration matrix by deleting the coefficients not corresponding to the restoration region among the coefficients of the total restoration matrix which is the restoration matrix corresponding to the entire detected image.
  • the image processing apparatus according to (9) or (10).
  • Any one of (9) to (11) further includes a restoration unit that restores a restoration image of the restoration area from the detection image by using the partial restoration matrix set by the partial restoration matrix setting unit.
  • the plurality of pixel output units can independently set the incident angle directivity of the output pixel value for each pixel output unit by making PDs (Photodiodes) that contribute to the output different from each other (16).
  • the image processing apparatus according to any one of 13) to (15).
  • a detection unit that detects information on the vehicle and at least one of the surroundings of the vehicle.
  • the area specifying unit specifies the restored area according to the speed of the vehicle detected by the detecting unit.
  • the region specifying unit specifies a partial region including an obstacle that enters the angle of view detected by the detecting unit at a speed higher than the threshold value or an obstacle that enters in a predetermined direction as the restored region.
  • the image processing apparatus according to (17).
  • (20) The image processing apparatus according to any one of (1) to (19), wherein the area specifying unit specifies the restored area according to the destination of the restored image.
  • (21) The image processing device according to any one of (1) to (20), wherein the area specifying unit specifies the restored area according to the user's authority.
  • a plurality of pixel output units that receive incident light that is incident without passing through an image sensor or a pinhole are provided, and at least two of the plurality of pixel output units have output pixel values of the pixel output unit.
  • the restoration region for restoring the restored image of the detected image obtained in the image sensor having a configuration for making the incident angle directivity with respect to the incident light from the subject different from each other is specified by using the restoration matrix.
  • Image processing method to be performed. (23) Computer It is provided with a plurality of pixel output units that receive incident light that is incident without passing through either an image pickup lens or a pinhole, and at least two of the plurality of pixel output units have output pixel values of the pixel output units from the subject.
  • the image pickup device It is provided with a plurality of pixel output units that receive incident light incident light without passing through either an image pickup lens or a pinhole, and at least two of the plurality of pixel output units have output pixel values of the pixel output units from the subject.
  • the image sensor is provided with a configuration for making the incident angle directivity with respect to the incident light different from each other.
  • the image processing device An image processing system including a region specifying unit for specifying a restored region for restoring a restored image using a restoration matrix of the detected image obtained by the image sensor.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Bioethics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本技術は、復元する領域を特定することができるようにする画像処理装置および方法、プログラム、並びに、画像処理システムに関する。 撮像レンズおよびピンホールのいずれも介さずに入射する入射光を受光する複数の画素を備え、その複数の画素のうちの少なくとも２つの画素の出力画素値の、被写体からの入射光に対する入射角指向性が、互いに異なる特性となるようにするための構成を有する撮像素子において得られた検出画像の領域の内の、復元行列を用いて復元画像を復元する復元領域を特定する。本開示は、例えば、画像処理装置、撮像装置、撮像素子、電子機器、システム等に適用することができる。

Description

画像処理装置および方法、プログラム、並びに、画像処理システム
　本技術は、画像処理装置および方法、プログラム、並びに、画像処理システムに関し、特に、復元する領域を特定することができるようにした画像処理装置および方法、プログラム、並びに、画像処理システムに関する。
　従来、撮像素子は、撮像素子に集光する撮像レンズと組み合わせて用いることが一般的である。撮像レンズによって、被写体面からの光を、被写体面の光強度分布を再現するように、撮像素子の各画素に導くことにより、撮像素子は、各画素においてその光強度分布に応じたレベルの検出信号を得ることができ、全体として被写体の撮像画像を得ることができる。
　しかしながら、この場合、物理的なサイズが大きくなってしまう。そこで、撮像レンズを用いない撮像素子が考えられた（例えば特許文献１参照）。このような撮像素子を適用した撮像装置は、例えば、その撮像素子において生成される検出画像に対して所定の演算を行って復元画像を復元する。
国際公開第２０１６／１２３５２９号
　しかしながら、検出画像に対して、一部の領域を復元したり復元しなかったりする等の、復元する領域を特定することはできなかった。
　本開示は、このような状況に鑑みてなされたものであり、復元する領域を特定することができるようにするものである。
　本技術の一側面の画像処理装置は、撮像レンズおよびピンホールのいずれも介さずに入射する入射光を受光する複数の画素を備え、前記複数の画素のうちの少なくとも２つの前記画素の出力画素値の、被写体からの入射光に対する入射角指向性が、互いに異なる特性となるようにするための構成を有する撮像素子において得られた検出画像の領域の内の、復元行列を用いて復元画像を復元する復元領域を特定する領域特定部を備える画像処理装置である。
　本技術の一側面の画像処理方法は、撮像レンズおよびピンホールのいずれも介さずに入射する入射光を受光する複数の画素を備え、前記複数の画素のうちの少なくとも２つの前記画素の出力画素値の、被写体からの入射光に対する入射角指向性が、互いに異なる特性となるようにするための構成を有する撮像素子において得られた検出画像の領域の内の、復元行列を用いて復元画像を復元する復元領域を特定する画像処理方法である。
　本技術の一側面のプログラムは、コンピュータを、撮像レンズおよびピンホールのいずれも介さずに入射する入射光を受光する複数の画素を備え、前記複数の画素のうちの少なくとも２つの前記画素の出力画素値の、被写体からの入射光に対する入射角指向性が、互いに異なる特性となるようにするための構成を有する撮像素子において得られた検出画像の領域の内の、復元行列を用いて復元画像を復元する復元領域を特定する領域特定部として機能させるプログラムである。
　本技術の他の側面の画像処理システムは、撮像装置と画像処理装置とを備え、前記撮像装置が、撮像レンズおよびピンホールのいずれも介さずに入射する入射光を受光する複数の画素を備え、前記複数の画素のうちの少なくとも２つの前記画素の出力画素値の、被写体からの入射光に対する入射角指向性が、互いに異なる特性となるようにするための構成を有する撮像素子を備え、前記画像処理装置が、前記撮像素子において得られた検出画像の領域の内の、復元行列を用いて復元画像を復元する復元領域を特定する領域特定部を備える画像処理システムである。
　本技術の一側面の画像処理装置および方法、並びにプログラムにおいては、撮像レンズおよびピンホールのいずれも介さずに入射する入射光を受光する複数の画素を備え、その複数の画素のうちの少なくとも２つの画素の出力画素値の、被写体からの入射光に対する入射角指向性が、互いに異なる特性となるようにするための構成を有する撮像素子において得られた検出画像の領域の内の、復元行列を用いて復元画像を復元する復元領域が特定される。
　本技術の他の側面の画像処理システムにおいては、撮像装置において、撮像レンズおよびピンホールのいずれも介さずに入射する入射光を受光する複数の画素を備え、その複数の画素のうちの少なくとも２つの画素の出力画素値の、被写体からの入射光に対する入射角指向性が、互いに異なる特性となるようにするための構成を有する撮像素子により被写体が撮像され、画像処理装置において、その撮像素子において得られた検出画像の領域の内の、復元行列を用いて復元画像を復元する復元領域が特定される。
復元領域の制御の例を説明する図である。 撮像装置の主な構成例を示すブロック図である。 撮像装置における撮像の原理を説明する図である。 従来の撮像素子と本開示の撮像素子との構成の違いを説明する図である。 撮像素子の第１の構成例を説明する図である。 撮像素子の第１の構成例を説明する図である。 入射角指向性の発生の原理を説明する図である。 オンチップレンズを利用した入射角指向性の変化を説明する図である。 入射角指向性の設計を説明する図である。 被写体距離と入射角指向性を表現する係数との関係を説明する図である。 狭画角画素と広画角画素との関係を説明する図である。 狭画角画素と広画角画素との関係を説明する図である。 狭画角画素と広画角画素との関係を説明する図である。 変形例を説明する図である。 変形例を説明する図である。 変形例を説明する図である。 変形例を応用して画角を変化させる例を説明する図である。 変形例を応用して画角を変化させるとき、複数の画角の画素を組み合わせる例を説明する図である。 変形例を説明する図である。 遮光範囲を水平方向および垂直方向のそれぞれについて規則を設けることで計算量およびメモリの容量を低減させる理由を説明する図である。 遮光範囲を水平方向および垂直方向のそれぞれについて規則を設けることで計算量およびメモリの容量を低減させる理由を説明する図である。 遮光範囲を水平方向および垂直方向のそれぞれについて規則を設けることで計算量およびメモリの容量を低減させる理由を説明する図である。 遮光範囲を水平方向および垂直方向のそれぞれについて規則を設けることで計算量およびメモリの容量を低減させる理由を説明する図である。 変形例を説明する図である。 変形例を説明する図である。 復元領域の特定について説明する図である。 復元画像の復元について説明する図である。 復元領域の復元について説明する図である。 復元画像生成処理の流れの例を説明するフローチャートである。 画像処理システムの主な構成例を示すブロック図である。 画像処理の流れの例を説明するフローチャートである。 画像処理システムの他の構成例を示すブロック図である。 画像処理の流れの他の例を説明するフローチャートである。 画像処理システムの、さらに他の構成例を示すブロック図である。 画像処理の流れの、さらに他の例を説明するフローチャートである。 画像処理システムの、さらに他の構成例を示すブロック図である。 画像処理の流れの、さらに他の例を説明するフローチャートである。 画像処理システムの、さらに他の構成例を示すブロック図である。 画像処理の流れの、さらに他の例を説明するフローチャートである。 車載装置の主な構成例を示すブロック図である。 復元画像生成処理の流れの他の例を説明するフローチャートである。 撮像素子の主な構成例を示す図である。 白黒パターンマスクを用いた場合を示す図である。 光干渉マスクを用いた場合を示す図である。 コンピュータの主な構成例を示すブロック図である。
　以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
　１．復元領域・非復元領域の特定
　２．第１の実施の形態（撮像装置）
　３．第２の実施の形態（画像処理システム）
　４．利用例
　５．第３の実施の形態（車載装置）
　６．第４の実施の形態（撮像素子・撮像装置の他の構成例）
　７．付記
　＜１．復元領域・非復元領域の特定＞
　従来、例えば特許文献１に記載のように、撮像レンズを用いない撮像素子があった。このような撮像素子を適用した撮像装置は、例えば、その撮像素子において生成される検出画像に対して所定の演算を行って復元画像を復元する。しかしながら、検出画像に対して、一部の領域を復元したり復元しなかったりする等の、復元する領域を制御することはできなかった。
　例えば、監視カメラ等を用いて公共の場等を撮像し、異常の発生を監視したり、異常が発生した場合の証拠画像として撮像画像を利用したりする防犯システムにおいて、撮像画像の不正流出や不正使用等によるプライバシー権の侵害等が発生するおそれがあった。また、例えば、街中で撮像した撮像画像に他人が映り込み、その撮像画像をSNS（Social Networking Service）等で公開したり、放送局が放送したりする場合に、肖像権の侵害等が発生するおそれがあった。
　また、撮像画像に不要な部分が存在することにより画像解析の負荷が不要に増大するおそれがあった。さらに、サービスや情報管理を目的として、撮像画像を公開するユーザの権限等に応じて、撮像画像の部分的な公開・非公開の制御（公開範囲の制御）が望まれた。
　上述の検出画像は、被写体の像が結像されていないことにより、ユーザが目視しても画像として認識することができない（つまり、被写体を視認不可能な）画像である。この検出画像を用いることにより、情報漏洩や不正利用等を抑制することができるが、ユーザが目視により被写体を視認可能な状態とするには、この検出画像から所定の復元行列を用いて復元画像を復元する必要がある。そして、上述のように復元する領域を制御することができず、検出画像全体が復元されるため、復元画像において、上述の撮像画像と同様に情報漏洩や不正利用等のおそれがあった。また、ユーザ権限等に基づく公開範囲の制御を行うことができなかった。
　例えば、撮像画像を暗号化することにより情報を保護することは可能であるが、利用時には撮像画像全体を復号する必要があり、依然として、その復号された撮像画像に対して不正流出や不正利用のおそれがあった。またこのような暗号化を用いる場合、符号化（暗号化）や復号等の処理を行う必要があり、負荷が増大するおそれがあった。
　そこで、検出画像に対して、復元画像を復元する復元領域を設定する。つまり、撮像レンズおよびピンホールのいずれも介さずに入射する入射光を受光する複数の画素を備え、その複数の画素のうちの少なくとも２つの画素の出力画素値の、被写体からの入射光に対する入射角指向性が、互いに異なる特性となるようにするための構成を有する撮像素子において得られた検出画像の領域の内の、復元行列を用いて復元画像を復元する復元領域を特定する。換言するに、検出画像に対して、復元画像を復元しない非復元領域を設定する。つまり、撮像レンズおよびピンホールのいずれも介さずに入射する入射光を受光する複数の画素を備え、その複数の画素のうちの少なくとも２つの画素の出力画素値の、被写体からの入射光に対する入射角指向性が、互いに異なる特性となるようにするための構成を有する撮像素子において得られた検出画像の領域の内の、復元行列を用いて復元画像を復元しない非復元領域を特定する。
　例えば、図１のＡに示される検出画像５１は、撮像レンズおよびピンホールのいずれも介さずに入射する入射光を受光する複数の画素を備え、その複数の画素のうちの少なくとも２つの画素の出力画素値の、被写体からの入射光に対する入射角指向性が、互いに異なる特性となるようにするための構成を有する撮像素子により被写体が撮像されて得られた、画素において得られる検出信号からなる画像である。図１のＡに示されるように、この検出画像５１は、被写体の像が結像されていないことにより、ユーザが目視しても画像として認識することができない（つまり、被写体を視認不可能な）画像である。
　この検出画像５１から、この検出画像に対応する復元行列を用いて、復元画像が復元される。図１のＢの復元画像５２は、検出画像５１から復元された復元画像の例を示す。図１のＢに示されるように、復元画像５２には、人物５３－１、人物５３－２、人物５３－３が被写体として写っている。換言するに、復元画像５２においては、人物５３－１乃至人物５３－３を被写体として視認することができる。人物５３－１乃至人物５３－３を互いに区別して説明する必要が無い場合、人物５３と称する。
　ここで、例えば復元画像５２が公開されることにより、各人物５３の顔が公開されると、肖像権侵害等のおそれがあるとする。このような場合、各人物５３の顔部分を含む非復元領域を設定し、復元画像を復元する。換言するに、その非復元領域以外を復元領域として設定し、復元画像を復元する。図１のＣに示される復元画像５４は、このようにして非復元領域を復元しないように復元した復元画像の例を示す。
　復元画像５４において、非復元領域５５－１は、人物５３－１の顔部分を含むように設定された非復元領域である。また、非復元領域５５－２は、人物５３－２の顔部分を含むように設定された非復元領域である。さらに、非復元領域５５－３は、人物５３－３の顔部分を含むように設定された非復元領域である。非復元領域５５－１乃至非復元領域５５－３を互いに区別して説明する必要が無い場合、非復元領域５５と称する。図１のＣに示されるように、復元画像５４において、これらの非復元領域５５は、復元が行われず、検出画像のままとなっている。つまり、復元画像５４は、各人物５３の顔部分が視認不可能な状態になっている。
　このようにすることにより、各人物５３の顔部分を非公開としたまま、復元画像を公開することができる。つまり、復元領域・非復元領域を設定することにより、検出画像の任意の領域について復元するか否かを制御することができる。これにより、検出画像の任意の領域について、例えば公開・非公開を制御したり、不正流出や不正使用に対する情報の保護・非保護を制御したりすることができる。また、例えば、画像解析等の対象範囲を制御したり、提供するサービスのレベルを制御したりすることができる。なお、復元領域（または非復元領域）が、検出画像の領域の全体であってもよい。つまり、検出画像の領域の全体を、復元領域とすることもできるし、非復元領域とすることもできる。
　＜２．第１の実施の形態＞
　　＜撮像装置＞
　図２は、本技術を適用した画像処理装置の一実施の形態である撮像装置の主な構成例を示す図である。図２に示される撮像装置１００は、被写体を撮像し、その撮像画像に関する電子データを得る装置である。撮像装置１００は、＜１．復元領域・非復元領域の特定＞において上述したように、検出画像に対して復元領域（非復元領域）を設定し、非復元領域を復元しないように、復元画像を復元することができる。
　なお、図２においては、処理部やデータの流れ等の主なものを示しており、図２に示されるものが全てとは限らない。つまり、撮像装置１００において、図２においてブロックとして示されていない処理部が存在したり、図２において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
　図２に示されるように、撮像装置１００は、撮像部１０１、領域特定部１０２、学習データ記憶部１０３、復元行列更新部１０４、および復元部１０５等を有する。
　撮像部１０１は、後述する撮像素子１２１を有し、検出画像の生成に関する処理を行う。例えば、撮像部１０１は、被写体を撮像して、撮像素子１２１により検出画像を生成し得る。撮像素子１２１は、撮像レンズおよびピンホールのいずれも介さずに入射する入射光を受光する複数の画素出力単位を備え、その複数の画素出力単位のうちの少なくとも２つの画素出力単位の出力画素値の、被写体からの入射光に対する入射角指向性が、互いに異なる特性となるようにするための構成を有する撮像素子である。この撮像素子１２１の詳細については、後述する。また、撮像部１０１は、生成した検出画像を領域特定部１０２および復元部１０５に供給し得る。さらに、撮像部１０１は、その検出画像に対応する、すなわち、検出画像から復元画像を生成するのに用いられる復元行列を復元行列更新部１０４に供給し得る。この復元行列は、撮像部１０１が予め記憶していてもよいし、撮像部１０１において生成されてもよい。
　なお、撮像素子１２１の画角は、３次元空間の絶対座標系において固定されていてもよいし、可変であってもよい。例えば、撮像素子１２１（または撮像部１０１）の位置および姿勢が、撮像装置１００に対して固定されていてもよいし、可変であってもよい。また、撮像装置１００が３次元空間の絶対座標系において固定されていてもよいし、可変であってもよい。
　領域特定部１０２は、復元領域（または非復元領域）の特定に関する処理を行う。例えば、領域特定部１０２は、撮像部１０１から供給される検出画像を取得し得る。また、領域特定部１０２は、学習データ記憶部１０３に記憶されている学習データを取得し得る。さらに、領域特定部１０２は、その学習データ記憶部１０３から読み出した学習データに基づいて、撮像部１０１から供給された検出画像、すなわち、撮像素子１２１において得られた検出画像について、復元領域（または非復元領域）を設定し得る。また、領域特定部１０２は、その復元領域を示す復元領域情報（または非復元領域を示す非復元領域情報）を生成し、その復元領域情報を復元行列更新部１０４に供給する。
　学習データ記憶部１０３は、学習データの記憶に関する処理を行う。例えば、学習データ記憶部１０３は、任意の記憶媒体を有し、復元領域の特定に関する学習データを記憶している。この学習データについては後述する。学習データ記憶部１０３は、例えば領域特定部１０２の要求に応じて、記憶している学習データを領域特定部１０２に供給し得る。
　復元行列更新部１０４は、復元行列の更新に関する処理を行う。例えば、復元行列更新部１０４は、領域特定部１０２から供給される復元領域情報（または非復元領域情報）を取得し得る。また、復元行列更新部１０４は、撮像部１０１から供給される復元行列を取得し得る。この復元行列は、撮像部１０１において生成される検出画像に対応する（復元画像の復元に用いられる）復元行列である。
　復元行列更新部１０４は、復元領域情報に基づいて、撮像部１０１から取得した復元行列を更新し、非復元領域を復元せずに、復元領域のみを復元するための復元行列（非復元領域対応復元行列とも称する）を生成し得る。つまり、復元行列更新部１０４は、検出画像から、特定された復元領域の復元画像のみを復元するのに用いられる部分復元行列を生成する部分復元行列生成部である。この非復元領域は、復元領域情報により示される復元領域に基づいて定まる領域であり、検出画像の、その復元領域以外の領域である。なお、領域特定部１０２より非復元領域情報が供給される場合、復元行列更新部１０４は、その非復元領域情報に基づいて、撮像部１０１から取得した復元行列を更新し、その非復元領域情報が示す非復元領域を復元せずに、復元領域のみを復元するための非復元領域対応復元行列を生成し得る。この復元領域は、非復元領域情報により示される非復元領域に基づいて定まる領域であり、検出画像の、その非復元領域以外の領域である。
　また、復元行列更新部１０４は、更新後の復元行列である非復元領域対応復元行列を、復元部１０５に供給し得る。なお、復元行列更新部１０４は、部分復元行列（非復元領域対応復元行列とも称する）の設定を行ってもよい。例えば、検出画像の左上に顔が検出されたときに左半分はすべて復元しないと予め決められており、復元行列も予め左半分だけ復元しない行列（左半分を復元しない場合の専用の行列）が予め用意されていて（例えば、復元行列更新部１０４内の記憶領域に記憶されていて）、復元行列更新部１０４が、復元領域情報に基づいて、検出画像の左上に顔が検出された場合、その非復元領域対応復元行列を適用するように設定する。つまり、復元行列更新部１０４が、非復元領域対応復元行列を生成せずに、予め用意された非復元領域対応復元行列を適用するか否かを設定するようにしてもよい。なお、予め用意された非復元領域対応復元行列を適用する場合、復元行列更新部１０４が、復元領域情報に基づいて、予め用意された複数の非復元領域対応復元行列の中からいずれかを選択し、適用するようにしてもよい。つまり、復元行列更新部１０４は、検出画像から、特定された復元領域の復元画像のみを復元するのに用いられる部分復元行列を設定する部分復元行列設定部ともいえる。
　復元部１０５は、復元画像の復元に関する処理を行う。例えば、復元部１０５は、撮像部１０１から供給される検出画像を取得し得る。また、復元部１０５は、復元行列更新部１０４から供給される非復元領域対応復元行列を取得し得る。さらに、復元部１０５は、その非復元領域対応復元行列を用いて復元画像の復元を行い得る。この処理により、検出画像から復元領域のみが復元された復元画像が生成され得る。また、復元部１０５は、生成した復元画像（検出画像から復元領域のみが復元された復元画像）を、撮像装置１００の外部に出力することができる。なお、この復元画像の復元は、撮像装置１００の外部で行ってもよい。その場合、復元部１０５は、この復元を行わずに、検出画像と非復元領域対応復元行列とを関連付けて、撮像装置１００の外部の、復元処理を行う復元装置に出力する。このようにすることにより、撮像装置１００は、情報を保護した状態で復元装置（他の装置）に画像を伝送することができる。したがって、画像の不正流出や不正使用等によるプライバシー権の侵害等の発生を抑制することができる。
　情報の外部への出力は、任意の通信路を介した通信により行われるようにしてもよいし、任意の記憶媒体を介して行われる（すなわち、情報を記憶媒体に記憶させて出力させる）ようにしてもよい。
　また、「関連付ける」という用語は、例えば、一方の情報（データ、コマンド、プログラム等）を処理する際に他方の情報を利用し得る（リンクさせ得る）ようにすることを意味する。つまり、互いに関連付けられた情報は、１つのファイル等としてまとめられてもよいし、それぞれ個別の情報としてもよい。例えば、情報Ａに関連付けられた情報Ｂは、その情報Ａとは別の伝送路上で伝送されるようにしてもよい。また、例えば、情報Ａに関連付けられた情報Ｂは、その情報Ａとは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。
　以上のように、領域特定部１０２は、復元領域（非復元領域）を特定することにより、復元する領域を制御することができる。これにより、撮像装置１００は、任意の領域を復元しないように、復元画像を復元することができる。
　なお、撮像装置１００のこれらの処理部（撮像部１０１乃至復元部１０５）は、それぞれ、任意の構成を有することができる。例えば、各処理部が、上述の処理を実現する論理回路により構成されるようにしてもよい。また、各処理部が、例えばCPU（Central Processing Unit）、ROM（Read Only Memory）、RAM（Random Access Memory）等を有し、それらを用いてプログラムを実行することにより、上述の処理を実現するようにしてもよい。もちろん、各処理部が、その両方の構成を有し、上述の処理の一部を論理回路により実現し、他を、プログラムを実行することにより実現するようにしてもよい。各処理部の構成は互いに独立していてもよく、例えば、一部の処理部が上述の処理の一部を論理回路により実現し、他の一部の処理部がプログラムを実行することにより上述の処理を実現し、さらに他の処理部が論理回路とプログラムの実行の両方により上述の処理を実現するようにしてもよい。
　　＜撮像素子について＞
　次に、撮像部１０１が有する撮像素子１２１について図３乃至図２５を参照して説明する。
　　　＜画素と画素出力単位＞
　本明細書においては、「画素」（または「画素出力単位」）という用語を用いて、本技術を説明する。本明細書において「画素」（または「画素出力単位」）とは、撮像素子１２１の入射光を受光するための物理構成が形成される領域（画素領域とも称する）の、他の画素とは独立して受光することができる物理構成を少なくとも１つ含む分割単位を指すものとする。受光することができる物理構成とは、例えば光電変換素子であり、例えばフォトダイオード（PD（Photo Diode））である。１画素に形成されるこの物理構成（例えばフォトダイオード）の数は任意であり、単数であってもよいし、複数であってもよい。その種類、大きさ、形状等も任意である。
　また、この「画素」単位の物理構成には、上述の「受光することができる物理構成」だけでなく、例えば、オンチップレンズ、遮光膜、カラーフィルタ、平坦化膜、反射防止膜等、入射光の受光に関する全ての物理構成を含む。さらに、読み出し回路等の構成も含まれる場合もある。つまり、この画素単位の物理構成はどのような構成であってもよい。
　また、「画素」（つまり画素単位の物理構成）から読み出された検出信号を「画素単位（または画素出力単位）の検出信号」等と称する場合もある。さらに、この画素単位（または画素出力単位）の検出信号は、「画素単位検出信号（または画素出力単位検出信号）」とも称する。また、この画素単位検出信号は「画素出力」とも称する。さらに、その値を「出力画素値」とも称する。
　撮像素子１２１の画素単位の検出信号の値（出力画素値）は、他と独立して被写体からの入射光の入射角指向性（入射角に対する特性）を有することができる。つまり、撮像素子１２１の各画素単位（画素出力単位）は、その出力画素値の、被写体からの入射光に対する入射角指向性を独立に設定可能な構成を有する。したがって、撮像素子１２１において、少なくとも２つの画素単位の出力画素値は、被写体からの入射光に対する入射角指向性が互いに異なる。
　なお、上述したように「画素（または画素出力単位）」が有する「受光することができる物理構成」の数は任意であるので、画素単位検出信号は、単数の「受光することができる物理構成」により得られた検出信号であってもよいし、複数の「受光することができる物理構成」により得られた検出信号であってもよい。
　また、この画素単位検出信号（出力画素値）は、任意の段階で複数をまとめて１つにすることもできる。例えば、複数の画素の出力画素値を、アナログ信号の状態において加算するようにしてもよいし、デジタル信号に変換してから加算するようにしてもよい。
　また、この検出信号は、撮像素子１２１から読み出された後、すなわち、検出画像において、複数の検出信号をまとめて単数化したり、単数の検出信号を複数化したりすることもできる。つまり、検出画像の解像度（データ数）は可変である。
　ところで、以下においては説明の便宜上、特に言及しない限り、撮像素子１２１が複数の画素が行列状に配置される（画素アレイが形成される）画素領域を有するものとして説明する。なお、撮像素子１２１の画素（または画素出力単位）の配列パターンは任意であり、この例に限定されない。例えば、画素（または画素出力単位）がハニカム構造状に配置されるようにしてもよい。また、例えば、画素（または画素出力単位）が１行（または１列）状に配置されるようにしてもよい。つまり、撮像素子１２１がラインセンサであってもよい。
　なお、撮像素子１２１（の画素）が感度を有する波長域は任意である。例えば、撮像素子１２１（の画素）が、可視光に対して感度を有するようにしてもよいし、赤外光や紫外光のような不可視光に対して感度を有するようにしてもよいし、可視光と不可視光の両方に対して感度を有するようにしてもよい。
　　　＜入射角指向性＞
　撮像素子１２１は、複数の画素出力単位を有する。そして、撮像素子１２１は、その複数の画素出力単位のうち、少なくとも２つの画素出力単位の出力画素値の、被写体からの入射光に対する入射角指向性が、互いに異なる特性となるようにするための構成を有する。つまり、撮像素子１２１は、複数画素出力単位分の検出信号（複数の画素出力単位検出信号）を得ることができ、その内の少なくとも２つの画素出力単位検出信号の、被写体からの入射光に対する入射角指向性が互いに異なる。
　ここで「入射角指向性」とは、入射光の入射角度に応じた受光感度特性、すなわち、入射光の入射角度に対する検出感度を指す。例えば、同じ光強度の入射光であってもその入射角度によって検出感度が変化する場合がある。このような検出感度の偏り（偏りがない場合も含む）を「入射角指向性」と称する。
　例えば、互いに同一の光強度の入射光が、互いに同一の入射角でその２つの画素出力単位の物理構成に入射すると、各画素出力単位の検出信号の信号レベル（検出信号レベル）は、互いに異なる値となり得る。撮像素子１２１（の各画素出力単位）は、このような特徴を持つ物理構成を有する。
　より具体的には、撮像素子１２１は、基本的な構造において、一般の、例えば、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサなどの撮像素子からなるものと同様のものであっても良いが、上述のように、少なくとも２つの画素出力単位の間で、その出力画素値の、被写体からの入射光に対する入射角指向性が互いに異なる特性となるようにするための構成を有する。この入射角指向性は、どのような方法により実現されるようにしてもよい。例えば、光電変換素子（フォトダイオード等）の手前（光入射側）に遮光膜を設ける等して入射角指向性を実現するようにしてもよい。
　一般的な入射角指向性が互いに同一の画素よりなる撮像素子のみで撮像を行うと、撮像素子の全画素に略同一の光強度の光が入射することになり、結像された被写体の画像を得ることができない。そこで、一般的には、撮像素子の前（光入射側）に撮像レンズやピンホールを設ける。例えば撮像レンズを設けることにより、被写体面からの光を撮像素子の撮像面に結像させることができる。したがって、撮像素子は、各画素においてその結像された被写体の画像に応じたレベルの検出信号を得ることができる（つまり、結像された被写体の撮像画像を得ることができる）。しかしながら、この場合、物理的にサイズが大きくなり、装置の小型化が困難になるおそれがあった。また、ピンホールを設ける場合、撮像レンズを設ける場合よりも小型化が可能になるが、撮像素子に入射する光量が低減するため、露光時間を長くする、または、ゲインを上げる等の対策が必須となり、高速な被写体の撮像においてはボケが生じ易くなる、または、自然な色表現ではなくなるおそれがあった。
　これに対して撮像素子１２１は、図３の上段左部で示されるように、各画素の検出感度が互いに異なる入射角指向性を持つ。つまり、入射光の入射角度に応じた受光感度特性が画素毎に異なるということである。ただし、全ての画素の受光感度特性が完全に異なるものである必要はなく、一部の画素に同一の受光感度特性を持つものが含まれていてもよいし、一部の画素が異なる受光感度特性を持つものであってもよい。
　被写体面１３１を構成する光源が点光源であることを前提とした場合、撮像素子１２１においては、同一の点光源より発せられた同一の光強度の光線が、全ての画素に入射されることになるが、画素毎にそれぞれ異なる入射角度で入射される。そして、撮像素子１２１の各画素は、互いに異なる入射角指向性を有しているので、その同一の光強度の光線を互いに異なる感度で検出する。つまり、画素毎に異なる信号レベルの検出信号が検出される。
　より詳細には、撮像素子１２１の各画素において受光される入射光の入射角度に応じた感度特性、すなわち、各画素における入射角度に応じた入射角指向性は、入射角度に応じた受光感度を表す係数で表現するものとし、各画素における入射光に応じた検出信号の信号レベル（検出信号レベルとも称する）は、入射光の入射角度に応じた受光感度に対応して設定される係数を乗じることで求められるものとなる。
　より具体的には、図３の上段左部で示されるように、位置Ｐａ，Ｐｂ，Ｐｃにおける検出信号レベルＤＡ，ＤＢ，ＤＣは、それぞれ以下の式（１）乃至式（３）で表される。
　ＤＡ＝α１×ａ＋β１×ｂ＋γ１×ｃ
　・・・（１）
　ＤＢ＝α２×ａ＋β２×ｂ＋γ２×ｃ
　・・・（２）
　ＤＣ＝α３×ａ＋β３×ｂ＋γ３×ｃ
　・・・（３）
　ここで、α１は、撮像素子１２１上の位置Ｐａにおける復元する被写体面１３１上の点光源ＰＡからの光線の入射角度に応じて設定される係数である。β１は、撮像素子１２１上の位置Ｐａにおける復元する被写体面１３１上の点光源ＰＢからの光線の入射角度に応じて設定される係数である。γ１は、撮像素子１２１上の位置Ｐａにおける復元する被写体面１３１上の点光源ＰＣからの光線の入射角度に応じて設定される係数である。
　式（１）に示されるように、位置Ｐａにおける検出信号レベルＤＡは、位置Ｐａにおける点光源ＰＡからの光線の光強度”ａ”と係数α１との積と、位置Ｐａにおける点光源ＰＢからの光線の光強度”ｂ”と係数β１との積と、位置Ｐａにおける点光源ＰＣからの光線の光強度”ｃ”と係数γ１との積との和（合成値）により表現される。以下において、係数αｘ、βｘ、γｘ（ｘは自然数）を合わせて係数セットと称する。
　同様に、式（２）の係数セットα２，β２，γ２は、撮像素子１２１上の位置Ｐｂにおける復元する被写体面１３１上の点光源ＰＡ，ＰＢ，ＰＣからの光線の入射角度に応じて設定される係数セットである。つまり、位置Ｐｂにおける検出信号レベルＤＢは、上述の式（２）のように、位置Ｐｂにおける点光源ＰＡからの光線の光強度”ａ”と係数α２との積と、位置Ｐｂにおける点光源ＰＢからの光線の光強度”ｂ”と係数β２との積と、位置Ｐｂにおける点光源ＰＣからの光線の光強度”ｃ”と係数γ２との積との和（合成値）により表現される。また、式（３）の係数α３，β３，γ３は、撮像素子１２１上の位置Ｐｃにおける復元する被写体面１３１上の点光源ＰＡ，ＰＢ，ＰＣからの光線の入射角度に応じて設定される係数セットである。つまり、位置Ｐｃにおける検出信号レベルＤＣは、上述の式（３）のように、位置Ｐｃにおける点光源ＰＡからの光線の光強度”ａ”と係数α３との積と、位置Ｐｃにおける点光源ＰＢからの光線の光強度”ｂ”と係数β３との積と、位置Ｐｃにおける点光源ＰＣからの光線の光強度”ｃ”と係数γ３との積との和（合成値）により表現される。
　以上のように、これらの検出信号レベルは、点光源ＰＡ，ＰＢ，ＰＣのそれぞれより発せられた光線の光強度が入り交じったものとなるので、被写体の像が結像されたものとは異なるものである。つまり、図３の上段右部で示される検出信号レベルは、被写体の像が結像された画像（撮像画像）に対応する検出信号レベルではないので、図３の下部右部に示される画素値とは異なるものである（一般的に両者は一致しない）。
　ただし、この係数セットα１，β１，γ１、係数セットα２，β２，γ２係数セットα３，β３，γ３と、検出信号レベルＤＡ，ＤＢ，ＤＣを用いた連立方程式を構成し、ａ，ｂ，ｃを変数として上述の式（１）乃至式（３）の連立方程式を解くことにより、図３の下段右部で示されるような各位置Ｐａ，Ｐｂ，Ｐｃの画素値を求めることができる。これにより画素値の集合である復元画像（被写体の像が結像された画像）が復元される。
　撮像素子１２１は、このような構成により、撮像レンズ、回折格子等からなる光学フィルタや、ピンホール等を必要とせずに、少なくとも２つの画素出力単位において互いに異なる入射角指向性を有する。結果として、撮像レンズ、回折格子等からなる光学フィルタや、ピンホール等が必須構成とならないので、撮像装置の低背化、すなわち、撮像機能を実現する構成における光の入射方向に対する厚さを薄くすることが可能になる。
　　　＜入射角指向性の形成＞
　図４の左部は、一般的な撮像素子の画素アレイ部の一部の正面図を示しており、図４の右部は、撮像素子１２１の画素アレイ部の一部の正面図を示している。尚、図４においては、画素アレイ部が水平方向×垂直方向のそれぞれの画素数が６画素×６画素の構成である場合の例を示しているが、画素数の構成は、これに限るものではない。
　入射角指向性は、例えば遮光膜により形成することができる。一般的な撮像素子１５１は、図４の左部の例のように、入射角指向性が同一の画素１５１ａがアレイ状に配置されていることが示されている。これに対して図４の右部の例の撮像素子１２１は、画素１２１ａ毎に、そのフォトダイオードの受光領域の一部であって、画素１２１ａ毎に異なる範囲に遮光膜１２１ｂが設けられており、画素１２１ａ毎に入射光の入射角度に対する受光感度が異なる（すなわち入射角指向性が互いに異なる）構成とされている。
　より具体的には、例えば、画素１２１ａ－１と画素１２１ａ－２とでは、設けられている遮光膜１２１ｂ－１と遮光膜１２１ｂ－２とにより画素を遮光する範囲が異なる（遮光する領域（位置）、および遮光する面積の少なくともいずれかが異なる）。すなわち、画素１２１ａ－１においては、フォトダイオードの受光領域における左側の一部を所定の幅だけ遮光するように遮光膜１２１ｂ－１が設けられており、画素１２１ａ－２においては、受光領域における右側の一部を、遮光膜１２１ｂ－１よりも水平方向に広い幅だけ遮光するように遮光膜１２１ｂ－２が設けられている。その他の画素１２１ａにおいても、同様に、遮光膜１２１ｂが、画素毎に受光領域における異なる範囲が遮光されるように設けられており、画素アレイ内でランダムに配置されている。
　尚、遮光膜１２１ｂの範囲は、各画素の受光領域を覆い隠す割合が大きくなるほど、受光できる光量が少ない状態となるため、所望の光量が確保できる程度の面積とすることが望ましく、遮光膜１２１ｂの面積を、例えば、最大で受光可能な範囲の全体の３／４程度までといった制限を加えて構成するようにしてもよい。このようにすることで、所望量以上の光量を確保することが可能となる。ただし、各画素について、受光する光の波長に相当する幅の遮光されていない範囲が設けられていれば、最小限の光量を受光することは可能である。すなわち、例えば、B画素（青色画素）の場合、波長は500nm程度となるが、この波長に相当する幅以上に遮光されていなければ、最小限の光量を受光することは可能である。
　　　＜撮像素子の構成例＞
　図５を参照して、この場合の撮像素子１２１の構成例について説明する。図５の上段は、撮像素子１２１の側面断面図であり、図５の中段は、撮像素子１２１の上面図である。また、図５の上段の側面断面図は、図５の中段におけるＡＢ断面となる。さらに、図５の下段は、撮像素子１２１の回路構成例である。
　図５に示される構成の撮像素子１２１は、撮像レンズ及びピンホールのいずれも介さずに入射する入射光を受光する複数の画素出力単位を備え、その複数の画素出力単位のうちの少なくとも２つの画素出力単位の出力画素値の、被写体からの入射光に対する入射角指向性が、互いに異なる特性となるようにするための構成を有する。また、この場合の撮像素子１２１は、その複数の画素出力単位が、被写体からの入射光に対する入射角指向性を画素出力単位毎に独立に設定可能な構成を有する。
　図５の上段の撮像素子１２１においては、図中の上方から下方に向けて入射光が入射する。隣接する画素１２１ａ－１５，１２１ａ－１６は、それぞれ図中の最下層に配線層Ｚ１２が設けられており、その上に光電変換層Ｚ１１が設けられている、いわゆる、裏面照射型である。
　尚、画素１２１ａ－１５，１２１ａ－１６を区別する必要がない場合、単に、画素１２１ａと称し、他の構成についても、同様に称する。また、図５においては、撮像素子１２１の画素アレイを構成する２画素分の側面図および上面図となっているが、いうまでもなく、これ以上の数の画素１２１ａが配置されているが図示が省略されている。
　さらに、画素１２１ａ－１５，１２１ａ－１６は、それぞれ光電変換層Ｚ１１にフォトダイオード１２１ｅ－１５，１２１ｅ－１６を備えている。また、フォトダイオード１２１ｅ－１５，１２１ｅ－１６の上には、それぞれ上からオンチップレンズ１２１ｃ－１５，１２１ｃ－１６、およびカラーフィルタ１２１ｄ－１５，１２１ｄ－１６が構成されている。
　オンチップレンズ１２１ｃ－１５，１２１ｃ－１６は、入射光をフォトダイオード１２１ｅ―１５，１２１ｅ―１６上に集光させる。
　カラーフィルタ１２１ｄ－１５，１２１ｄ－１６は、例えば、赤色、緑色、青色、赤外および白色等の特定の波長の光を透過させる光学フィルタである。尚、白色の場合、カラーフィルタ１２１ｄ－１５，１２１ｄ－１６は、透明のフィルタでもよいし、無くてもよい。
　画素１２１ａ－１５，１２１ａ－１６の光電変換層Ｚ１１における、それぞれ画素間の境界には、遮光膜１２１ｐ－１５乃至１２１ｐ－１７が形成されており、隣接する画素間のクロストークを抑制する。
　また、遮光膜１２１ｂ－１５，１２１ｂ－１６は、図５の上段および中段で示されるように、上面から見て一部が受光面Ｓを遮光している。画素１２１ａ－１５，１２１ａ－１６におけるフォトダイオード１２１ｅ－１５，１２１ｅ－１６の受光面Ｓにおいては、遮光膜１２１ｂ－１５，１２１ｂ－１６により、それぞれ異なる範囲が遮光されており、これにより画素ごとに異なる入射角指向性が設定されている。ただし、遮光される範囲は、撮像素子１２１の全画素１２１ａのそれぞれにおいて異なることが場合に限らず、一部で同一の範囲が遮光される画素１２１ａが存在していてもよい。
　図５の上段で示されるような構成により、遮光膜１２１ｐ－１５の右端部と、遮光膜１２１ｂ－１５の上方端部とが接続されると共に、遮光膜１２１ｂ－１６の左端部と遮光膜１２１ｐ－１６の上方端部とが接続され、側面からみてＬ字型に構成されている。
　さらに、遮光膜１２１ｂ－１５乃至１２１ｂ－１７、および遮光膜１２１ｐ－１５乃至１２１ｐ－１７は、金属により構成されており、例えば、タングステン（W）、アルミニウム（Al）、またはAlと銅（Cu）との合金より構成される。また、遮光膜１２１ｂ－１５乃至１２１ｂ－１７、および遮光膜１２１ｐ－１５乃至１２１ｐ－１７は、半導体プロセスにおける配線が形成されるプロセスと同一のプロセスで、配線と同一の金属により同時に形成されるようにしてもよい。尚、遮光膜１２１ｂ－１５乃至１２１ｂ－１７、および遮光膜１２１ｐ－１５乃至１２１ｐ－１７の膜厚は、位置に応じて同一の厚さにしなくてもよい。
　また、図５の下段で示されるように、画素１２１ａは、フォトダイオード１６１（フォトダイオード１２１ｅに対応する）、転送トランジスタ１６２、ＦＤ（Floating Diffusion：フローティングディフュージョン）部１６３、選択トランジスタ１６４、増幅トランジスタ１６５、およびリセットトランジスタ１６６を備えて構成され、垂直信号線１６７を介して電流源１６８に接続されている。
　フォトダイオード１６１は、アノード電極がそれぞれ接地され、カソード電極が、転送トランジスタ１６２を介して増幅トランジスタ１６５のゲート電極にそれぞれ接続される構成となっている。
　転送トランジスタ１６２は、転送信号ＴＧに従ってそれぞれ駆動する。例えば、転送トランジスタ１６２のゲート電極に供給される転送信号ＴＧがハイレベルになると、転送トランジスタ１６２はオンとなる。これにより、フォトダイオード１６１に蓄積されている電荷が転送トランジスタ１６２を介してＦＤ部１６３に転送される。
　増幅トランジスタ１６５は、フォトダイオード１６１での光電変換によって得られる信号を読み出す読出し回路であるソースフォロワの入力部となり、ＦＤ部１６３に蓄積されている電荷に応じたレベルの画素信号を垂直信号線２３に出力する。すなわち、増幅トランジスタ１６５は、ドレイン端子が電源電圧ＶＤＤに接続され、ソース端子が選択トランジスタ１６４を介して垂直信号線１６７に接続されることで、垂直信号線１６７の一端に接続される電流源１６８とソースフォロワを構成する。
　ＦＤ（Floating Diffusion：フローティングディフュージョン）部１６３は、転送トランジスタ１６２と増幅トランジスタ１６５との間に設けられる電荷容量Ｃ１を有する浮遊拡散領域であり、転送トランジスタ１６２を介してフォトダイオード１６１から転送される電荷を一時的に蓄積する。ＦＤ部１６３は、電荷を電圧に変換する電荷検出部であって、ＦＤ部１６３に蓄積されている電荷が増幅トランジスタ１６５において電圧に変換される。
　選択トランジスタ１６４は、選択信号ＳＥＬに従って駆動し、ゲート電極に供給される選択信号ＳＥＬがハイレベルになるとオンとなって、増幅トランジスタ１６５と垂直信号線１６７とを接続する。
　リセットトランジスタ１６６は、リセット信号ＲＳＴに従って駆動する。例えば、リセットトランジスタ１６６は、ゲート電極に供給されるリセット信号ＲＳＴがハイレベルになるとオンとなり、ＦＤ部１６３に蓄積されている電荷を電源電圧ＶＤＤに排出して、ＦＤ部１６３をリセットする。
　以上のような回路構成により、図５の下段で示される画素回路は以下のように動作する。
　すなわち、第一動作として、リセットトランジスタ１６６および転送トランジスタ１６２がオンにされ、ＦＤ部１６３に蓄積されている電荷を電源電圧ＶＤＤに排出して、ＦＤ部１６３をリセットする。
　第二動作として、リセットトランジスタ１６６および転送トランジスタ１６２がオフにされ、露光期間となり、フォトダイオード１６１により、入射光の光量に応じた電荷が蓄積される。
　第三動作として、リセットトランジスタ１６６がオンにされて、ＦＤ部１６３がリセットされた後、リセットトランジスタ１６６がオフにされる。この動作により、ＦＤ部１６３がリセットされて、基準電位に設定される。
　第四動作として、リセットされた状態のＦＤ部１６３の電位が、基準電位として増幅トランジスタ１６５より出力される。
　第五動作として、転送トランジスタ１６２がオンにされて、フォトダイオード１６１に蓄積された電荷がＦＤ部１６３に転送される。
　第六動作として、フォトダイオードの電荷が転送されたＦＤ部１６３の電位が、信号電位として増幅トランジスタ１６５より出力される。
　以上の処理により、信号電位から基準電位が減算されて、ＣＤＳ（相関二重サンプリング）により検出信号として出力される。
　このように、図５の場合の画素１２１ａは、１個についてフォトダイオード１２１ｅが１個設けられており、画素１２１ａ毎に異なる範囲が遮光膜１２１ｂにより遮光されており、遮光膜１２１ｂを用いた光学的な変調により、１個の画素１２１ａで入射角指向性を備えた検出画像の１画素分の検出信号を表現することができる。
　　　＜撮像素子の他の構成例＞
　また、入射角指向性は、例えば受光素子（例えばフォトダイオード）の画素内における位置、大きさ、形状等により形成することができる。これらのパラメータが異なる画素同士では、同一方向からの同一の光強度の入射光に対する感度が異なる。つまり、これらのパラメータを画素毎に設定することにより、画素毎に入射角指向性を設定することができる。
　例えば、画素内に複数の受光素子（例えばフォトダイオード）を設け、それらが選択的に用いられるようにしてもよい。このようにすることにより、その受光素子の選択によって画素毎に入射角指向性を設定することができるようになる。
　図６は、撮像素子１２１の他の構成例を示す図である。図６の上段には、撮像素子１２１の画素１２１ａの側面断面図が示されており、図６の中段には、撮像素子１２１の上面図が示されている。また、図６の上段の側面断面図は、図６の中段におけるＡＢ断面となる。さらに、図６の下段は、撮像素子１２１の回路構成例である。
　図６に示される構成の撮像素子１２１は、撮像レンズ及びピンホールのいずれも介さずに入射する入射光を受光する複数の画素出力単位を備え、その複数の画素出力単位のうちの少なくとも２つの画素出力単位の出力画素値の、被写体からの入射光に対する入射角指向性が、互いに異なる特性となるようにするための構成を有する。また、この場合の撮像素子１２１は、その複数の画素出力単位が、出力に寄与するPD（Photo Diode）を互いに異ならせることで、その出力画素値の入射角指向性を画素出力単位毎に独立に設定し得る。
　図６に示されるように、撮像素子１２１は、画素１２１ａにおいて、４つのフォトダイオード１２１ｆ－１乃至１２１ｆ－４が形成され、遮光膜１２１ｐが、フォトダイオード１２１ｆ－１乃至１２１ｆ－４同士を分離する領域に形成されている点で、図６の撮像素子１２１と異なる構成となっている。即ち、図６の撮像素子１２１では、遮光膜１２１ｐは、上面から見て「＋」形状に形成されている。なお、それらの共通の構成については同一の符号を付し、詳細な説明は省略する。
　図６のように構成された撮像素子１２１では、遮光膜１２１ｐによりフォトダイオード１２１ｆ－１乃至１２１ｆ－４に分離することによって、フォトダイオード１２１ｆ－１乃至１２１ｆ－４間の電気的および光学的なクロストークを防止することができる。即ち、図６の遮光膜１２１ｐは、図５の撮像素子１２１の遮光膜１２１ｐと同様にクロストークを防止するためのものであって、入射角指向性を与えるためのものではない。
　詳細については後述するが、フォトダイオード１２１ｆ－１乃至１２１ｆ－４は、受光感度特性が高くなる入射角が互いに異なる。つまり、フォトダイオード１２１ｆ－１乃至１２１ｆ－４のいずれから電荷を読み出すかによって、画素１２１ａの出力画素値に所望の入射角指向性を持たせることができる。つまり、画素１２１ａの出力画素値の入射角指向性を制御することができる。
　図６の撮像素子１２１の構成例においては、１個のＦＤ部１６３を４個のフォトダイオード１２１ｆ－１乃至１２１ｆ－４で共有する。図６の下段は、１個のＦＤ部１６３を４個のフォトダイオード１２１ｆ－１乃至１２１ｆ－４で共有するようにした回路構成例を示している。尚、図６の下段において、図５の下段と同一の構成については、その説明を省略する。
　図６の下段において、図５の下段の回路構成と異なる点は、フォトダイオード１６１および転送トランジスタ１６２に代えて、フォトダイオード１６１－１乃至１６１－４（図６の上段におけるフォトダイオード１２１ｆ－１乃至１２１ｆ－４に対応する）および転送トランジスタ１６２－１乃至１６２－４を設け、ＦＤ部１６３を共有する構成としている点である。
　図６の下段に示される回路において、フォトダイオード１６１－１乃至１６１－４を互いに区別して説明する必要がない場合、フォトダイオード１６１と称する。また、転送トランジスタ１６２－１乃至１６２－４を互いに区別して説明する必要がない場合、転送トランジスタ１６２と称する。
　図６の下段に示される回路において、いずれかの転送トランジスタ１６２がオンされると、その転送トランジスタ１６２に対応するフォトダイオード１６１の電荷が読み出され、共通のＦＤ部１６３に転送される。そして、ＦＤ部１６３に保持されている電荷のレベルに応じた信号が画素出力単位の検出信号として読み出される。つまり、各フォトダイオード１６１の電荷は互いに独立に読み出すことができ、どの転送トランジスタ１６２をオンにするかによって、どのフォトダイオード１６１から電荷を読み出すかを制御することができる。換言するに、どの転送トランジスタ１６２をオンにするかによって、各フォトダイオード１６１による出力画素値への寄与の度合いを制御することができる。例えば、少なくとも２つの画素間において、電荷を読み出すフォトダイオード１６１を互いに異なるものとすることにより、出力画素値に寄与するフォトダイオード１６１を互いに異ならせることができる。つまり、電荷を読み出すフォトダイオード１６１の選択により、画素１２１ａの出力画素値に所望の入射角指向性を持たせることができる。
　例えば、図６において、フォトダイオード１２１ｆ－１およびフォトダイオード１２１ｆ－３の電荷をＦＤ部１６３に転送し、それぞれを読み出して得られる信号を加算するようにすることにより、画素１２１ａの出力画素値に図中左右方向の入射角指向性を持たせることができる。同様に、フォトダイオード１２１ｆ－１およびフォトダイオード１２１ｆ－２の電荷をＦＤ部１６３に転送し、それぞれを読み出して得られる信号を加算するようにすることにより、画素１２１ａの出力画素値に図中上下方向の入射角指向性を持たせることができる。
　なお、図６の画素１２１ａの各フォトダイオード１２１ｆのそれぞれの電荷に基づいて得られる信号は、画素から読み出された後に加算するようにしてもよいし、画素内（例えばＦＤ部１６３）において加算するようにしてもよい。
　また、電荷（またはその電荷に対応する信号）を加算するフォトダイオード１２１ｆの組み合わせは任意であり、上述の例に限定されない。例えば、３つ以上のフォトダイオード１２１ｆの電荷（またはその電荷に対応する信号）を加算するようにしてもよい。また、例えば、加算を行わずに、１つのフォトダイオード１２１ｆの電荷を読み出すようにしてもよい。
　なお、電子シャッタ機能を用いて電荷のＦＤ部１６３への読み出しの前にフォトダイオード１６１（フォトダイオード１２１ｆ）に蓄積された検出値（電荷）をリセットすることで、画素１２１ａ（の検出感度）に所望の入射角指向性を持たせるようにしてもよい。
　電子シャッタ機能を用いる場合、フォトダイオード１２１ｆの電荷のＦＤ部１６３への読み出しの直前にリセットをすれば、そのフォトダイオード１２１ｆは画素１２１ａの検出信号レベルへの寄与が無い状態とすることができ、リセットとＦＤ部１６３への読み出しの間の時間を持たせれば、部分的に寄与をさせることもできる。
　以上のように、図６の画素１２１ａは、１個について４個のフォトダイオード１２１ｆが設けられており、受光面に対して遮光膜１２１ｂが形成されていないが、遮光膜１２１ｐにより、複数の領域に分割され、４個のフォトダイオード１２１ｆ－１乃至１２１ｆ－４が形成されており、入射角指向性を備えた検出画像の１画素分の検出信号を表現している。換言するに、例えば、フォトダイオード１２１ｆ－１乃至１２１ｆ－４のうち出力に寄与しない範囲が遮光された領域と同様に機能して、入射角指向性を備えた、検出画像の１画素分の検出信号を表現している。尚、フォトダイオード１２１ｆ－１乃至１２１ｆ－４を用いて、１画素分の検出信号を表現する場合、遮光膜１２１ｂは用いられていないので、検出信号は、光学的な変調により得られる信号ではない。
　以上においては画素内に４個のフォトダイオードを配置する例について説明したが、画素内に配置するフォトダイオードの数は任意であり、上述の例に限定されない。つまり、画素内におけるフォトダイオードを配置する部分領域の数も任意である。
　また、以上においては、画素内を４等分した４つの部分領域にフォトダイオードを配置するように説明したが、この部分領域は等分割されたものでなくてもよい。つまり、各部分領域の大きさや形状が全て統一されていなくてもよい（大きさや形状が他と異なる部分領域が含まれていてもよい）。または、各部分領域内に配置されるフォトダイオードの位置（部分領域内における位置）、大きさ、形状等が、フォトダイオード毎（部分領域毎）に異なるようにしてもよい。その際、各部分領域の大きさや形状は、全て統一されていてもよいし、統一されていなくてもよい。
　さらに、撮像素子１２１の全画素において、これらのパラメータが統一されていなくてもよい。つまり、撮像素子１２１の１画素以上において、これらのパラメータの内の１つ以上のパラメータが、他の画素と異なっていてもよい。
　例えば、画素内におけるフォトダイオードを配置する部分領域を形成するための分割位置が他の画素と異なる画素が、撮像素子１２１の画素群に含まれるようにしてもよい。つまり、撮像素子１２１が、部分領域の大きさや形状が他の画素と異なる画素を１画素以上有するようにしてもよい。例えば、画素毎にこの分割位置を異ならせるようにすることにより、複数の画素で左上のフォトダイオードのみを用いるようにしたとしても、その複数の画素のそれぞれにおいて検出される検出信号の入射角指向性を互いに異なるものとすることができる。
　また例えば、画素内に配置される複数のフォトダイオードの位置、大きさ、形状等が他の画素と異なる画素が、撮像素子１２１の画素群に含まれるようにしてもよい。つまり、撮像素子１２１が、配置される複数のフォトダイオードの位置、大きさ、形状の内の少なくともいずれか１つが他の画素と異なる画素を１画素以上有するようにしてもよい。例えば、画素毎にフォトダイオードの位置、大きさ、形状等を異ならせるようにすることにより、複数の画素で左上のフォトダイオードのみを用いるようにしたとしても、その複数の画素のそれぞれにおいて検出される検出信号の入射角指向性を互いに異なるものとすることができる。
　さらに例えば、部分領域のパラメータ（大きさ、形状）と、フォトダイオードのパラメータ（位置、大きさ、形状）との両方が他の画素と異なる画素を１画素以上有するようにしてもよい。
　また例えば、画素内におけるフォトダイオードを配置する部分領域を形成するための分割数が他の画素と異なる画素が、撮像素子１２１の画素群に含まれるようにしてもよい。つまり、撮像素子１２１が、配置されるフォトダイオードの数が他の画素と異なる画素を１画素以上有するようにしてもよい。例えば、画素毎に分割数（フォトダイオードの数）を異ならせるようにすることにより、より自由に入射角指向性を設定することができる。
　　　＜入射角指向性を生じさせる原理について＞
　撮像素子１２１における各画素の入射角指向性は、例えば、図７で示されるような原理により発生する。尚、図７の左上部および右上部は、図５の撮像素子１２１における入射角指向性の発生原理を説明する図であり、図７の左下部および右下部は、図６の撮像素子１２１における入射角指向性の発生原理を説明する図である。
　また、図７の左上部および右上部における１画素は、いずれも１個のフォトダイオード１２１ｅにより構成される。これに対して、図７の左下部および右下部における１画素は、いずれも２個のフォトダイオード１２１ｆにより構成される。尚、ここでは、１画素が２個のフォトダイオード１２１ｆにより構成される例について説明しているが、これは説明の便宜上であり、１画素を構成するフォトダイオード１２１ｆの数は、その他の個数であってもよい。
　図７の左上部においては、図中の上方から下方に向けて入射光が入射するとき、フォトダイオード１２１ｅ－１１の受光面の右半分を遮光するように遮光膜１２１ｂ－１１が形成されている。また、図７の右上部においては、フォトダイオード１２１ｅ－１２の受光面の左半分を遮光するように遮光膜１２１ｂ－１２が形成されている。尚、図中の一点鎖線は、フォトダイオード１２１ｅの受光面の図中の水平方向の中心位置であって、受光面に対して垂直方向であることを表している。
　例えば、図７の左上部のような構成の場合、図中の一点鎖線に対して入射角θ１を成す矢印で示される、図中の右上方向からの入射光は、フォトダイオード１２１ｅ－１１の遮光膜１２１ｂ－１１により遮光されていない左半分の範囲では受光し易いが、図中の一点鎖線に対して入射角θ２を成す矢印で示される、図中の左上方向からの入射光は、フォトダイオード１２１ｅ－１１の遮光膜１２１ｂ－１１により遮光されていない左半分の範囲では受光し難い。したがって、図７の左上部のような構成の場合、図中の右上方からの入射光に対して受光感度特性が高く、左上方からの入射光に対して受光感度特性が低いといった入射角指向性を備えることになる。
　これに対して、例えば、図７の右上部のような構成の場合、図中の一点鎖線に対して入射角θ１１を成す矢印で示される、図中の右上方向からの入射光は、フォトダイオード１２１ｅ－１２の遮光膜１２１ｂ－１２により遮光されている左半分の範囲では受光し難いが、図中の一点鎖線に対して入射角θ１２を成す矢印で示される、図中の左上方向からの入射光は、フォトダイオード１２１ｅ－１２の遮光膜１２１ｂ－１２により遮光されていない右半分の範囲で受光し易い。したがって、図７の右上部のような構成の場合、図中の右上方からの入射光に対して受光感度特性が低く、左上方からの入射光に対して受光感度特性が高いといった入射角指向性を備えることになる。
　また、図７の左下部の場合、図中の左右にフォトダイオード１２１ｆ－１，１２１ｆ－２が設けられており、いずれかの一方の検出信号を読み出すようにすることで、遮光膜１２１ｂを設けることなく入射角指向性を有する構成とされている。
　すなわち、図７の左下部で示されるように、画素１２１ａに２個のフォトダイオード１２１ｆ－１，１２１ｆ－２が形成されている場合、図中の左側に設けられたフォトダイオード１２１ｆ－１の検出信号がこの画素１２１ａの検出信号レベルに寄与するようにすることで、図７の左上部における構成と同様の入射角指向性を備えるようにすることができる。すなわち、図中の一点鎖線に対して入射角θ２１を成す矢印で示される、図中の右上方向からの入射光は、フォトダイオード１２１ｆ－１に入射して受光され、その検出信号が読み出され、この画素１２１ａの検出信号レベルに寄与する。これに対して、図中の一点鎖線に対して入射角θ２２を成す矢印で示される、図中の左上方向からの入射光は、フォトダイオード１２１ｆ－２に入射するが、その検出信号は読み出されず、この画素１２１ａの検出信号レベルに寄与しない。
　同様に、図７の右下部で示されるように、画素１２１ａに２個のフォトダイオード１２１ｆ－１１，１２１ｆ－１２が形成されている場合、図中の左側に設けられたフォトダイオード１２１ｆ－１２の検出信号がこの画素１２１ａの検出信号レベルに寄与するようにすることで、図７の右上部における構成と同様の入射角指向性を備えるようにすることができる。すなわち、図中の一点鎖線に対して入射角θ３１を成す矢印で示される、図中の右上方向からの入射光は、フォトダイオード１２１ｆ－１１に入射するが、その検出信号は読み出されず、この画素１２１ａの検出信号レベルに寄与しない。これに対して、図中の一点鎖線に対して入射角θ３２を成す矢印で示される、図中の左上方向からの入射光は、フォトダイオード１２１ｆ－１２に入射して受光され、その検出信号が読み出され、この画素１２１ａの検出信号レベルに寄与する。
　尚、図７においては、垂直方向の一点鎖線が、フォトダイオード１２１ｅの受光面の図中の水平方向の中心位置である例について説明してきたが、説明の便宜上であり、その他の位置であってもよい。垂直方向の一点鎖線で示される遮光膜１２１ｂの水平方向の位置が異なることにより、異なる入射角指向性を生じさせることができる。
　　＜オンチップレンズを含む構成における入射角指向性について＞
　以上においては、入射角指向性の発生原理について説明してきたが、ここでは、オンチップレンズ１２１ｃを含めた構成における入射角指向性について説明する。
　すなわち、撮像素子１２１における各画素の入射角指向性は、上述した遮光膜１２１ｂによるものに加えて、オンチップレンズ１２１ｃを用いることにより、例えば、図８で示されるように設定される。すなわち、図８の中段左部においては、図中上方の入射方向より入射光を集光するオンチップレンズ１２１ｃ－１１、所定の波長の光を透過させるカラーフィルタ１２１ｄ－１１、および光電変換により画素信号を生成するフォトダイオード１２１ｅ－１１の順に積層され、図８の中段右部においては、図中上方の入射方向よりオンチップレンズ１２１ｃ－１２、カラーフィルタ１２１ｄ－１２、およびフォトダイオード１２１ｅ－１２の順に構成されている。
　尚、オンチップレンズ１２１ｃ－１１，１２１ｃ－１２、カラーフィルタ１２１ｄ－１１，１２１ｄ－１２、およびフォトダイオード１２１ｅ－１１，１２１ｅ－１２の、それぞれを区別する必要がない場合、単に、オンチップレンズ１２１ｃ、カラーフィルタ１２１ｄ、およびフォトダイオード１２１ｅと称する。
　撮像素子１２１においては、さらに、図８の中段左部、および中段右部のそれぞれに示されるように、入射光を受光する領域の一部を遮光する遮光膜１２１ｂ－１１，１２１ｂ－１２が設けられている。
　図８の中段左部で示されるように、図中のフォトダイオード１２１ｅ－１１の右側半分を遮光するような遮光膜１２１ｂ－１１が設けられている場合、図８の上段の実線の波形で示されるように、入射光の入射角度θに応じてフォトダイオード１２１ｅ－１１の検出信号レベルが変化する。
　すなわち、フォトダイオード１２１ｅおよびオンチップレンズ１２１ｃの中心位置であって、それぞれに対して垂直となる一点鎖線に対して、入射光のなす角である入射角度θが大きくなると（入射角度θが正の方向に大きくなると（図中の右方向に傾くと））、遮光膜１２１ｂ－１１が設けられていない範囲に光が集光されることで、フォトダイオード１２１ｅ－１１の検出信号レベルが大きくなる。逆に、入射角度θが小さいほど（入射角度θが負の方向に大きいほど（図中の左方向に傾くと））、遮光膜１２１ｂ－１１が設けられている範囲に光が集光されることで、フォトダイオード１２１ｅ－１１の検出信号レベルが小さくなる。
　尚、ここでいう入射角度θは、入射光の方向が一点鎖線と一致する場合を０度とし、図中の右上方からの入射光が入射する、図８の中段左側の入射角度θ２１側の入射角度θを正の値とし、図８の中段右側の入射角度θ２２側の入射角度θを負の値とする。したがって、図８においては、オンチップレンズ１２１ｃに対して、右上方より入射する入射光については、左上方より入射する入射光よりも入射角度が大きくなる。すなわち入射角度θは、図８において、入射光の進行方向が右に傾くほど大きくなり（正の方向に大きくなり）、左に傾くほど小さくなる（負の方向に大きくなる）ものとする。
　また、図８の中段右部で示されるように、図中のフォトダイオード１２１ｅ－１２の左側半分を遮光するような遮光膜１２１ｂ－１２が設けられている場合、図８の上段の点線の波形で示されるように、入射光の入射角度θに応じてフォトダイオード１２１ｅ－１２の検出信号レベルが変化する。
　すなわち、図８の上段における点線の波形で示されるように、フォトダイオード１２１ｅおよびオンチップレンズ１２１ｃの中心位置であって、それぞれに対して垂直となる一点鎖線に対して、入射光のなす角である入射角度θが大きいほど（入射角度θが正の方向に大きいほど）、遮光膜１２１ｂ－１２が設けられている範囲に光が集光されることで、フォトダイオード１２１ｅ－１２の検出信号レベルが小さくなる。逆に、入射角度θが小さいほど（入射角度θが負の方向に大きいほど）、遮光膜１２１ｂ－１２が設けられていない範囲に光が入射することで、フォトダイオード１２１ｅ－１２の検出信号レベルが大きくなる。
　尚、図８の上段においては、横軸が入射角度θであり、縦軸がフォトダイオード１２１ｅにおける検出信号レベルを示している。
　この図８の上段で示される入射角度θに応じた検出信号レベルを示す実線および点線で示される波形は、遮光膜１２１ｂの範囲に応じて変化させることができるので、これにより画素単位で相互に異なる入射角指向性を持たせることが可能となる。尚、図８の上段における実線の波形は、図８の中段左部、および下段左部における入射光が、入射角度θを変化させて集光される様子を示す実線の矢印に対応している。また、図８の上段における点線の波形は、図８の中段右部、および下段右部における入射光が、入射角度θを変化させて集光される様子を示す点線の矢印に対応している。
　ここでいう入射角指向性とは、入射角度θに応じた各画素の検出信号レベルの特性（受光感度特性）であるが、図８の中段の例の場合、これは入射角度θに応じた遮光値の特性であるとも言える。すなわち、遮光膜１２１ｂは、特定の方向の入射光は高いレベルで遮光するが、特定の方向以外の方向からの入射光は十分に遮光できない。この遮光できるレベルの変化が、図８の上段で示されるような入射角度θに応じた異なる検出信号レベルを生じさせる。したがって、各画素において最も高いレベルで遮光可能な方向を各画素の遮光方向と定義すると、画素単位で相互に異なる入射角指向性を持つということは、換言すれば、画素単位で相互に異なる遮光方向を持つということになる。
　さらに、図８の下段左部で示されるように、１個のオンチップレンズ１２１ｃ－１１に対して２個のフォトダイオード１２１ｆ－１，１２１ｆ－２が設けられる構成とする（画素出力単位が２個のフォトダイオード１２１ｆ－１，１２１ｆ－２から構成される）ことにより、図中左部のフォトダイオード１２１ｆ－１のみの検出信号を用いるようにすることで、図８の中段左部におけるフォトダイオード１２１ｅ－１１の右側を遮光した状態と同じ検出信号レベルを求めるようにすることができる。
　すなわち、オンチップレンズ１２１ｃの中心位置であって、それぞれに対して垂直となる一点鎖線に対して、入射光のなす角である入射角度θが大きくなると（入射角度θが正の方向に大きくなると）、検出信号が読み出されるフォトダイオード１２１ｆ－１の範囲に光が集光されることで、検出信号レベルが大きくなる。逆に、入射角度θが小さいほど（入射角度θが負の方向に大きいほど）、検出値が読み出されないフォトダイオード１２１ｆ－２の範囲に光が集光されることで、検出信号レベルが小さくなる。
　また、同様に、図８の下段右部で示されるように、１個のオンチップレンズ１２１ｃ－１２に対して２個のフォトダイオード１２１ｆ－１１，１２１ｆ－１２が設けられる構成とすることにより、図中右部のフォトダイオード１２１ｆ－１２のみの検出信号を用いるようにすることで、図８の中段右部におけるフォトダイオード１２１ｅ－１２の左側を遮光した状態と同じ検出信号レベルの出力画素単位の検出信号を得るようにすることができる。
　すなわち、オンチップレンズ１２１ｃの中心位置であって、それぞれに対して垂直となる一点鎖線に対して、入射光のなす角である入射角度θが大きくなると（入射角度θが正の方向に大きくなると）、検出信号が出力画素単位の検出信号に寄与しないフォトダイオード１２１ｆ－１１の範囲に光が集光されることで、出力画素単位の検出信号の検出信号レベルが小さくなる。逆に、入射角度θが小さいほど（入射角度θが負の方向に大きいほど）、検出信号が出力画素単位の検出信号に寄与するフォトダイオード１２１ｆ－１２の範囲に光が集光されることで、出力画素単位の検出信号の検出信号レベルが大きくなる。
　尚、入射角指向性については、ランダム性が高い方が望ましい。例えば、隣り合う画素間で同一の入射角指向性を持つと、上述した式（１）乃至式（３）または、後述する式（４）乃至式（６）が相互に同一の式となる恐れがあり、連立方程式の解となる未知数と式の数の関係が満たせなくなり、復元画像を構成する画素値を求められなくなる恐れがあるためである。また、図８の中段で示される構成においては、画素１２１ａに、１個のフォトダイオード１２１ｅ－１１およびフォトダイオード１２１ｅ－１２が形成されている。これに対して、図８の下段で示される構成においては、画素１２１ａに、２個のフォトダイオード１２１ｆ－１および１２１ｆ－２、並びに、フォトダイオード１２１ｆ－１１および１２１ｆ－１２が形成されている。したがって、例えば、図８の下段においては、フォトダイオード１２１ｆの単体では、１画素は構成されない。
　また、図８の下段で示されるように、複数のフォトダイオード１２１ｆから１画素出力単位が構成される場合、入射角度に応じて、画素出力単位の出力画素値が変調されているとみなすことができる。したがって、出力画素値の特性（入射角指向性）を画素出力単位で異ならせることが可能となり、１画素出力単位での入射角指向性が設定される。さらに、複数のフォトダイオード１２１ｆから１画素出力単位が構成される場合、１画素出力単位での入射角指向性を生じさせる上で、１画素出力単位に対して１個のオンチップレンズ１２１ｃが必須構成となる。
　また、図８の中段で示されるように、１個のフォトダイオード１２１ｅ－１１またはフォトダイオード１２１ｅ－１２のそれぞれが１画素出力単位を構成する場合、入射角度に応じて、１画素出力単位を構成する１個のフォトダイオード１２１ｅ－１１またはフォトダイオード１２１ｅ－１２への入射光が変調されることにより、結果として出力画素値が変調される。したがって、出力画素値の特性（入射角指向性）が異ならせることが可能となり、１画素出力単位での入射角指向性が設定される。さらに、１個のフォトダイオード１２１ｅ－１１またはフォトダイオード１２１ｅ－１２のそれぞれが１画素出力単位を構成する場合、入射角指向性は、１画素出力単位毎に設けられる遮光膜１２１ｂにより独立して製造時に設定される。
　また、図８の下段で示されるように、複数のフォトダイオード１２１ｆから１画素出力単位が構成される場合、１画素出力単位毎の入射角指向性を設定するための複数のフォトダイオード１２１ｆの数（１画素出力単位を構成するフォトダイオード１２１ｆの分割数）や位置については、１画素出力単位で独立して製造時に設定され、さらに、このうち、どのフォトダイオード１２１ｆを用いて入射角指向性を設定するかについては、撮像時に切り替えるようにすることができる。
　　　＜入射角指向性の設定＞
　例えば、図９の上段で示されるように、遮光膜１２１ｂの設定範囲が、画素１２１ａにおける水平方向について、左端部から位置Ａまでの範囲とし、垂直方向について、上端部から位置Ｂまでの範囲とする。
　この場合、各画素の水平方向の中心位置からの入射角度θｘ（ｄｅｇ）に応じた、入射角指向性の指標となる水平方向の０乃至１の重みＷｘを設定する。より詳細には、位置Ａに対応する入射角度θｘ＝θａにおいて、重みＷｘが０．５になると仮定した場合、入射角度θｘ＜θａ－αにおいて重みＷｘが１となり、θａ－α≦入射角度θｘ≦θａ＋αにおいて、重みＷｘが（－（θｘ－θａ）／２α＋１／２）となり、入射角度θｘ＞θａ＋αにおいて重みＷｘが０となるように重みＷｈを設定する。尚、ここでは、重みＷｈが０，０．５，１である例について説明するが、重みＷｈが０，０．５，１となるのは、理想的な条件が満たされるときとなる。
　同様に、各画素の垂直方向の中心位置からの入射角度θｙ（ｄｅｇ）に応じた、入射角指向性の指標となる垂直方向の０乃至１の重みＷｙを設定する。より詳細には、位置Ｂに対応する入射角度θｙ＝θｂにおいて、重みＷｖが０．５になると仮定した場合、入射角度θｙ＜θｂ－αにおいて重みＷｙが０となり、θｂ－α≦入射角度θｙ≦θｂ＋αにおいて、重みＷｙが（（θｙ－θｂ）／２α＋１／２）となり、入射角度θｙ＞θｂ＋αにおいて重みＷｙが１となるように重みＷｙを設定する。
　そして、このようにして求められた重みＷｘ，Ｗｙを用いることにより、それぞれの画素１２１ａの入射角指向性、すなわち、受光感度特性に対応する係数（係数セット）を求めることができる。
　また、このとき、水平方向の重みＷｘおよび垂直方向の重みＷｙが０．５の前後となる範囲における重みの変化を示す傾き（１／２α）は、焦点距離の異なるオンチップレンズ１２１ｃを用いることで設定することができる。
　すなわち、曲率の異なるオンチップレンズ１２１ｃを用いることで異なる焦点距離とすることができる。
　例えば、曲率の異なるオンチップレンズ１２１ｃを用いることで、図９の下段における実線で示されるように、焦点距離が、遮光膜１２１ｂ上になるように集光されるとき、傾き（１／２α）は、急峻になる。すなわち、図９の上段における、水平方向の重みＷｘおよび垂直方向の重みＷｙは、０．５付近となる水平方向の入射角度θｘ＝θａ、および、垂直方向の入射角度θｙ＝θｂの境界付近において、急激に０または１に変化する。
　また、例えば、曲率の異なるオンチップレンズ１２１ｃを用いることで、図９の下段における点線で示されるように、焦点距離が、フォトダイオード１２１ｅ上に集光されるとき、傾き（１／２α）は、緩くなる。すなわち、図９の上部における、水平方向の重みＷｘおよび垂直方向の重みＷｙが０．５付近となる水平方向の入射角度θｘ＝θａ、および、垂直方向の入射角度θｙ＝θｂの境界付近において、緩やかに０または１に変化する。
　以上のように、曲率の異なるオンチップレンズ１２１ｃを用いて、異なる焦点距離にすることで異なる入射角指向性、すなわち、異なる受光感度特性を得ることができる。
　したがって、画素１２１ａの入射角指向性は、遮光膜１２１ｂによりフォトダイオード１２１ｅが遮光される範囲と、オンチップレンズ１２１ｃの曲率とが異なるようにすることで異なる値に設定することができる。尚、オンチップレンズの曲率は、撮像素子１２１における全ての画素で同一でもよいし、一部の画素において異なる曲率であってもよい。
　　　＜オンチップレンズと撮像レンズとの違い＞
　上述のように、撮像素子１２１は撮像レンズを必要としない。ただし、オンチップレンズ１２１ｃは、少なくとも、図６を参照して説明したような画素内の複数のフォトダイオードを用いて入射角指向性を実現する場合には必要である。オンチップレンズ１２１ｃと撮像レンズとは、物理的作用が異なるものである。
　撮像レンズは、同じ方向から入射した入射光を、互いに隣接する複数の画素へ入射させるための集光機能を持つ。これに対して、オンチップレンズ１２１ｃを通る光は、対応する１画素を構成するフォトダイオード１２１ｅまたは１２１ｆの受光面のみに入射される。換言するに、オンチップレンズ１２１ｃは、画素出力単位毎に設けられ、自身に入射する被写体光を対応する画素出力単位のみに集光する。すなわち、オンチップレンズ１２１ｃは、仮想点光源から出射した拡散光を、互いに隣接する複数の画素へ入射させるための集光機能を持たない。
　　　＜被写体面と撮像素子との距離の関係＞
　次に、図１０を参照して、被写体面と撮像素子１２１との距離の関係について説明する。
　図１０の上段左部で示されるように、撮像素子１２１と被写体面１３１までの被写体距離が距離ｄ１である場合、例えば、被写体面１３１上の点光源ＰＡ，ＰＢ，ＰＣを設定するとき、対応する撮像素子１２１上の位置Ｐａ，Ｐｂ，Ｐｃにおける検出信号レベルＤＡ，ＤＢ，ＤＣが、上述した式（１）乃至式（３）と同一の式で表現できるものとする。
　ＤＡ＝α１×ａ＋β１×ｂ＋γ１×ｃ
　・・・（１）
　ＤＢ＝α２×ａ＋β２×ｂ＋γ２×ｃ
　・・・（２）
　ＤＣ＝α３×ａ＋β３×ｂ＋γ３×ｃ
　・・・（３）
　これに対して、図１０の下段左部で示されるように、撮像素子１２１との被写体距離が距離ｄ１よりもｄだけ大きな距離ｄ２である被写体面１３１'である場合、すなわち、撮像素子１２１から見て、被写体面１３１よりも奥の被写体面１３１'の場合、検出信号レベルは、図１０の上段中央部、および下段中央部で示されるように、検出信号レベルＤＡ，ＤＢ，ＤＣいずれも同様である。
　しかしながら、この場合被写体面１３１'上の点光源ＰＡ'，ＰＢ'，ＰＣ'からの光強度がａ'，ｂ'，ｃ'の光線が撮像素子１２１の各画素において受光される。この際、撮像素子１２１上で受光される、光強度がａ'，ｂ'，ｃ'の光線の入射角度は異なる（変化する）ので、それぞれ異なる係数セットが必要となり、各位置Ｐａ，Ｐｂ，Ｐｃにおける検出信号レベルＤＡ，ＤＢ，ＤＣは、例えば、以下の式（４）乃至式（６）で示されるように表現されることになる。
　ＤＡ＝α１１×ａ'＋β１１×ｂ'＋γ１１×ｃ'
　・・・（４）
　ＤＢ＝α１２×ａ'＋β１２×ｂ'＋γ１２×ｃ'
　・・・（５）
　ＤＣ＝α１３×ａ'＋β１３×ｂ'＋γ１３×ｃ'
　・・・（６）
　ここで、係数セットα１１，β１１，γ１１、係数セットα１２，β１２，γ１２、係数セットα１３，β１３，γ１３からなる係数セット群は、それぞれ被写体面１３１における係数セットα１，β１，γ１、係数セットα２，β２，γ２、係数セットα３，β３，γ３に対応する被写体面１３１'の係数セット群である。
　従って、式（４）乃至式（６）を、予め設定された係数セット群α１１，β１１，γ１１，α１２，β１２，γ１２，α１３，β１３，γ１３を用いて解くことで、図１０の上段右部で示される被写体面１３１における場合の点光源ＰＡ，ＰＢ，ＰＣにおける光線の光強度（ａ，ｂ，ｃ）を求めた手法と同様の手法で、図１０の下段右部で示されるように、点光源ＰＡ'，ＰＢ'，ＰＣ'からの光線の光強度（ａ'，ｂ'，ｃ'）として求めることが可能となり、結果として、被写体面１３１'の被写体の復元画像を求めることが可能となる。
　すなわち、撮像素子１２１からの被写体面までの距離毎の係数セット群を予め記憶しておき、係数セット群を切り替えて連立方程式を構成し、構成した連立方程式を解くことで、１個の検出画像に基づいて、様々な被写体距離の被写体面の復元画像を得ることが可能となる。
　つまり、検出画像を１回撮像するだけで、その後の処理で、被写体面までの距離に応じて係数セット群を切り替えて、復元画像を求めるようにすることで、任意の距離の復元画像を生成することも可能である。
　また、画像認識や可視画像や可視画像以外の被写体の特性を得たい場合は、復元画像を得てから復元画像を基に画像認識などを行わなくとも、撮像素子の検出信号に対し、ディープラーニング等の機械学習を適用し、検出信号自体を用いて画像認識などを行うことも可能である。
　また、被写体距離や画角が特定できるような場合については、全ての画素を用いずに、特定された被写体距離や画角に対応した被写体面の撮像に適した入射角指向性を有する画素の検出信号からなる検出画像を用いて、復元画像を生成するようにしてもよい。このようにすることで、特定された被写体距離や画角に対応した被写体面の撮像に適した画素の検出信号を用いて復元画像を求めることができるので、特定された被写体距離や画角の復元画像を高い精度で求めることが可能となる。
　ここで、特定された被写体距離や画角に対応した被写体面の撮像に適した画素の検出信号を用いて復元画像を求めるようにすることで、復元画像を高い精度で求められる理由について説明する。
　例えば、図１１の上段で示されるように、４辺のそれぞれの端部から幅ｄ１だけ遮光膜１２１ｂにより遮光されている画素１２１ａと、図１１の下段で示されるように、４辺のそれぞれの端部から幅ｄ２（＞ｄ１）だけ遮光膜１２１ｂにより遮光されている画素１２１ａ'とを考える。
　画素１２１ａは、例えば、図１２の上段で示されるような、被写体となる人物Ｈ１０１の全体を含む画角ＳＱ１に対応する、図１１の画像Ｉ１を復元するために用いられる。これに対して、画素１２１ａ'は、例えば、図１２の上段で示されるような、被写体となる人物Ｈ１０１の顔の周辺がズームアップされた画角ＳＱ２に対応する、図１１の画像Ｉ２を復元するために用いられる。
　これは、図１１の画素１２１ａが、図１３の左部で示されるように、撮像素子１２１に対して入射光の入射可能角度範囲Ａとなるため、被写体面１３１上において、水平方向に被写体幅Ｗ１分の入射光を受光することができるからである。
　これに対して、図１１の画素１２１ａ'は、図１１の画素１２１ａよりも遮光される範囲が広いため、図１３の左部で示されるように、撮像素子１２１に対して入射光の入射可能角度範囲Ｂ（＜Ａ）となるため、被写体面１３１上において、水平方向に被写体幅Ｗ２（＜Ｗ１）分の入射光を受光するからである。
　つまり、遮光範囲が狭い図１１の画素１２１ａは、被写体面１３１上の広い範囲を撮像するのに適した広画角画素であるのに対して、遮光範囲が広い図１１の画素１２１ａ'は、被写体面１３１上の狭い範囲を撮像するのに適した狭画角画素である。尚、ここでいう広画角画素および狭画角画素は、図１１の画素１２１ａ，１２１ａ'の両者を比較する表現であって、その他の画角の画素を比較する上ではこの限りではない。
　尚、図１３は、撮像素子１２１の中心位置Ｃ１に対する、被写体面１３１上の位置と、それぞれの位置からの入射光の入射角度との関係を示している。また、図１３においては、被写体面１３１上の位置と、被写体面１３１上のそれぞれの位置からの入射光の入射角度との水平方向に対する関係が示されているが、垂直方向についても同様の関係となる。さらに、図１３の右部には、図１１における画素１２１ａ，１２１ａ'が示されている。
　このような構成により、図１２の下段で示されるように、撮像素子１２１における、点線で囲まれた範囲ＺＡに図１１の画素１２１ａを、一点鎖線で囲まれた範囲ＺＢに図１１の画素１２１ａ'を、それぞれ所定画素数ずつ集めて構成する場合、被写体幅Ｗ１に対応する画角ＳＱ１の画像を復元しようとするときには、画角ＳＱ１を撮像する図１１の画素１２１ａを用いるようにすることで、適切に被写体面１３１の被写体幅Ｗ１の画像を復元することができる。
　同様に、被写体幅Ｗ２に対応する画角ＳＱ２の画像を復元しようとするときには、画角ＳＱ２を撮像する図１１の画素１２１ａ'の検出信号レベルを用いるようにすることで、適切に被写体幅Ｗ２の画像を復元することができる。
　尚、図１２の下段においては、図中の左側に画素１２１ａ'が所定画素数だけ設けられ、右側に画素１２１ａが所定画素数だけ設けられた構成として示されているが、これは説明を簡単にするための例として示されたものであり、画素１２１ａと画素１２１ａ'とは、ランダムに混在して配置されることが望ましい。
　このように、画角ＳＱ２は、画角ＳＱ１よりも画角が狭いので、画角ＳＱ２と画角ＳＱ１の画像を同一の所定画素数で復元する場合、画角ＳＱ１の画像よりも、より狭い画角となる画角ＳＱ２の画像を復元する方が、より高画質な復元画像を得ることができる。
　つまり、同一画素数を用いて復元画像を得ることを考えた場合、より画角の狭い画像を復元する方が、より高画質な復元画像を得ることができる。
　尚、画角の広い画像を復元画像として得る場合、広画角画素の全画素を用いるようにしてもよいし、広画角画素の一部を用いるようにしてもよい。また、画角の狭い画像を復元画像として得る場合、狭画角画素の全画素を用いるようにしてもよいし、狭画角画素の一部を用いるようにしてもよい。
　以上のような撮像素子１２１を用いることにより、結果として、撮像レンズ、回折格子等からなる光学素子や、ピンホールなどが不要となるため、装置の設計の自由度を高めることが可能になると共に、入射光の入射方向に対する装置の小型化を実現することが可能となり、製造コストを低減することが可能となる。また、フォーカスレンズなどのような、光学像を結像させるための撮像レンズに相当するレンズも不要となる。
　さらに、撮像素子１２１を用いることにより、検出画像を取得するのみで、その後において、被写体距離や画角に応じた係数セット群を選択的に用いて構成した連立方程式を解いて復元画像を求めることで、様々な被写体距離や画角の復元画像を生成することが可能となる。
　さらに、撮像素子１２１は、画素単位で入射角指向性を持つことができるので、回折格子からなる光学フィルタと従来の撮像素子等と比較して、多画素化を実現することができ、また、高解像度で、かつ、高角度分解能の撮像画像を得ることができる。
　また、撮像素子１２１は、回折格子からなる光学フィルタ等を必要としないので、使用環境が高温になって光学フィルタが熱で歪むといったことがない。したがって、このような撮像素子１２１を用いることにより、環境耐性の高い装置を実現することが可能となる。
　　　＜第１の変形例＞
　図４の右部においては、撮像素子１２１の各画素１２１ａにおける遮光膜１２１ｂの構成として、垂直方向に対しては全体を遮光し、かつ、水平方向に対しての遮光幅や位置を変化させることにより、水平方向の入射角指向性の違いを持たせる例を示したが、遮光膜１２１ｂの構成はこの例に限定されない。例えば、水平方向に対して全体として遮光し、垂直方向の幅（高さ）や位置を変化させるようにして、垂直方向の入射角指向性の違いを持たせるようにしてもよい。
　なお、図４の右部で示される例のように、垂直方向に対しては画素１２１ａ全体を遮光し、かつ、水平方向に対して所定の幅で画素１２１ａを遮光する遮光膜１２１ｂは、横帯タイプの遮光膜１２１ｂと称する。これに対して、水平方向に対しては画素１２１ａ全体を遮光し、かつ、垂直方向に対して所定の高さで画素１２１ａを遮光する遮光膜１２１ｂは、縦帯タイプの遮光膜１２１ｂと称する。
　また、図１４の左部に示される例のように、縦帯タイプと横帯タイプの遮光膜１２１ｂを組み合わせて、画素１２１ａをＬ字型の遮光膜１２１ｂを設けるようにしてもよい。図１４の左部において、黒色で示される部分が遮光膜１２１ｂである。つまり、遮光膜１２１ｂ－２１乃至遮光膜１２１ｂ－２４は、それぞれ、画素１２１ａ－２１乃至画素１２１ａ－２４の遮光膜である。
　これらの各画素（画素１２１ａ－２１乃至画素１２１ａ－２４）は、図１４の右部に示されるような入射角指向性を有することになる。図１４の右部に示されるグラフは、各画素における受光感度を示している。横軸が入射光の水平方向（ｘ方向）の入射角度θｘを表し、縦軸が入射光の垂直方向（ｙ方向）の入射角度θｙを表している。そして、範囲Ｃ４内の受光感度が、範囲Ｃ４の外よりも高く、範囲Ｃ３内の受光感度が、範囲Ｃ３の外よりも高く、範囲Ｃ２内の受光感度が、範囲Ｃ２の外よりも高く、範囲Ｃ１内の受光感度が、範囲Ｃ１の外よりも高い。
　従って、各画素について、範囲Ｃ１内となる、水平方向（ｘ方向）の入射角度θｘと、垂直方向（ｙ方向）の入射角度θｙとの条件を満たす入射光の検出信号レベルが最も高くなり、範囲Ｃ２内，範囲Ｃ３内，範囲Ｃ４内、および、範囲Ｃ４以外の範囲の条件の順に検出信号レベルが低くなることが示されている。このような受光感度の強度は、遮光膜１２１ｂにより遮光される範囲により決定される。
　また、図１４の左部において、各画素１２１ａ内のアルファベットは、カラーフィルタの色を示している（説明の便宜上記載したものであり、実際に表記されているものではない）。画素１２１ａ－２１は緑色のカラーフィルタが配置されるＧ画素であり、画素１２１ａ－２２は赤色のカラーフィルタが配置されるＲ画素であり、画素１２１ａ－２３は青色のカラーフィルタが配置されるＢ画素であり、画素１２１ａ－２４は緑色のカラーフィルタが配置されるＧ画素である。つまり、これらの画素は、ベイヤ配列を形成している。もちろん、これは一例であり、カラーフィルタの配列パタンは任意である。遮光膜１２１ｂの配置とカラーフィルタとは無関係である。例えば、一部または全部の画素において、カラーフィルタ以外のフィルタが設けられるようにしてもよいし、フィルタが設けられないようにしてもよい。
　図１４の左部においては、「Ｌ字型」の遮光膜１２１ｂが、画素１２１ａの図中左辺と下辺の側を遮光する例が示されているが、この「Ｌ字型」の遮光膜１２１ｂの向きは任意であり、図１４の例に限定されない。例えば、「Ｌ字型」の遮光膜１２１ｂが、画素１２１ａの図中下辺と右辺の側を遮光するようにしてもよいし、画素１２１ａの図中右辺と上辺の側を遮光するようにしてもよいし、画素１２１ａの図中上辺と左辺の側を遮光するようにしてもよい。もちろん、この遮光膜１２１ｂの向きは、画素毎に独立に設定することができる。なお、この「Ｌ字型」の遮光膜１２１ｂを「Ｌ字タイプの遮光膜１２１ｂ」とも総称する。
　以上においては遮光膜について説明したが、この例の説明は、画素内に配置した複数のフォトダイオードを選択的に用いることにより入射角指向性を持たせる場合にも適用することができる。つまり、例えば、分割位置（各部分領域の大きさや形状）や、各フォトダイオードの位置、大きさ、形状等を適切に設定したり、フォトダイオードを適切に選択したりすることにより、上述のＬ字タイプの遮光膜１２１ｂによる入射光指向性と同等の入射光指向性を実現することができる。
　　　＜第２の変形例＞
　以上においては、横帯タイプ、縦帯タイプ、およびＬ字タイプの遮光膜について、遮光されている範囲がランダムに変化するように各画素に配置される例について説明してきたが、例えば、図１５の撮像素子１２１'で示されるように、矩形開口を設けた場合に、個々の画素において光線が受光する位置の近傍の範囲以外を遮光する遮光膜１２１ｂ（図中、黒色で示された範囲）を構成するようにしてもよい。
　すなわち、各画素について、矩形開口を設けた場合に、所定の被写体距離の被写体面を構成する点光源より出射される光線のうち、矩形開口を透過して受光される光線のみを受光するような入射角指向性を有するように遮光膜１２１ｂを設けるようにしてもよい。
　尚、図１５においては、例えば、水平方向の画素配列に対して、遮光膜１２１ｂの水平方向の幅が幅ｄｘ１，ｄｘ２，・・・ｄｘｎと変化しており、これが、ｄｘ１＜ｄｘ２＜・・・＜ｄｘｎの関係となる。同様に、垂直方向の画素配列に対して、遮光膜１２１ｂの垂直方向の高さが高さｄｙ１，ｄｙ２，・・・ｄｙｍと変化しており、これが、ｄｙ１＜ｄｙ２＜・・・＜ｄｘｍの関係となる。また、遮光膜１２１ｂの水平方向の幅、および垂直方向の幅の、それぞれの変化の間隔は、復元する被写体分解能（角度分解能）に依るものである。
　換言すれば、図１５の撮像素子１２１'における各画素１２１ａの構成は、水平方向および垂直方向に対して撮像素子１２１'内の画素配置に対応するように、遮光する範囲を変化させるような入射角指向性を持たせているといえる。
　より詳細には、図１５の各画素１２１ａの遮光範囲は、例えば、図１６の左部で示される画素１２１ａを用いて説明される規則に従って決定される。
　尚、図１６の右部は、図１５と同一の撮像素子１２１'の構成を示している。また、図１６の左部は、図１６（図１５と同一）の右部における撮像素子１２１'の画素１２１ａの構成を示している。
　図１６の左部で示されるように、画素１２１ａの上辺および下辺の端部から画素１２１ａ内に向かって、それぞれ幅ｄｘ１だけ遮光膜１２１ｂにより遮光し、左辺および右辺の端部から画素１２１ａ内に向かって、それぞれ高さｄｙ１だけ遮光膜１２１ｂにより遮光する。尚、図１５乃至図１７において、遮光膜１２１ｂは黒色で示された範囲である。
　図１６の左部において、遮光膜１２１ｂが、このように形成されることで遮光される範囲を、以降において、画素１２１ａの主遮光部Ｚ１０１（図１６左部の黒色部）と称し、それ以外の方形状の範囲を範囲Ｚ１０２と称する。
　画素１２１ａにおける、範囲Ｚ１０２内に、遮光膜１２１ｂにより遮光されない矩形開口部Ｚ１１１が設けられるものとする。したがって、範囲Ｚ１０２において、矩形開口部Ｚ１１１以外の範囲は、遮光膜１２１ｂにより遮光される。
　図１５の撮像素子１２１'内の画素配列は、図１６の右部（図１５と同一）で示されるように、左端部で、かつ、上端部の画素１２１ａ－１は、矩形開口部Ｚ１１１を、その左辺が画素１２１ａの左辺から幅ｄｘ１であって、その上辺が画素１２１ａの上辺からｄｙ１の距離に配置する構成とする。
　同様に、画素１２１ａ－１の右隣の画素１２１ａ－２は、矩形開口部Ｚ１１１を、その左辺が画素１２１ａの左辺から幅ｄｘ２であって、その上辺が画素１２１ａの上辺から高さｄｙ１の距離に配置して、矩形開口部Ｚ１１１以外の範囲を遮光膜１２１ｂにより遮光する構成とする。
　以下同様に、水平方向に隣接する画素１２１ａは、配置が図中の右側に進むにしたがって、矩形開口部Ｚ１１１の右辺が、画素１２１ａの右辺から幅ｄｘ１，ｄｘ２・・・ｄｘｎと移動する。尚、図１６の範囲Ｚ１０２における右上部の点線の方形部分が、矩形開口部Ｚ１１１を、その左辺が画素１２１ａの左辺から幅ｄｘｎであって、その上辺が画素１２１ａの上辺から高さｄｙ１の距離に配置したときの状態を示している。また、幅ｄｘ１，ｄｘ２・・・ｄｘｎのそれぞれの間隔は、範囲Ｚ１０２の水平方向の幅から矩形開口部Ｚ１１１の幅を引いた幅を水平方向の画素数ｎで割った値となる。すなわち、水平方向の画素数ｎで割ることにより水平方向の変化の間隔が決定される。
　また、撮像素子１２１'における画素１２１ａ内の矩形開口部Ｚ１１１の水平方向の位置は、撮像素子１２１'内における水平方向の位置が同一の画素１２１ａ（同一の列の画素１２１ａ）内において同一になる。
　さらに、画素１２１ａ－１の直下に隣接する画素１２１ａ－３は、矩形開口部Ｚ１１１を、その左辺が画素１２１ａの左辺から幅ｄｘ１であって、その上辺が画素１２１ａの上辺から高さｄｙ２の距離に配置して、矩形開口部Ｚ１１１以外の範囲を遮光膜１２１ｂにより遮光する構成とする。
　以下同様に、垂直方向に隣接する画素１２１ａは、配置が図中の下側に進むにしたがって、矩形開口部Ｚ１１１の上辺が、画素１２１ａの上辺から高さｄｙ１，ｄｙ２・・・ｄｙｎと移動する。尚、図１６の範囲Ｚ１０２における左下部の点線の方形部分が、矩形開口部Ｚ１１１を、その左辺が画素１２１ａの左辺から幅ｄｘ１であって、その上辺が画素１２１ａの上辺から高さｄｙｍの距離に配置したときの状態を示している。また、高さｄｙ１，ｄｙ２・・・ｄｙｍのそれぞれの間隔は、範囲Ｚ１０２の垂直方向の高さから矩形開口部Ｚ１１１の高さを引いた高さを垂直方向の画素数ｍで割った値となる。すなわち、垂直方向の画素数ｍで割ることにより垂直方向の変化の間隔が決定される。
　また、撮像素子１２１'における画素１２１ａ内の矩形開口部Ｚ１１１の垂直方向の位置は、撮像素子１２１'内における垂直方向の位置が同一の画素１２１ａ（同一の行の画素１２１ａ）内において同一になる。
　さらに、図１６（図１５）で示される撮像素子１２１'を構成する各画素１２１ａの主遮光部Ｚ１０１、および矩形開口部Ｚ１１１を変化させることで、画角を変化させることができる。
　図１７の右部は、図１６（図１５）の撮像素子１２１'に対して画角を広くする場合の撮像素子１２１'の構成を示している。また、図１７の左部は、図１７の右部における撮像素子１２１'の画素１２１ａの構成を示している。
　すなわち、図１７の左部で示されるように、例えば、画素１２１ａ内に、図１６における主遮光部Ｚ１０１よりも遮光範囲が狭い主遮光部Ｚ１５１（図１７左部の黒色部）を設定し、それ以外の範囲を範囲Ｚ１５２に設定する。さらに、範囲Ｚ１５２内に、矩形開口部Ｚ１１１よりも開口面積が広い矩形開口部Ｚ１６１を設定する。
　より詳細には、図１７の左部で示されるように、画素１２１ａの上辺および下辺の端部から画素１２１ａ内に向かって、それぞれ幅ｄｘ１'（＜ｄｘ１）だけ遮光膜１２１ｂにより遮光され、左辺および右辺の端部から画素１２１ａ内に向かって、それぞれ高さｄｙ１'（＜ｄｙ１）だけ遮光膜１２１ｂにより遮光されることで、矩形開口部Ｚ１６１が形成される。
　ここで、図１７の右部で示されるように、左端部で、かつ、上端部の画素１２１ａ－１は、矩形開口部Ｚ１６１を、その左辺が画素１２１ａの左辺から幅ｄｘ１'であって、その上辺が画素１２１ａの上辺から高さｄｙ１'の距離に配置して、矩形開口部Ｚ１６１以外の範囲を遮光膜１２１ｂにより遮光する構成とする。
　同様に、画素１２１ａ－１の右隣の画素１２１ａ－２は、矩形開口部Ｚ１６１を、その左辺が画素１２１ａの左辺から幅ｄｘ２'であって、その上辺が画素１２１ａの上辺から高さｄｙ１'に配置して、矩形開口部Ｚ１６１以外の範囲を遮光膜１２１ｂにより遮光する構成とする。
　以下同様に、水平方向に隣接する画素１２１ａは、配置が図中の右側に進むにしたがって、矩形開口部Ｚ１６１の右辺が、画素１２１ａの右辺から幅ｄｘ１'、ｄｘ２'・・・ｄｘｎ'と移動する。ここで、幅ｄｘ１'、ｄｘ２'・・・ｄｘｎ'のそれぞれの間隔は、範囲Ｚ１５２の水平方向の幅から矩形開口部Ｚ１６１の水平方向の幅を引いた幅を、水平方向の画素数ｎで割った値となる。すなわち、水平方向の画素数ｎで割ることにより垂直方向の変化の間隔が決定される。したがって、幅ｄｘ１'、ｄｘ２'・・・ｄｘｎ'の変化の間隔は、幅ｄｘ１、ｄｘ２・・・ｄｘｎの変化の間隔より大きくなる。
　また、図１７の撮像素子１２１'における画素１２１ａ内の矩形開口部Ｚ１６１の水平方向の位置は、撮像素子１２１'内における水平方向の位置が同一の画素１２１ａ（同一の列の画素１２１ａ）内において同一になる。
　さらに、画素１２１ａ－１の直下に隣接する画素１２１ａ－３は、矩形開口部Ｚ１６１を、その左辺が画素１２１ａの左辺から幅ｄｘ１'であって、その上辺が画素１２１ａの上辺から高さｄｙ２'に配置して、矩形開口部Ｚ１６１以外の範囲を遮光膜１２１ｂにより遮光する構成とする。
　以下同様に、垂直方向に隣接する画素１２１ａは、配置が図中の下側に進むにしたがって、矩形開口部Ｚ１６１の上辺が、画素１２１ａの上辺から高さｄｙ１'、ｄｙ２'・・・ｄｙｍ'と変化する。ここで、高さｄｙ１'、ｄｙ２'・・・ｄｙｍ'の変化の間隔は、範囲Ｚ１５２の垂直方向の高さから矩形開口部Ｚ１６１の高さを引いた高さを垂直方向の画素数ｍで割った値となる。すなわち、垂直方向の画素数ｍで割ることにより垂直方向の変化の間隔が決定される。したがって、高さｄｙ１'、ｄｙ２'・・・ｄｙｍ'の変化の間隔は、幅高さｄｙ１、ｄｙ２・・・ｄｙｍの変化の間隔より大きくなる。
　また、図１７の撮像素子１２１'における画素１２１ａ内の矩形開口部Ｚ１６１の垂直方向の位置は、撮像素子１２１'内における垂直方向の位置が同一の画素１２１ａ（同一の行の画素１２１ａ）内において同一になる。
　このように、主遮光部の遮光範囲と開口部の開口範囲との組み合わせを変化させることで、様々な画角の（様々な入射角指向性を持った）画素１２１ａからなる撮像素子１２１'を実現することが可能となる。
　さらに、同一の画角の画素１２１ａのみならず、様々な画角の画素１２１ａを組み合わせて撮像素子１２１を実現させるようにしてもよい。
　例えば、図１８で示されるように、点線で示される２画素×２画素からなる４画素を１個の単位Ｕとして、それぞれの単位Ｕが、広画角の画素１２１ａ－Ｗ、中画角の画素１２１ａ－Ｍ、狭画角の画素１２１ａ－Ｎ、極狭画角の画素１２１ａ－ＡＮの４画素から構成されるようにする。
　この場合、例えば、全画素１２１ａの画素数がXである場合、４種類の画角ごとにX/4画素ずつの検出画像を用いて復元画像を復元することが可能となる。この際、画角毎に異なる４種類の係数セットが使用されて、４種類の異なる連立方程式により、それぞれ異なる画角の復元画像が復元される。
　このため、復元する画角の復元画像を、復元する画角の撮像に適した画素から得られる検出画像を用いて復元することで、４種類の画角に応じた適切な復元画像を復元することが可能となる。
　また、４種類の画角の中間の画角や、その前後の画角の画像を、４種類の画角の画像から補間生成するようにしてもよく、様々な画角の画像をシームレスに生成することで、疑似的な光学ズームを実現するようにしてもよい。
　以上においては遮光膜について説明したが、この例の説明は、画素内に配置した複数のフォトダイオードを選択的に用いることにより入射角指向性を持たせる場合にも適用することができる。つまり、例えば、分割位置（各部分領域の大きさや形状）や、各フォトダイオードの位置、大きさ、形状等を適切に設定したり、フォトダイオードを適切に選択したりすることにより、上述した矩形開口を有する遮光膜１２１ｂによる入射光指向性と同等の入射光指向性を実現することができる。勿論、この場合も、様々な画角の画素１２１ａを組み合わせて撮像素子１２１を実現させることもできる。また、中間の画角や、その前後の画角の画像を、複数種類の画角の画像から補間生成するようにしてもよく、様々な画角の画像をシームレスに生成することで、疑似的な光学ズームを実現するようにしてもよい。
　　　＜第３の変形例＞
　ところで、撮像素子１２１における画素１２１ａの遮光膜１２１ｂの遮光している範囲にランダム性を持たせている場合、遮光膜１２１ｂの遮光している範囲の違いの乱雑さが大きいほど、復元部３２１等による処理の負荷は大きなものとなる。そこで、画素１２１ａの遮光膜１２１ｂの遮光している範囲の変化の一部を規則的なものとして、この乱雑さを低減させることで、処理負荷を低減させるようにしてもよい。
　すなわち、例えば、縦帯タイプと横帯タイプとを組み合わせたＬ字タイプの遮光膜１２１ｂを構成するようにして、所定の列方向に対しては、同一幅の横帯タイプの遮光膜１２１ｂを組み合わせ、所定の行方向に対しては、同一の高さの縦帯タイプの遮光膜１２１ｂを組み合わせることで、列方向および行方向で規則性を持たせつつ、画素単位ではランダムに変化するようにすることで、各画素の入射角指向性における乱雑さを低減させ、復元部３２１等の撮像素子１２１の外部の処理負荷を低減させるようにしてもよい。
　すなわち、例えば、図１９の撮像素子１２１''で示されるように、範囲Ｚ１３０で示される同一列の画素については、いずれも同一の幅Ｘ０の横帯タイプの遮光膜１２１ｂが用いられ、範囲Ｚ１５０で示される同一行の画素については、同一の高さＹ０の縦帯タイプの遮光膜１２１ｂが用いられ、各行列で特定される画素１２１ａについては、これらが組み合わされたＬ字タイプの遮光膜１２１ｂが設定されている。
　同様に、範囲Ｚ１３０に隣接する範囲Ｚ１３１で示される同一列の画素については、いずれも同一の幅Ｘ１の横帯タイプの遮光膜１２１ｂが用いられ、範囲Ｚ１５０に隣接する範囲Ｚ１５１で示される同一行の画素については、同一の高さＹ１の縦帯タイプの遮光膜１２１ｂが用いられ、各行列で特定される画素１２１ａについては、これらが組み合わされたＬ字タイプの遮光膜１２１ｂが設定されている。
　さらに、範囲Ｚ１３１に隣接する範囲Ｚ１３２で示される同一列の画素については、いずれも同一の幅Ｘ２の横帯タイプの遮光膜が用いられ、範囲Ｚ１５１に隣接する範囲Ｚ１５２で示される同一行の画素については、同一の高さＹ２の縦帯タイプの遮光膜が用いられ、各行列で特定される画素１２１ａについては、これらが組み合わされたＬ字タイプの遮光膜１２１ｂが設定されている。
　このようにすることで、遮光膜１２１ｂの水平方向の幅および位置、並びに、垂直方向の高さおよび位置に規則性を持たせつつ、画素単位で遮光膜の範囲を変化させることができるので、入射角指向性の乱雑さを抑え込むことができ、結果として、係数セットのパターンを低減させることが可能となり、後段（例えば、復元部３２１等）における演算処理の処理負荷を低減させることが可能となる。
　より詳細には、図２０の右上部で示されるように、Ｎ画素×Ｎ画素の検出画像ＰｉｃからＮ×Ｎ画素の復元画像を求める場合、Ｎ×Ｎ行１列の復元画像の各画素の画素値を要素とするベクトルＸ、Ｎ×Ｎ行１列の検出画像の各画素の画素値を要素とするベクトルＹ、および、係数セットからなるＮ×Ｎ行Ｎ×Ｎ列の行列Ａにより、図２０の左部で示されるような関係が成立する。
　すなわち、図２０においては、係数セットからなるＮ×Ｎ行Ｎ×Ｎ列の行列Ａの各要素と、復元画像を表すＮ×Ｎ行１列のベクトルＸとを乗算した結果が、検出画像を表すＮ×Ｎ行１列のベクトルＹとなることが示されており、この関係から連立方程式が求められる。
　尚、図２０においては、行列Ａの範囲Ｚ２０１で示される１列目の各要素が、ベクトルＸの１行目の要素に対応しており、行列Ａの範囲Ｚ２０２で示されるＮ×Ｎ列目の各要素が、ベクトルＸのＮ×Ｎ行目の要素に対応していることを示している。
　換言すれば、図２０で示される行列式に基づいた連立方程式を解くことにより、ベクトルＸの各要素が求められることにより復元画像が求められる。また、ピンホールを用いた場合、および、撮像レンズ等の、同じ方向から入射した入射光を互いに隣接する画素出力単位の双方へ入射させるための集光機能を用いた場合、各画素の位置と光の入射角度の関係が一意に定まるので、行列Ａは、正方行列であって対角成分（（i,i）要素）が全て１からなり、対角成分以外が全て０からなる対角行列になる。逆に、図３の撮像素子１２１のようにピンホールおよび撮像レンズのいずれも用いない場合、各画素の位置と光の入射角度の関係は一意に定まらないので、行列Ａは対角行列にならない。
　ところで、一般的に、図２０の行列式は、両辺に行列Ａの逆行列Ａ－１を左から乗じることにより、図２１で示されるように変形され、検出画像のベクトルＹに逆行列Ａ－１を右から乗じることで、検出画像であるベクトルＸの各要素が求められる。
　しかしながら、現実の行列Ａは、正確に求められない、正確に測定できない、行列Ａの基底ベクトルが線形従属に近いケースで解けない、および、検出画像の各要素にノイズが含まれるといった理由のいずれか、または組み合わせで、連立方程式を解くことができないことがある。
　そこで、様々な誤差に対してロバストな構成を考え、正則化最小二乗法の概念を用いた、以下の式（７）をとる。
Figure JPOXMLDOC01-appb-M000001
 　・・・（７）
　ここで、式（７）にｘの上部に「＾」が付されたものは、ベクトルＸを、Ａは、行列Ａを、Ｙは、ベクトルＹを、γはパラメータを、||Ａ||はL2ノルム（二乗和平方根）を表している。ここで、第一項は、図２０の両辺の差異を最小にするときのノルムであり、第二項は正則化項である。
　この式（７）をｘについて解くと、以下の式（８）で表現される。
Figure JPOXMLDOC01-appb-M000002
 　・・・（８）
　しかしながら、行列Ａは、膨大なサイズであるので、計算時間や計算に大容量のメモリが必要になる。
　そこで、例えば、図２２で示されるように、行列Ａを、Ｎ行Ｎ列の行列ＡＬと、Ｎ行Ｎ列の行列ＡＲＴとに分解し、それぞれ復元画像を表すＮ行Ｎ列の行列Ｘの前段と後段とから掛けた結果が、検出画像を表すＮ行Ｎ列の行列Ｙとなるようにすることを考える。これにより、要素数（Ｎ×Ｎ）×（Ｎ×Ｎ）の行列Ａに対して、要素数が（Ｎ×Ｎ）の行列ＡＬ、ＡＲＴとなるので、要素数を１／（Ｎ×Ｎ）に小さくすることができる。結果として、要素数が（Ｎ×Ｎ）からなる２個の行列ＡＬ，ＡＲＴを用いるだけで済むので、計算量とメモリの容量を低減させることができる。
　ここで、ＡＴは、行列Ａの転置行列であり、γはパラメータであり、Ｉは、単位行列である。式（８）におけるカッコ内の行列を行列ＡＬとし、行列Ａの転置行列の逆行列を行列ＡＲＴとすることで。図２２で示される行列式を実現する。
　このように図２２で示されるような計算は、図２３で示されるように、行列Ｘにおける注目要素Ｘｐに対しては、行列ＡＬの対応する列の各要素群Ｚ２２１を乗算することで、要素群Ｚ２２２が求められる。さらに、要素群Ｚ２２２と行列ＡＲＴの注目要素Ｘｐに対応する行の要素とを乗算することで、注目要素Ｘｐに対応する２次元応答Ｚ２２４が求められる。そして、行列Ｘの全要素に対応する２次元応答Ｚ２２４が積算されることで行列Ｙが求められる。
　そこで、行列ＡＬの各行に対応する要素群Ｚ２２１（図２３）には、図１９で示される撮像素子１２１の列毎に同一の幅に設定される横帯タイプの画素１２１ａの入射角指向性に対応する係数セットを持たせる。
　同様に、行列ＡＲＴの各行の要素群Ｚ２２３（図２３）には、図１９で示される撮像素子１２１の行毎に設定される同一の高さに設定される縦帯タイプの画素１２１ａの入射角指向性に対応する係数セットを持たせる。
　この結果、検出画像に基づいて、復元画像を復元する際に使用する行列を小さくさせることが可能となるので、計算量が低減することで、処理速度を向上させ、計算に係る電力消費を低減させることが可能となる。また、行列を小さくできるので、計算に使用するメモリの容量を低減させることが可能となり、装置コストを低減させることが可能となる。
　尚、図１９の例においては、水平方向、および垂直方向に所定の規則性を持たせつつ、画素単位で遮光される範囲（受光できる範囲）を変化させる例が示されているが、本開示の技術においては、このように画素単位で遮光される範囲（受光できる範囲）が、完全にランダムに設定されてはいないものの、ある程度ランダムに設定されるものについても、ランダムに設定されるものとみなす。換言すれば、本開示においては、画素単位で遮光される範囲（受光できる範囲）が完全にランダムに設定される場合のみならず、ある程度ランダムなもの（例えば、全画素のうち、一部については規則性を持たせた範囲を含むが、その他の範囲はランダムである場合）、または、ある程度規則性がなさそうなもの（全画素のうち、図１９を参照して説明したような規則に従って配置されていることが確認できない配置の場合）についてもランダムであるものとみなす。
　以上においては遮光膜について説明したが、この例の説明は、画素内に配置した複数のフォトダイオードを選択的に用いることにより入射角指向性を持たせる場合にも適用することができる。つまり、例えば、分割位置（各部分領域の大きさや形状）や、各フォトダイオードの位置、大きさ、形状等を適切に設定したり、フォトダイオードを適切に選択したりすることにより、上述した画素１２１ａの遮光膜１２１ｂの遮光している範囲の変化の一部を規則的なものとした場合の入射光指向性と同等の入射光指向性を実現することができる。このようにすることにより、各画素の入射角指向性における乱雑さを低減させ、復元部１２２等の撮像素子１２１の外部の処理負荷を低減させることができる。
　　　＜第４の変形例＞
　画素単位の遮光膜１２１ｂの形状のバリエーションは、任意であり、上述した各例に限定されない。例えば、遮光膜１２１ｂを三角形に設定し、その範囲を異なるものとすることで異なる入射角指向性を持たせるようにしてもよいし、遮光膜１２ｂを円形に設定し、その範囲を異なるものとすることで異なる入射角指向性を持たせるようにしてもよい。また、例えば、斜め方向の線状の遮光膜などでも良い。
　また、所定数の複数の画素からなるユニットを構成する複数の画素単位で遮光膜１２１ｂのバリエーション（パターン）を設定するようにしてもよい。この１ユニットはどのような画素により構成されるようにしてもよい。例えば、撮像素子１２１がカラーフィルタを備えるものとし、そのカラーフィルタの色配列の単位を構成する画素により構成されるようにしてもよい。また、露光時間の異なる画素を組み合わせた画素グループをユニットとするようにしてもよい。なお、ユニットを構成する各画素における遮光膜１２１ｂが遮光する範囲のパターンのランダム性が高い方が、すなわち、ユニットを構成する画素がそれぞれに異なる入射角指向性を備えている方が望ましい。
　また、ユニット間で遮光膜１２１ｂの配置パターンを設定するようにしてもよい。例えば、ユニット毎に、遮光膜の幅や位置を変えるようにしてもよい。さらに、異なるカテゴリで分類される複数の画素からなるユニット内やユニット間で遮光膜１２１ｂが遮光する範囲のパターンを設定するようにしてもよい。
　以上においては遮光膜について説明したが、この例の説明は、画素内に配置した複数のフォトダイオードを選択的に用いることにより入射角指向性を持たせる場合にも適用することができる。つまり、例えば、分割位置（各部分領域の大きさや形状）や、各フォトダイオードの位置、大きさ、形状等を適切に設定したり、フォトダイオードを適切に選択したりすることにより、上述した画素１２１ａの遮光膜１２１ｂの遮光している範囲の変化の一部を規則的なものとした場合の入射光指向性と同等の入射光指向性を実現することができる。このようにすることにより、各画素の入射角指向性における乱雑さを低減させ、復元部１２２等の撮像素子１２１の外部の処理負荷を低減させることができる。
　以上においては遮光膜について説明したが、この例の説明は、画素内に配置した複数のフォトダイオードを選択的に用いることにより入射角指向性を持たせる場合にも適用することができる。つまり、分割位置（各部分領域の大きさや形状）や、各フォトダイオードの位置、大きさ、形状等を適切に設定したり、フォトダイオードを適切に選択したりすることにより、例えば、三角形、円形、斜め方向の線状等の、任意の形状の遮光膜による入射光指向性と同等の入射光指向性を実現することができる。
　また、例えば、分割位置（各部分領域の大きさや形状）の設定、各フォトダイオードの位置、大きさ、形状等の設定、およびフォトダイオードの選択等を、上述した遮光膜１２１ｂの場合と同様に、ユニット毎に設定するようにしてもよい。
　　　＜フォトダイオードの制御＞
　図６を参照して上述したような画素内に配置した複数のフォトダイオードを選択的に用いる場合、複数のフォトダイオード１２１ｆのそれぞれの画素出力単位の出力画素値への寄与の有無や程度を切り替えることにより画素出力単位の出力画素値の入射角指向性を様々に変化させることができるようにしてもよい。
　例えば、図２４に示されるように、画素１２１ａに、フォトダイオード１２１ｆ－１１１乃至１２１ｆ－１１９の９個（縦３個×横３個）のフォトダイオード１２１ｆが配置されているとする。この場合、この画素１２１ａを、フォトダイオード１２１ｆ－１１１乃至１２１ｆ－１１９を有する画素１２１ａ－ｂとして用いるようにしてもよいし、フォトダイオード１２１ｆ－１１１、１２１ｆ－１１２、１２１ｆ－１１４、および１２１ｆ－１１５を有する画素１２１ａ－ｓとして用いるようにしてもよい。
　例えば、画素１２１ａを画素１２１ａ－ｂとする場合、フォトダイオード１２１ｆ－１１１乃至１２１ｆ－１１９の当該画素１２１ａの出力画素値への寄与の有無や度合いを制御することによって出力画素値の入射角指向性が制御される。これに対して、画素１２１ａを画素１２１ａ－ｓとする場合、フォトダイオード１２１ｆ－１１１、１２１ｆ－１１２、１２１ｆ－１１４、および１２１ｆ－１１５の当該画素１２１ａの出力画素値への寄与の有無や度合を制御することによって出力画素値の入射角指向性が制御される。この場合、その他のフォトダイオード１２１ｆ（フォトダイオード１２１ｆ－１１３、１２１ｆ－１１６、１２１ｆ－１１７乃至１２１ｆ－１１９）は、出力画素値に寄与しないように制御される。
　つまり、例えば複数の画素１２１ａ－ｂ間で出力画素値の入射角指向性が互いに異なる場合、フォトダイオード１２１ｆ－１１１乃至１２１ｆ－１１９の内の少なくともいずれか１つの出力画素値への寄与の有無や度合いが異なる。これに対して、例えば複数の画素１２１ａ－ｓ間で出力画素値の入射角指向性が互いに異なる場合、フォトダイオード１２１ｆ－１１１、１２１ｆ－１１２、１２１ｆ－１１４、および１２１ｆ－１１５の内の少なくともいずれか１つの出力画素値への寄与の有無や度合いが異なり、その他のフォトダイオード１２１ｆ－１１３、１２１ｆ－１１６、１２１ｆ－１１７乃至１２１ｆ－１１９は、これらの画素間で共通して、出力画素値に寄与しない。
　なお、画素１２１ａを画素１２１ａ－ｂとするか画素１２１ａ－ｓとするかは、画素毎に設定することができる。また、この設定をユニット（複数画素）毎に行うことができるようにしてもよい。
　また、上述したように撮像素子１２１の各画素（各画素出力単位）にはオンチップレンズが１つ形成される。つまり、画素１２１ａが図２４に示される例のような構成の場合、図２５に示されるように、そのフォトダイオード１２１ｆ－１１１乃至１２１ｆ－１１９に対して１つのオンチップレンズ１２１ｃが設けられる。したがって、図２４を参照して説明したように画素１２１ａを画素１２１ａ－ｂとする場合も、画素１２１ａ－ｓとする場合も、１画素（１画素出力単位）と１つのオンチップレンズ１２１ｃとが１対１に対応する。
　以上においては撮像素子１２１について説明した。図２の撮像部１０１は、以上のような撮像素子１２１を有する。
　　＜復元領域の特定＞
　次に領域特定部１０２による復元領域（または非復元領域）の特定について説明する。例えば、図２６のＡに示される復元画像３０１において、人物３０２－１、人物３０２－２、および人物３０２－３が映り込んでいるとする。人物３０２－１乃至人物３０２－３を互いに区別する必要が無い場合、人物３０２と称する。例えば、各人物３０２の顔部分を公開したくない場合、各人物３０２の顔部分を含む所定の領域を復元しないようにすればよい。例えば、図２６のＡの復元画像３０１の場合、図２６のＢのように、人物３０２－１の顔部分を含む部分領域３０３－１、人物３０２－２の顔部分を含む部分領域３０３－２、および、人物３０２－３の顔部分を含む部分領域３０３－３を復元しないようにすればよい。
　そこで、例えば、図２６のＣに示されるように、検出画像３０４に対して、部分領域３０３－１と位置、形状、および大きさが同一の非復元領域３０５－１、部分領域３０３－２と位置、形状、および大きさが同一の非復元領域３０５－２、部分領域３０３－３と位置、形状、および大きさが同一の非復元領域３０５－３を設定する。非復元領域３０５－１乃至非復元領域３０５－３を互いに区別して説明する必要が無い場合、非復元領域３０５と称する。検出画像の非復元領域以外の領域は復元領域に設定される。つまり、復元領域３０６は、検出画像３０４の非復元領域３０５以外の領域を示す。
　このような非復元領域３０５を設定することにより、その非復元領域３０５を復元しないようにすることができる。つまり、検出画像の任意の部分領域を復元しないようにすることができる。換言するに、復元領域３０６を設定することにより、その復元領域３０６のみを復元することができる。つまり、検出画像の任意の部分領域のみを復元することができる。
　また、例えば、各人物３０２の顔部分を公開したくない場合、部分領域３０３のみを復元すればよい（部分領域３０３以外を復元しないようにすればよい）。この場合、上述の非復元領域３０５を復元領域とし、上述の復元領域３０６を非復元領域とすればよい。
　以上のように、復元領域および非復元領域は、検出画像において任意に設定することができるが、検出画像は、実際には、例えば図２６のＤに示される検出画像３０７のように、被写体の像が結像されておらず、ユーザが目視で被写体を視認することができない状態である。したがって、この検出画像３０７において、例えばユーザが目視で上述のように顔部分を特定し、非復元領域（または復元領域）を設定することは基本的に不可能である。
　そこで、AI（Artificial Intelligence）を用いて、復元領域（非復元領域）の特定を行う。例えば、図２６のＣに示されるような検出画像３０４と、その検出画像に対応する非復元領域３０５（復元領域３０６でもよい）とを教師データとして、機械学習（例えばディープラーニング等）を行う。なお、この教師データとする非復元領域３０５（復元領域３０６）は、例えば、ユーザ等により復元画像３０１から特定されたものを用いる。多数の教師データを用いてこのような機械学習を行い、特徴量を学習し、モデル化する。
　このような機械学習が予め行われ、その学習結果（学習データ）が学習データ記憶部１０３に記憶される。領域特定部１０２は、この学習結果（学習データ）を用いて、検出画像から復元領域（非復元領域）を特定する。
　このようにすることにより、検出画像において、人には視認不可能な被写体を特定することができ、復元領域（非復元領域）とすべき部分領域を特定することができる。
　　＜復元領域・非復元領域＞
　この復元領域（非復元領域）とする領域は、所定の特徴を有する領域として特定可能であればよい。つまり、このような復元領域（または非復元領域）を設定することにより、その特徴を有する任意の部分領域のみを復元したり、その部分領域を復元しないように他の領域を復元したりすることができる。その特徴は任意である。つまり、任意の特徴を有する任意の部分領域のみを復元したり、その部分領域を復元しないように他の領域を復元したりすることができる。
　例えば、復元画像における予め登録された被写体を含む領域かそれ以外の部分の領域に対応する検出画像の部分領域を復元領域（または非復元領域）としてもよい。このようにすることにより、予め登録された被写体を含む領域のみを復元したり、その領域を復元しないように他の領域を復元したりすることができる。例えば、人物を含む領域を復元領域（または非復元領域）としたり、その人物を含む領域以外を復元領域（または非復元領域）としたりしてもよい。もちろん、人物の代わりに、例えば犬や猫等の動物を対象の被写体としてもよいし、例えば車両や道具等の物体を対象の被写体としてもよい。
　また、復元画像におけるその被写体の予め登録された部位を含む領域かそれ以外の部分の領域に対応する検出画像の部分領域を復元領域（または非復元領域）としてもよい。このようにすることにより、予め登録された被写体の予め登録された部位を含む領域のみを復元したり、その領域を復元しないように他の領域を復元したりすることができる。
　例えば、人物の顔部分を含む領域を復元領域（または非復元領域）としたり、その顔部分を含む領域以外を復元領域（または非復元領域）としたりしてもよい。このようにすることにより、人物の顔部分を含む領域のみを復元したり、その領域を復元しないように他の領域を復元したりすることができる。もちろん、例えば手、足、上半身等、顔以外を対象の部位としてもよい。また、車両のナンバープレート、機械のアーム部、道路標識の標識部分等、人物以外の被写体の任意の部位を対象の部位としてもよい。
　また、復元画像における予め登録された人物を含む領域かそれ以外の部分の領域に対応する検出画像の部分領域を復元領域（または非復元領域）としてもよい。このようにすることにより、予め登録された人物を含む領域のみを復元したり、その領域を復元しないように他の領域を復元したりすることができる。例えば、特定の個人を含む領域を復元領域（または非復元領域）としたり、その個人を含む領域以外を復元領域（または非復元領域）としたりしてもよい。もちろん、その個人の予め登録された部位（顔等）を含む領域を復元領域（または非復元領域）としたり、その予め登録された部位を含む領域以外を復元領域（または非復元領域）としたりしてもよい。
　また、復元画像における予め登録された条件を満たす被写体を含む領域かそれ以外の部分の領域に対応する検出画像の部分領域を復元領域（または非復元領域）としてもよい。このようにすることにより、予め登録された条件を満たす被写体を含む領域のみを復元したり、その領域を復元しないように他の領域を復元したりすることができる。例えば、予め登録された動作を行う人物を含む領域を復元領域（または非復元領域）としたり、その予め登録された動作を行う人物を含む領域以外を復元領域（または非復元領域）としたりしてもよい。
　この条件とする動作は任意である。例えば、走る、歩く、ジャンプする、壁を乗り越える、座る、しゃがむ、運転する等であってもよいし、その他の動作であってもよい。また、例えば、画角内において左から右に向かって移動する被写体、上から下に向かって移動する被写体、奥から手前に向かって移動する被写体等を、予め登録された条件を満たす被写体としてもよい。なお、この被写体の動作（移動も含む）は、３次元空間の絶対座標系に対するものであってもよいし、相対的なものであってもよい。例えば、被写体の周辺（背景等）に対して被写体の位置や姿勢が変化する動作であってもよいし、撮像装置１００（撮像素子１２１）に対して被写体の位置や姿勢が変化する動作であってもよい。
　また、この条件は任意であり、動作以外でもよい。例えば、人数を条件としてもよいし、推定される人物の性別、年齢、身長、体重等を条件としてもよい。もちろん、被写体は人物以外でもよい。また、条件は、被写体に応じて設定されるようにしてもよいし、被写体毎に設定されるようにしてもよい。
　また、検出画像の予め登録された位置および大きさの部分領域を復元領域（または非復元領域）としてもよい。つまり、画像の内容（被写体）に依らずに、任意の部分領域を復元領域（または非復元領域）としてもよい。例えば、検出画像の右半分、左半分、周辺部、中央部等のように、検出画像の任意の位置、大きさ、形状の部分領域を復元領域（または非復元領域）としてもよい。
　より具体的な例は利用例として後述する。
　　＜非復元領域対応復元行列＞
　次に、復元行列更新部１０４により生成（設定）される非復元領域対応復元行列について説明する。復元画像は、図２０や図２１を参照して説明したように、復元行列（行列Ａ（または行列Ａ－１））を用いた行列演算により検出画像から復元される。つまり、復元領域の復元画像は、復元行列の、その復元領域に対応する係数と、検出画像のその復元領域に対応する画素値との行列演算により復元される。すなわち、復元領域についてのみ、この行列演算結果を導出することにより、復元領域の復元画像のみを復元することができる。
　換言するに、この行列演算において、非復元領域に対応する行列演算結果を導出しないようにすることにより、非復元領域を復元しないように復元画像を復元することができる。
　そこで、例えば、図２７に示されるように、復元行列の非復元領域に対応する係数を所定の値（例えば「０」）としてもよい。例えば、復元画像（図２７の"Scene Image（算出したいもの）"）の斜線部分に対応する復元行列（図２７の"Transfer Matrix（連立１次方程式の係数）"）の係数がその斜線部分であるとする。この復元画像の斜線部分を非復元領域とする場合、復元行列の斜線部分の係数の値を「０」にする。このようにすることにより、図２１に示されるような行列演算を行って、検出画像から復元画像を復元しても、復元画像の斜線部分の画素値は「０」となる（つまり復元されない）。
　復元行列更新部１０４は、復元領域情報に基づいて、このように非復元領域に対応する係数が「０」である非復元領域対応復元行列を生成（設定）する。つまり、復元行列更新部１０４は、検出画像全体に対応する復元行列である全体復元行列の係数の内の、復元領域に対応しない係数を予め登録された値（例えば「０」）にすることにより、復元領域の復元画像のみを復元するのに用いられる部分復元行列を生成（設定）してもよい。
　復元部１０５が、この非復元領域対応復元行列（部分復元行列）を用いて、検出画像から復元画像を復元すると、非復元領域の画素値が「０」の復元画像が得られる。つまり、復元部１０５は、この非復元領域対応復元行列を用いることにより、非復元領域が復元されないように、復元画像を復元することができる。
　なお、この復元行列更新部１０４が設定する復元行列の係数の「予め登録された値」は、任意であり、「０」以外であってもよい。つまり、この「予め登録された値」は、行列演算により被写体が視認可能とならない値であればよい。例えば、この「予め登録された値」は、非復元領域に対応する全係数において統一されていてもよいし、統一されていなくてもよい。例えば、この「予め登録された値」として、係数毎やブロック毎に異なる値が設定されてもよい。
　また、例えば、図２８に示されるように、復元行列の非復元領域に対応する係数を削除してもよい。図２８の例の場合、非復元領域（図２７の斜線部分）に対応する係数が削除されている。このようにすることにより非復元領域以外に対応する係数からなる復元行列（つまり、復元領域に対応する復元行列）が生成される。この復元行列を用いることにより、検出画像から復元領域の復元画像のみを復元することができる。
　復元行列更新部１０４は、復元領域情報に基づいて、このように非復元領域に対応する係数が削除された、すなわち、復元領域に対応する係数のみにより構成される非復元領域対応復元行列を生成（設定）する。つまり、復元行列更新部１０４は、検出画像全体に対応する復元行列である全体復元行列の係数の内の、復元領域に対応しない係数を削除することにより、復元領域の復元画像のみを復元するのに用いられる部分復元行列を生成（設定）してもよい。
　復元部１０５が、この非復元領域対応復元行列（部分復元行列）を用いて、検出画像から復元画像を復元すると、非復元領域の画素値が「０」の復元画像が得られる。つまり、復元部１０５は、この非復元領域対応復元行列を用いることにより、非復元領域が復元されないように、復元画像を復元することができる。
　ただし、この場合、非復元領域対応復元行列が検出画像全体に対応しない。つまり、上述したように非復元領域対応復元行列に非復元領域に対応する係数が含まれていない。したがって、非復元領域対応復元行列の各係数を検出画像の画素に対応させる情報（例えば、検出画像における復元領域（または非復元領域）を示す情報）が必要である。復元部１０５は、その情報に基づいて、検出画像における復元領域と非復元領域対応復元行列とを正しく対応させることができる。なお、この情報は、予め復元部１０５にとって既知であってもよいし、非復元領域対応復元行列とともに、復元行列更新部１０４から復元部１０５に供給されるようにしてもよい。
　　＜復元画像生成処理の流れ＞
　撮像装置１００が被写体を撮像し、その検出画像から、非復元領域を復元しないように復元画像を復元する復元画像生成処理の流れの例を、図２９のフローチャートを参照して説明する。
　復元画像生成処理が開始されると、撮像装置１００（図１）の撮像部１０１は、ステップＳ３０１において、撮像素子１２１を用いて被写体を撮像し、検出画像を生成する。
　ステップＳ３０２において、領域特定部１０２は、学習データ記憶部１０３から読み出した学習データに基づいて、ステップＳ３０１において生成された検出画像から復元領域（または非復元領域）を特定し、その復元領域を示す復元領域情報（または、非復元領域を示す非復元領域情報）を生成する。
　ステップＳ３０３において、復元行列更新部１０４は、ステップＳ３０２において生成された復元領域情報（または非復元領域情報）に基づいて、検出画像全体に対応する復元行列を更新し、非復元領域対応復元行列を生成する。
　ステップＳ３０４において、復元部１０５は、ステップＳ３０３において生成された非復元領域対応復元行列を用いて、非復元領域を復元しないように、ステップＳ３０１において生成された検出画像から復元画像を復元する。
　ステップＳ３０５において、復元部１０５は、ステップＳ３０４において復元領域のみが復元された復元画像を出力する。なお、ステップＳ３０４の処理を省略し、復元部１０５が、ステップＳ３０５において、ステップＳ３０１において生成された検出画像と、ステップＳ３０３において生成された非復元領域対応復元行列とを互いに関連付けて出力してもよい。
　ステップＳ３０５の処理が終了すると、復元画像生成処理が終了する。
　以上のように、領域特定部１０２は、復元領域（非復元領域）を特定することにより、復元する領域を制御することができる。したがって以上のように各処理を実行することにより、撮像装置１００は、任意の領域を復元しないように、復元画像を復元することができる。
　＜３．第２の実施の形態＞
　　＜３－１．画像処理システムの例１＞
　以上においては、撮像装置を例に本技術を説明したが、本技術は、この例に限らず、例えば画像処理装置、画像符号化装置、画像復号装置、情報処理装置、通信装置、電子機器、または複数の装置からなるシステム等、任意の構成に適用することができる。
　例えば、上述した撮像装置１００の構成を複数の装置により実現するようにしてもよい。図３０は、本技術を適用した画像処理システムの一実施の形態の主な構成例を示す図である。図３０に示される画像処理システム４００は、撮像装置１００と同様の機能を有するシステムであり、被写体を撮像し、得られた検出画像から復元画像を復元するシステムである。つまり、この画像処理システム４００は、撮像装置１００と同様、＜１．復元領域・非復元領域の特定＞において上述したように、検出画像に対して復元領域（非復元領域）を設定し、非復元領域を復元しないように、復元画像を復元することができる。
　図３０に示されるように、画像処理システム４００は、撮像装置４０１および画像処理装置４０２を有する。撮像装置４０１は、被写体を撮像して検出画像を生成し、その検出画像とその検出画像に対応する復元行列とを出力することができる。
　画像処理装置４０２は、外部から供給される検出画像およびその検出画像に対応する復元行列を取得し、その検出画像について復元領域（または非復元領域）を設定し、その復元領域を示す復元領域情報（または非復元領域を示す非復元領域情報）を生成することができる。また、画像処理装置４０２は、その復元領域情報に基づいて、取得された復元行列を更新し、復元領域のみを復元する（または非復元領域を復元しないように復元する）際に用いられる非復元領域対応復元行列を生成することができる。また、画像処理装置４０２は、その非復元領域対応復元行列を用いて、取得された検出画像から、復元領域のみを復元した復元画像（または非復元領域を復元しないように復元した復元画像）を生成し、出力することができる。
　このようにすることにより、画像処理装置４０２は、検出画像の任意の領域について、例えば公開・非公開を制御したり、不正流出や不正使用に対する情報の保護・非保護を制御したり、画像解析等の対象範囲を制御したり、提供するサービスのレベルを制御したりすることができる。また、撮像装置４０１から画像処理装置４０２への画像の伝送において、検出画像を伝送するので、情報を保護することができ、画像の不正流出や不正使用等によるプライバシー権の侵害等の発生を抑制することができる。
　撮像装置４０１は、撮像部１０１を有する。画像処理装置４０２は、領域特定部１０２乃至復元部１０５を有する。各処理部は、撮像装置１００の場合と同様の処理を行う。つまり、撮像装置４０１および画像処理装置４０２の各処理部は、例えば、図３１に示されるフローチャートのような流れで処理を行う。
　ステップＳ４０１において、撮像装置４０１の撮像部１０１は、撮像素子１２１を用いて被写体を撮像し、検出画像を生成する。ステップＳ４０２において、撮像装置４０１は、その検出画像と、その検出画像に対応する復元行列（全体復元行列）とを画像処理装置４０２に供給する。ステップＳ４１１において、画像処理装置４０２は、その供給された検出画像および復元行列を取得する。
　なお、装置間の情報の授受は、任意の方法で行うことができる。例えば、任意の通信媒体を介した通信により、検出画像および復元行列を撮像装置４０１から画像処理装置４０２に供給してもよい。この通信の方式は任意であり、有線通信であってもよいし、無線通信であってもよいし、その両方であってもよい。また、この通信は、例えばインターネットやLAN（Local Area Network）等の単数または複数のネットワークを介して行われてもよいし、通信装置や中継装置等、他の装置を介して行われてもよい。さらに、この通信は、サーバや所謂クラウドコンピューティングを介して行われてもよい。
　また、例えばリムーバブルなフラッシュメモリやハードディスク等、任意の記憶媒体を介して情報が授受されてもよい。つまり、授受される情報が供給元の装置に接続された任意の記憶媒体に記憶され、その記憶媒体が供給先の装置に接続され、その記憶媒体からその情報が読み出されるようにしてもよい。
　ステップＳ４１２において、画像処理装置４０２の領域特定部１０２は、学習データ記憶部１０３から読み出した学習データに基づいて、ステップＳ４１１において取得された検出画像から復元領域（または非復元領域）を特定し、その復元領域を示す復元領域情報（または非復元領域を示す非復元領域情報）を生成する。
　ステップＳ４１３において、復元行列更新部１０４は、その復元領域情報（または非復元領域情報）に基づいて、ステップＳ４１１において取得された復元行列を更新し、非復元領域対応復元行列を生成する。
　ステップＳ４１４において、復元部１０５は、ステップＳ４１３において生成された非復元領域対応復元行列を用いて、ステップＳ４１１において取得された検出画像から、復元領域のみを復元するように（換言するに、非復元領域を復元しないように）、復元画像を復元（生成）する。
　ステップＳ４１５において、画像処理装置４０２は、ステップＳ４１４において生成された、復元領域のみが復元された復元画像（換言するに、非復元領域を復元しないように復元された復元画像）を、画像処理装置４０２の外部に出力する。
　この外部への出力は、任意の通信路を介した通信により行われるようにしてもよいし、任意の記憶媒体を介して行われる（すなわち、情報を記憶媒体に記憶させて出力させる）ようにしてもよい。
　このように各処理を実行することにより、画像処理システム４００は、復元する領域を制御することができる。したがって、画像処理システム４００は、検出画像の任意の領域について、例えば公開・非公開を制御したり、不正流出や不正使用に対する情報の保護・非保護を制御したり、画像解析等の対象範囲を制御したり、提供するサービスのレベルを制御したりすることができる。また、撮像装置４０１から画像処理装置４０２への画像の伝送において、検出画像を伝送するので、情報を保護することができ、画像の不正流出や不正使用等によるプライバシー権の侵害等の発生を抑制することができる。
　なお、ステップＳ４１４の処理を省略し、ステップＳ４１５において、画像処理装置４０２が、検出画像と非復元領域対応復元行列とを関連付けて、外部に出力してもよい。つまり、復元画像の復元は、画像処理装置４０２の外部で行ってもよく、その場合、復元部１０５は、この復元を行わずに、検出画像と非復元領域対応復元行列とを関連付けて、画像処理装置４０２の外部の、復元処理を行う復元装置に出力する。このようにすることにより、画像処理装置４０２は、情報を保護した状態で復元装置（他の装置）に画像を伝送することができる。したがって、画像の不正流出や不正使用等によるプライバシー権の侵害等の発生を抑制することができる。
　また、以上のような画像処理システム４００において、復元部１０５が撮像装置４０１に設けられるようにしてもよい。その場合、復元行列更新部１０４は、導出した非復元領域対応復元行列を、その撮像装置４０１の復元部１０５に供給する。つまり、非復元領域対応復元行列が、画像処理装置４０２から撮像装置４０１に伝送される。そして、撮像装置４０１の復元部１０５は、その画像処理装置４０２の復元行列更新部１０４から供給される非復元領域対応復元行列を用いて、撮像部１０１から供給される検出画像から、復元領域のみを復元するように（換言するに、非復元領域を復元しないように）、復元画像を復元（生成）する。
　さらに、復元行列更新部１０４も撮像装置４０１に設けられるようにしてもよい。その場合、領域特定部１０２は、復元領域情報を、その撮像装置４０１の復元行列更新部１０４に供給する。つまり、復元領域情報が、画像処理装置４０２から撮像装置４０１に伝送される。そして、撮像装置４０１の復元行列更新部１０４は、その画像処理装置４０２の領域特定部１０２から供給される復元領域情報に基づいて、撮像部１０１から供給される復元行列を更新し、非復元領域対応復元行列を生成する。撮像装置４０１の復元部１０５は、その非復元領域対応復元行列を用いて、撮像部１０１から供給される検出画像から、復元領域のみを復元するように（換言するに、非復元領域を復元しないように）、復元画像を復元（生成）する。
　これらの場合も、撮像装置４０１から画像処理装置４０２への画像の伝送において、検出画像が伝送されるので、画像処理システム４００は、情報を保護することができ、画像の不正流出や不正使用等によるプライバシー権の侵害等の発生を抑制することができる。
　　＜３－２．画像処理システムの例２＞
　図３２は、本技術を適用した画像処理システムの他の実施の形態の主な構成例を示す図である。図３２に示される画像処理システム４１０は、画像処理システム４００（図３０）と同様、被写体を撮像し、得られた検出画像から復元画像を復元するシステムであり、検出画像に対して復元領域（非復元領域）を設定し、非復元領域を復元しないように、復元画像を復元することができる。
　図３２に示されるように、画像処理システム４１０は、撮像装置４１１、画像処理装置４１２、および復元装置４１３を有する。撮像装置４１１は、撮像装置４０１と同様、被写体を撮像して検出画像を生成し、その検出画像とその検出画像に対応する復元行列とを出力することができる。
　画像処理装置４１２は、外部から供給される検出画像およびその検出画像に対応する復元行列を取得し、その検出画像について復元領域（または非復元領域）を設定し、その復元領域を示す復元領域情報（または非復元領域を示す非復元領域情報）を生成することができる。また、画像処理装置４１２は、その復元領域情報に基づいて、取得された復元行列を更新し、その復元領域のみを復元する（または非復元領域を復元しないように復元する）際に用いられる非復元領域対応復元行列を生成し、出力することができる。
　復元装置４１３は、外部から供給される非復元領域対応復元行列および検出画像を取得し、その非復元領域対応復元行列を用いて、その検出画像から、復元領域のみを復元した復元画像（または非復元領域を復元しないように復元した復元画像）を生成し、出力することができる。
　撮像装置４１１は、撮像部１０１を有する。画像処理装置４１２は、領域特定部１０２乃至復元行列更新部１０４を有する。復元装置４１３は、復元部１０５を有する。各処理部は、撮像装置１００の場合と同様の処理を行う。つまり、撮像装置４１１、画像処理装置４１２、および復元装置４１３の各処理部は、例えば、図３３に示されるフローチャートのような流れで処理を行う。
　ステップＳ４２１において、撮像装置４１１の撮像部１０１は、撮像素子１２１を用いて被写体を撮像し、検出画像を生成する。
　ステップＳ４２２において、撮像装置４１１は、その検出画像と、その検出画像に対応する復元行列（全体復元行列）とを画像処理装置４１２に供給する。ステップＳ４３１において、画像処理装置４１２は、その供給された検出画像および復元行列を取得する。
　ステップＳ４２３において、撮像装置４１１は、その検出画像を復元装置４１３に供給する。ステップＳ４４１において、復元装置４１３は、その供給された検出画像を取得する。なお、装置間の情報の授受は、画像処理システム４００の場合と同様に、任意の方法で行うことができる。
　ステップＳ４３２において、画像処理装置４１２の領域特定部１０２は、学習データ記憶部１０３から読み出した学習データに基づいて、ステップＳ４３１において取得された検出画像から復元領域（または非復元領域）を特定し、その復元領域を示す復元領域情報（または非復元領域を示す非復元領域情報）を生成する。
　ステップＳ４３３において、復元行列更新部１０４は、その復元領域情報（または非復元領域情報）に基づいて、ステップＳ４３１において取得された復元行列を更新し、非復元領域対応復元行列を生成する。
　ステップＳ４３４において、画像処理装置４１２は、その非復元領域対応復元行列を復元装置４１３に供給する。ステップＳ４４２において、復元装置４１３は、その供給された非復元領域対応復元行列を取得する。
　ステップＳ４４３において、復元装置４１３の復元部１０５は、ステップＳ４４２において取得された非復元領域対応復元行列を用いて、ステップＳ４４１において取得された検出画像から、復元領域のみを復元するように（換言するに、非復元領域を復元しないように）、復元画像を復元（生成）する。
　ステップＳ４４４において、復元装置４１３は、ステップＳ４４３において生成された、復元領域のみが復元された復元画像（換言するに、非復元領域を復元しないように復元された復元画像）を、復元装置４１３の外部に出力する。
　この外部への出力は、任意の通信路を介した通信により行われるようにしてもよいし、任意の記憶媒体を介して行われる（すなわち、情報を記憶媒体に記憶させて出力させる）ようにしてもよい。
　このようにすることにより、復元装置４１３は、画像の所望の領域について、情報を保護した状態で画像を出力することができる。これにより、画像の不正流出や不正使用等によるプライバシー権の侵害等の発生を抑制することができる。また、このように各処理を実行することにより、画像処理システム４１０は、復元する領域を制御することができる。したがって、画像処理システム４１０は、検出画像の任意の領域について、例えば公開・非公開を制御したり、不正流出や不正使用に対する情報の保護・非保護を制御したり、画像解析等の対象範囲を制御したり、提供するサービスのレベルを制御したりすることができる。さらに、撮像装置４１１から復元装置４１３に対して検出画像として画像を伝送するので、情報を保護した状態でこの伝送を行うことができ、画像の不正流出や不正使用等によるプライバシー権の侵害等の発生を抑制することができる。また、その検出画像に対応する復元行列が、その検出画像と異なる経路で（画像処理装置４１２を介して）、撮像装置４０１から復元装置４１３に伝送される。したがって、情報の不正流出をより抑制することができる。
　なお、ステップＳ４４３の処理を省略し、ステップＳ４４４において、復元装置４１３が、検出画像と非復元領域対応復元行列とを関連付けて外部に出力してもよい。つまり、復元画像の復元は、復元装置４１３の外部で行ってもよく、その場合、復元部１０５は、この復元を行わずに、検出画像と非復元領域対応復元行列とを関連付けて、復元装置４１３の外部の、復元処理を行う他の復元装置に出力する。このようにすることにより、復元装置４１３は、情報を保護した状態で他の復元装置に画像を伝送することができる。したがって、画像の不正流出や不正使用等によるプライバシー権の侵害等の発生を抑制することができる。
　また、以上においては、検出画像が撮像装置４１１から復元装置４１３に供給されるように説明したが、この検出画像は、画像処理装置４１２を介して供給されるようにしてもよい。つまり、画像処理装置４１２が、撮像装置４１１から供給された検出画像と、その検出画像に対して生成した非復元領域対応復元行列とを、復元装置４１３に供給するようにしてもよい。その場合も、画像は検出画像として撮像装置４１１から復元装置４１３まで伝送されるので、情報の不正流出をより抑制することができる。
　　＜３－３．画像処理システムの例３＞
　図３４は、本技術を適用した画像処理システムの他の実施の形態の主な構成例を示す図である。図３４に示される画像処理システム４２０は、画像処理システム４１０（図３２）と同様、被写体を撮像し、得られた検出画像から復元画像を復元するシステムであり、検出画像に対して復元領域（非復元領域）を設定し、非復元領域を復元しないように、復元画像を復元することができる。
　図３４に示されるように、画像処理システム４２０は、撮像装置４２１、画像処理装置４２２、および復元装置４２３を有する。撮像装置４２１は、被写体を撮像して検出画像を生成し、その検出画像とその検出画像に対応する復元行列とを出力することができる。
　画像処理装置４２２は、外部から供給される検出画像およびその検出画像に対応する復元行列を取得し、その検出画像について復元領域（または非復元領域）を設定し、その復元領域を示す復元領域情報（または非復元領域を示す非復元領域情報）を生成し、出力することができる。
　復元装置４２３は、外部から供給される非復元領域対応復元行列および検出画像を取得し、その復元領域情報に基づいて、取得された復元行列を更新し、その復元領域のみを復元する（または非復元領域を復元しないように復元する）際に用いられる非復元領域対応復元行列を生成することができる。また、復元装置４２３は、その非復元領域対応復元行列を用いて、取得された検出画像から、復元領域のみを復元した復元画像（または非復元領域を復元しないように復元した復元画像）を生成し、出力することができる。
　撮像装置４２１は、撮像部１０１を有する。画像処理装置４２２は、領域特定部１０２および学習データ記憶部１０３を有する。復元装置４２３は、復元行列更新部１０４および復元部１０５を有する。各処理部は、撮像装置１００の場合と同様の処理を行う。つまり、撮像装置４２１、画像処理装置４２２、および復元装置４２３の各処理部は、例えば、図３５に示されるフローチャートのような流れで処理を行う。
　ステップＳ４５１において、撮像装置４２１の撮像部１０１は、撮像素子１２１を用いて被写体を撮像し、検出画像を生成する。
　ステップＳ４５２において、撮像装置４２１は、その検出画像を画像処理装置４２２に供給する。ステップＳ４６１において、画像処理装置４２２は、その供給された検出画像を取得する。なお、装置間の情報の授受は、画像処理システム４００の場合と同様に、任意の方法で行うことができる。
　ステップＳ４５３において、撮像装置４２１は、その検出画像と、その検出画像に対応する復元行列（全体復元行列）とを復元装置４２３に供給する。ステップＳ４７１において、復元装置４２３は、その供給された検出画像および復元行列を取得する。
　ステップＳ４６２において、画像処理装置４２２の領域特定部１０２は、学習データ記憶部１０３から読み出した学習データに基づいて、ステップＳ４６１において取得された検出画像から復元領域（または非復元領域）を特定し、その復元領域を示す復元領域情報（または非復元領域を示す非復元領域情報）を生成する。
　ステップＳ４６３において、画像処理装置４２２は、その復元領情報（または非復元領域情報）を復元装置４２３に供給する。ステップＳ４７２において、復元装置４２３は、その供給された復元領域情報（または非復元領域情報）を取得する。
　ステップＳ４７３において、復元装置４２３の復元行列更新部１０４は、ステップＳ４７２において取得された復元領域情報（または非復元領域情報）に基づいて、ステップＳ４７１において取得された復元行列を更新し、非復元領域対応復元行列を生成する。
　ステップＳ４７４において、復元部１０５は、その非復元領域対応復元行列を用いて、ステップＳ４７１において取得された検出画像から、復元領域のみを復元するように（換言するに、非復元領域を復元しないように）、復元画像を復元（生成）する。
　ステップＳ４７５において、復元装置４２３は、ステップＳ４７４において生成された、復元領域のみが復元された復元画像（換言するに、非復元領域を復元しないように復元された復元画像）を、復元装置４２３の外部に出力する。
　この外部への出力は、任意の通信路を介した通信により行われるようにしてもよいし、任意の記憶媒体を介して行われる（すなわち、情報を記憶媒体に記憶させて出力させる）ようにしてもよい。
　このようにすることにより、復元装置４２３は、画像の所望の領域について、情報を保護した状態で画像を出力することができる。これにより、画像の不正流出や不正使用等によるプライバシー権の侵害等の発生を抑制することができる。また、このように各処理を実行することにより、画像処理システム４２０は、復元する領域を制御することができる。したがって、画像処理システム４２０は、検出画像の任意の領域について、例えば公開・非公開を制御したり、不正流出や不正使用に対する情報の保護・非保護を制御したり、画像解析等の対象範囲を制御したり、提供するサービスのレベルを制御したりすることができる。さらに、撮像装置４２１から復元装置４２３に対して検出画像として画像を伝送するので、情報を保護した状態でこの伝送を行うことができ、画像の不正流出や不正使用等によるプライバシー権の侵害等の発生を抑制することができる。また、この場合、復元行列の更新が復元装置４２３において行われるので、画像処理装置４２２の負荷を、図３２の場合に比べて低減させることができる。
　なお、ステップＳ４７４の処理を省略し、ステップＳ４７５において、復元装置４２３が、検出画像と非復元領域対応復元行列とを関連付けて外部に出力してもよい。つまり、復元画像の復元は、復元装置４２３の外部で行ってもよく、その場合、復元部１０５は、この復元を行わずに、検出画像と非復元領域対応復元行列とを関連付けて、復元装置４２３の外部の、復元処理を行う他の復元装置に出力する。このようにすることにより、復元装置４２３は、情報を保護した状態で他の復元装置に画像を伝送することができる。したがって、画像の不正流出や不正使用等によるプライバシー権の侵害等の発生を抑制することができる。
　また、以上においては、検出画像が撮像装置４２１から復元装置４２３に供給されるように説明したが、この検出画像は、画像処理装置４２２を介して復元装置４２３に供給されるようにしてもよい。つまり、画像処理装置４２２が、撮像装置４２１から供給された検出画像と、その検出画像に対して生成した復元領域情報（または非復元領域情報）とを、復元装置４２３に供給するようにしてもよい。同様に、復元行列が、画像処理装置４２２を介して復元装置４２３に供給されるようにしてもよい。つまり、画像処理装置４２２が、撮像装置４２１から供給された復元行列と、その復元行列に対して生成した復元領域情報（または非復元領域情報）とを、復元装置４２３に供給するようにしてもよい。もちろん、検出画像および復元画像が、画像処理装置４２２を介して復元装置４２３に供給されるようにしてもよい。
　　＜３－４．画像処理システムの例４＞
　図３６は、本技術を適用した画像処理システムの他の実施の形態の主な構成例を示す図である。図３６に示される画像処理システム４３０は、画像処理システム４２０（図３４）と同様、被写体を撮像し、得られた検出画像から復元画像を復元するシステムであり、検出画像に対して復元領域（非復元領域）を設定し、非復元領域を復元しないように、復元画像を復元することができる。
　図３６に示されるように、画像処理システム４３０は、撮像装置４３１、および復元装置４３２を有する。撮像装置４３１は、被写体を撮像して検出画像を生成し、その検出画像とその検出画像に対応する復元行列とを出力することができる。また、撮像装置４３１は、その検出画像について復元領域（または非復元領域）を設定し、その復元領域を示す復元領域情報（または非復元領域を示す非復元領域情報）を生成し、出力することができる。
　復元装置４３２は、外部から供給される検出画像、その検出画像に対応する復元行列および復元領域情報を取得することができる。また、復元装置４３２は、取得された復元領域情報に基づいて、取得された復元行列を更新し、その復元領域のみを復元する（または非復元領域を復元しないように復元する）際に用いられる非復元領域対応復元行列を生成することができる。さらに、復元装置４３２は、その非復元領域対応復元行列を用いて、取得された検出画像から、復元領域のみを復元した復元画像（または非復元領域を復元しないように復元した復元画像）を生成し、出力することができる。
　撮像装置４３１は、撮像部１０１、領域特定部１０２、および学習データ記憶部１０３を有する。復元装置４３２は、復元行列更新部１０４および復元部１０５を有する。各処理部は、撮像装置１００の場合と同様の処理を行う。つまり、撮像装置４３１および復元装置４３２の各処理部は、例えば、図３７に示されるフローチャートのような流れで処理を行う。
　ステップＳ４８１において、撮像装置４３１の撮像部１０１は、撮像素子１２１を用いて被写体を撮像し、検出画像を生成する。
　ステップＳ４８２において、領域特定部１０２は、学習データ記憶部１０３から読み出した学習データに基づいて、ステップＳ４８１において生成された検出画像から復元領域（または非復元領域）を特定し、その復元領域を示す復元領域情報（または非復元領域を示す非復元領域情報）を生成する。
　ステップＳ４８３において、撮像装置４３１は、その検出画像、その検出画像に対応する復元行列、および、その復元領域情報（または非復元領域情報）を復元装置４３２に供給する。ステップＳ４９１において、復元装置４３２は、その供給された検出画像、復元行列、および復元領域情報（または非復元領域情報）を取得する。なお、装置間の情報の授受は、画像処理システム４００の場合と同様に、任意の方法で行うことができる。
　ステップＳ４９２において、復元装置４３２の復元行列更新部１０４は、ステップＳ４９１において取得された復元領域情報（または非復元領域情報）に基づいて、ステップＳ４９１において取得された復元行列を更新し、非復元領域対応復元行列を生成する。
　ステップＳ４９３において、復元部１０５は、その非復元領域対応復元行列を用いて、ステップＳ４９１において取得された検出画像から、復元領域のみを復元するように（換言するに、非復元領域を復元しないように）、復元画像を復元（生成）する。
　ステップＳ４９４において、復元装置４３２は、ステップＳ４９３において生成された、復元領域のみが復元された復元画像（換言するに、非復元領域を復元しないように復元された復元画像）を、復元装置４３２の外部に出力する。
　この外部への出力は、任意の通信路を介した通信により行われるようにしてもよいし、任意の記憶媒体を介して行われる（すなわち、情報を記憶媒体に記憶させて出力させる）ようにしてもよい。
　このようにすることにより、復元装置４３２は、画像の所望の領域について、情報を保護した状態で画像を出力することができる。これにより、画像の不正流出や不正使用等によるプライバシー権の侵害等の発生を抑制することができる。また、このように各処理を実行することにより、画像処理システム４３０は、復元する領域を制御することができる。したがって、画像処理システム４３０は、検出画像の任意の領域について、例えば公開・非公開を制御したり、不正流出や不正使用に対する情報の保護・非保護を制御したり、画像解析等の対象範囲を制御したり、提供するサービスのレベルを制御したりすることができる。さらに、撮像装置４３１から復元装置４３２に対して検出画像として画像を伝送するので、情報を保護した状態でこの伝送を行うことができ、画像の不正流出や不正使用等によるプライバシー権の侵害等の発生を抑制することができる。
　なお、ステップＳ４９３の処理を省略し、ステップＳ４９４において、復元装置４３２が、検出画像と非復元領域対応復元行列とを関連付けて外部に出力してもよい。つまり、復元画像の復元は、復元装置４３２の外部で行ってもよく、その場合、復元部１０５は、この復元を行わずに、検出画像と非復元領域対応復元行列とを関連付けて、復元装置４３２の外部の、復元処理を行う他の復元装置に出力する。このようにすることにより、復元装置４３２は、情報を保護した状態で他の復元装置に画像を伝送することができる。したがって、画像の不正流出や不正使用等によるプライバシー権の侵害等の発生を抑制することができる。
　　＜３－５．画像処理システムの例５＞
　図３８は、本技術を適用した画像処理システムの他の実施の形態の主な構成例を示す図である。図３８に示される画像処理システム４４０は、画像処理システム４３０（図３６）と同様、被写体を撮像し、得られた検出画像から復元画像を復元するシステムであり、検出画像に対して復元領域（非復元領域）を設定し、非復元領域を復元しないように、復元画像を復元することができる。
　図３８に示されるように、画像処理システム４４０は、撮像装置４４１および復元装置４４２を有する。撮像装置４４１は、被写体を撮像して検出画像を生成し、出力することができる。また、撮像装置４４１は、その検出画像について復元領域（または非復元領域）を設定し、その復元領域を示す復元領域情報（または非復元領域を示す非復元領域情報）を生成することができる。さらに、撮像装置４４１は、その復元領域情報に基づいて、生成した検出画像に対応する復元行列を更新し、その復元領域のみを復元する（または非復元領域を復元しないように復元する）際に用いられる非復元領域対応復元行列を生成し、出力することができる。
　復元装置４４２は、外部から供給される検出画像および非復元領域対応復元行列を取得することができる。また、復元装置４４２は、その非復元領域対応復元行列を用いて、その検出画像から、復元領域のみを復元した復元画像（または非復元領域を復元しないように復元した復元画像）を生成し、出力することができる。
　撮像装置４４１は、撮像部１０１乃至復元行列更新部１０４を有する。復元装置４４２は、復元部１０５を有する。各処理部は、撮像装置１００の場合と同様の処理を行う。つまり、撮像装置４４１および復元装置４４２の各処理部は、例えば、図３９に示されるフローチャートのような流れで処理を行う。
　ステップＳ５０１において、撮像装置４４１の撮像部１０１は、撮像素子１２１を用いて被写体を撮像し、検出画像を生成する。
　ステップＳ５０２において、領域特定部１０２は、学習データ記憶部１０３から読み出した学習データに基づいて、ステップＳ５０１において生成された検出画像から復元領域（または非復元領域）を特定し、その復元領域を示す復元領域情報（または非復元領域を示す非復元領域情報）を生成する。
　ステップＳ５０３において、復元行列更新部１０４は、ステップＳ５０２において生成された復元領域情報（または非復元領域情報）に基づいて、ステップＳ５０１において生成された検出画像に対応する復元行列を更新し、非復元領域対応復元行列を生成する。
　ステップＳ５０４において、撮像装置４４１は、その検出画像および非復元領域対応復元行列を復元装置４４２に供給する。ステップＳ５１１において、復元装置４４２は、その供給された検出画像および非復元領域対応復元行列を取得する。なお、装置間の情報の授受は、画像処理システム４００の場合と同様に、任意の方法で行うことができる。
　ステップＳ５１２において、復元装置４４２の復元部１０５は、ステップＳ５１１において取得された非復元領域対応復元行列を用いて、ステップＳ５１１において取得された検出画像から、復元領域のみを復元するように（換言するに、非復元領域を復元しないように）、復元画像を復元（生成）する。
　ステップＳ５１３において、復元装置４４２は、ステップＳ５１２において生成された、復元領域のみが復元された復元画像（換言するに、非復元領域を復元しないように復元された復元画像）を、復元装置４４２の外部に出力する。
　この外部への出力は、任意の通信路を介した通信により行われるようにしてもよいし、任意の記憶媒体を介して行われる（すなわち、情報を記憶媒体に記憶させて出力させる）ようにしてもよい。
　このようにすることにより、復元装置４４２は、画像の所望の領域について、情報を保護した状態で画像を出力することができる。これにより、画像の不正流出や不正使用等によるプライバシー権の侵害等の発生を抑制することができる。また、このように各処理を実行することにより、画像処理システム４４０は、復元する領域を制御することができる。したがって、画像処理システム４４０は、検出画像の任意の領域について、例えば公開・非公開を制御したり、不正流出や不正使用に対する情報の保護・非保護を制御したり、画像解析等の対象範囲を制御したり、提供するサービスのレベルを制御したりすることができる。さらに、撮像装置４４１から復元装置４４２に対して検出画像として画像を伝送するので、情報を保護した状態でこの伝送を行うことができ、画像の不正流出や不正使用等によるプライバシー権の侵害等の発生を抑制することができる。
　なお、ステップＳ５１２の処理を省略し、ステップＳ５１３において、復元装置４４２が、ステップＳ５１１において取得した検出画像および非復元領域対応復元行列を関連付けて外部に出力してもよい。つまり、復元画像の復元は、復元装置４４２の外部で行ってもよく、その場合、復元部１０５は、この復元を行わずに、検出画像と非復元領域対応復元行列とを関連付けて、復元装置４４２の外部の、復元処理を行う他の復元装置に出力する。このようにすることにより、復元装置４４２は、情報を保護した状態で他の復元装置に画像を伝送することができる。したがって、画像の不正流出や不正使用等によるプライバシー権の侵害等の発生を抑制することができる。
　＜４．利用例＞
　次に、本技術を適用する装置やシステム等の利用例について説明する。
　　＜車載装置・システム＞
　近年、車両にカメラを設置し、そのカメラにより撮像された撮像画像を解析し、その解析結果に基づいて、適宜、警告・注意喚起・案内等を行う装置やシステムが開発されている。また、その解析結果に基づいて、アクセル、ブレーキ、ハンドル等の操作（車両の運転に関する操作）を制御する装置やシステムも開発されている。さらに、撮像画像を記録として保存する所謂ドライブレコーダ等も開発されている。このような車両に搭載される車載装置や車載システム等に本技術を適用してもよい。
　その場合、その車載装置（または車載システム）が、上述の撮像画像の代わりに検出画像を生成するようにし、その検出画像に対して復元領域（または非復元領域）を設定することができるようにすればよい。
　その際、例えば、その車載装置（または車載システム）が設置された車両の走行速度に応じて、復元領域または非復元領域を設定してもよい。例えば、高速走行中（所定の速度以上で走行中）は、奥側（遠方、広角）を復元領域に設定し、低速走行中（所定の速度未満で走行中）は、手前側（近方、狭角）を復元領域に設定するようにしてもよい。換言するに、高速走行中は、手前側（近方、狭角）を非復元領域に設定し、低速走行中は、奥側（遠方、広角）を非復元領域に設定するようにしてもよい。
　また、被写体に応じて復元領域（または非復元領域）を設定してもよい。例えば、画角内に予め定められた所定の閾値より高速に進入する障害物や予め定められた所定の方向に進入する障害物を含む部分領域を、復元領域に設定したり、非復元領域に設定したりしてもよい。また、子供を含む部分領域は復元領域として設定するが、ボールは復元領域に含めないようにしてもよい。また、道路標識等は、復元領域に含めてもよい。
　このようにすることにより、車載装置（または車載システム）は、その復元領域のみを復元する（非復元領域を復元しない）ように、検出画像から復元画像を復元し、所望の領域のみを復元する（または所望の領域を復元しないようにする）ことができる。つまり、復元する領域を制御することができる。
　このようにすることにより、例えば、復元画像に対して画像解析を行う場合、不要な領域を復元しないことにより、その不要な領域の画像解析を省略（または簡略化）することができ、負荷の増大を抑制することができる。また、例えば不要な領域（または不要な被写体等）に対する画像解析結果によって状況判断や制御の誤りが生じることを抑制することができる。
　また、ドライブレコーダのように、検出画像を記録として保存する場合、人物の顔、ナンバープレート、フロントガラス等を含む領域を復元領域として設定したり、非復元領域として設定したりしてもよい。このようにすることにより、個人情報の流出等によるプライバシー侵害等の発生を抑制することができる。
　なお、この場合、用途（提供先）に応じて、非復元領域を復元することができるようにしてもよい。例えば、報道機関に映像提供する際には非復元領域を復元しないように、非復元領域対応復元行列を用いて復元画像を復元し、警察に提供する際には、非復元領域も復元するように、全体復元行列を用いて復元画像を復元してもよい。つまり、例えば、報道機関に対しては、復元領域のみを復元した復元画像（または非復元領域を復元しないように復元した復元画像）を提供し、警察に対しては、全体（復元領域および非復元領域）を復元した復元画像を提供するようにしてもよい。なお、報道機関に対して、検出画像と非復元領域対応復元行列とを供給し、その報道機関において、復元領域のみを復元した復元画像（または非復元領域を復元しないように復元した復元画像）を復元させるようにしてもよい。また、警察に対して、検出画像と、その検出画像に対応する復元行列（全体復元行列）とを供給し、その警察において、全体（復元領域および非復元領域）を復元した復元画像を復元させるようにしてもよい。
　　＜スマートフォン等＞
　また、所謂スマートフォン、タブレット端末、ノート型パーソナルコンピュータ等のような、撮像機能を有する携帯型情報処理端末装置等に本技術を適用してもよい。また、デジタルカメラやビデオカメラ等の撮像装置に本技術を適用してもよい。この場合、その携帯型情報処理端末装置や撮像装置が、被写体を撮像して撮像画像の代わりに検出画像を生成するようにし、その検出画像に対して復元領域（または非復元領域）を設定することができるようにすればよい。
　その際、例えば、背景全体を非復元領域に設定し、マスクするようにしてもよい。また、自分の顔（あるいは予め登録した複数の顔）以外は非復元領域に設定し、復元しないようにしてもよい。さらに、目がある辺りだけ非復元領域に設定し、復元しないようにしてもよい。このようにすることにより、個人情報の流出等によるプライバシー侵害等の発生を抑制することができる。
　　＜監視カメラ＞
　また、監視カメラを用いて監視を行う装置またはシステム等に、本技術を適用してもよい。この場合、その監視カメラが、被写体を撮像して撮像画像の代わりに検出画像を生成するようにし、その検出画像に対して復元領域（または非復元領域）を設定することができるようにすればよい。
　その際、例えば、人物の体全体、人物の顔、人物の手元等を非復元領域に設定し、復元しないようにしてもよい。例えば、ATM（Automatic Teller Machine）が設置された空間の監視カメラの場合、暗証番号を入力するユーザの手元を非復元領域に設定し、復元しないようにしてもよい。また、特定の建物や車両等を非復元領域に設定し、復元しないようにしてもよい。
　この場合も、用途に応じて、非復元領域を復元することができるようにしてもよい。例えば、報道機関に映像提供する際には非復元領域を復元しないように、非復元領域対応復元行列を用いて復元画像を復元し、警察に提供する際には、非復元領域も復元するように、全体復元行列を用いて復元画像を復元してもよい。
　　＜サービス提供レベルの制御＞
　また、例えば、画像配信サービス等において、本技術を適用してもよい。例えば、サーバから上述の検出画像を配信し、ユーザ側の端末装置においてその検出画像から復元画像を復元するようなシステムにおいて、ユーザの権限に応じて復元する領域を制御する（復元領域を特定する）ようにしてもよい。例えば、予めユーザＡの権限に対してユーザＡの子供を復元対象に設定しておき、ユーザＡに対して提供する検出画像にそのユーザＡの子供が含まれる場合、サーバは、その検出画像とともに、ユーザＡの子供を含む領域が復元領域に設定された非復元領域対応復元行列をユーザＡに提供し、その非復元領域対応復元行列を用いて復元画像を復元させる。つまり、ユーザＡに対しては、ユーザＡに対して許可した被写体（ユーザＡの子供）を含む部分領域のみを視認可能とすることができる。
　これに対して、同じ検出画像をユーザＢに提供する場合、サーバは、ユーザＢに対して許可した復元対象を含む領域が復元領域に設定された非復元領域対応復元行列をユーザＢに提供する。つまり、ユーザＢに対しては、ユーザＢに対して許可した被写体を含む部分領域のみを視認可能とすることができる。
　このように、ユーザ毎に（ユーザ権限）に応じて復元領域を設定し、非復元領域対応復元行列を提供することにより、サーバは、ユーザ毎に（ユーザ権限）に応じて復元する領域を制御することができる。つまり、サーバは、ユーザ毎に（ユーザ権限）に応じたサービスの提供を行う（サービス提供レベルの制御を行う）ことができる。
　　＜その他の例＞
　なお、復元画像の非復元領域は、加工してもよい。例えば、その非復元領域に対して、他の画像を合成してもよい。例えば人物の顔部分を非復元領域とする場合、適当なサンプル顔画像をその非復元領域に合成してもよい。このようにすることにより、復元画像が装飾され、例えば非復元領域を黒画像等で表現する場合よりも、復元画像の見栄えの良さの低減を抑制することができる。
　＜５．第３の実施の形態＞
　　＜車載装置＞
　次に、上述の利用例の内、車載装置の例についてより具体的に説明する。車載装置の構成は、任意であるが、例えば、図４０に示されるような構成を有してもよい。図４０は、本技術を適用した画像処理装置の一実施の形態である車載装置の主な構成例を示す図である。図４０に示される車載装置５００は、被写体を撮像し、その撮像画像を解析し、その解析結果に基づいて、例えば、アクセル、ブレーキ、ハンドル等の操作（車両の運転に関する操作）を制御したり、ヘッドライトの点灯、方向指示器の操作、空気調整装置や表示装置の操作等、車両設備に関する操作を制御したり、警告・注意喚起・案内等を行ったり、その撮像画像を記録として保存したりすることができる装置である。車載装置５００は、撮像装置１００等の場合と同様に、解析される撮像画像として、検出画像に対して復元領域（非復元領域）を設定し、非復元領域を復元しないように、復元画像を復元することができる。
　なお、図４０においては、処理部やデータの流れ等の主なものを示しており、図４０に示されるものが全てとは限らない。つまり、車載装置５００において、図４０においてブロックとして示されていない処理部が存在したり、図４０において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
　図４０に示されるように、車載装置５００は、撮像装置１００の場合と同様に、撮像部１０１乃至復元部１０５等を有する。これらの処理部は、撮像装置１００の場合と基本的に同様の処理を行う。
　また、車載装置５００は、センサ部５１１を有する。センサ部５１１は、任意のセンサを有し、被写体や撮像部１０１周辺（すなわち、車両および車両周辺の内の少なくともいずれか一方）に関する任意の情報を検出することができる検出部である。例えば、センサ部５１１は、測距センサ、温度センサ、加速度センサ等のセンサを有することができる。もちろん、これら以外のセンサを有していてもよい。例えば、センサ部５１１が、アクセル、ブレーキ、ハンドル等の操作具合を検出するセンサを有していてもよい。また、センサ部５１１が、その他の設備に対する操作具合を検出するセンサを有していてもよい。さらに、センサ部５１１が、音響センサや衝撃センサ等の、車両の衝突等を検知するセンサを有していてもよい。センサの数は任意であり、単数であってもよいし、複数であってもよい。また、センサ部５１１が検出する情報の数も任意である。例えば、センサ部５１１が複数種類のセンサを有し、複数種類の情報を検出するようにしてもよい。センサ部５１１は、検出した情報をセンサ情報として領域特定部１０２に供給し得る。
　領域特定部１０２は、上述したように、検出画像に対して復元領域（または非復元領域）を設定し、復元領域情報（または非復元領域情報）を生成する。その際、領域特定部１０２は、学習データおよびセンサ情報に基づいて、復元領域（非復元領域）を設定することができる。
　例えば、領域特定部１０２が、温度センサを用いて検出したセンサ情報（温度分布）に基づいて、被写体が人物であるか否かを判定し、その判定結果に基づいて復元領域（非復元領域）を設定してもよい。また、領域特定部１０２が、加速度センサが検出したセンサ情報（例えば車両速度）に応じて復元領域（非復元領域）を設定してもよい。さらに、領域特定部１０２が、測距センサが検出したセンサ情報（例えば他の車両や障害物との距離）に応じて復元領域（非復元領域）を設定してもよい。
　また、センサ部５１１が検出したアクセル、ブレーキ、ハンドル等の操作具合に基づいて、領域特定部１０２が、アクセル、ブレーキ、ハンドル等の急な操作の検出を行い、その検出結果に応じて復元領域（非復元領域）を設定してもよい。また、センサ部５１１が検出した音や衝撃に基づいて、領域特定部１０２が、復元領域（非復元領域）を設定してもよい。
　なお、復元領域（非復元領域）の設定は、任意に行うこともできるし、予め用意された所定の選択肢の中から条件に応じたものを選択する（設定を切り替える）ようにしてもよい。例えば、測距センサのセンサ情報に基づいて、他の車両と衝突する可能性が高いと判定された場合、復元領域を切り替えるようにしてもよい。
　このようにセンサ情報も用いて復元領域（または非復元領域）を設定することにより、領域特定部１０２は、より正確に復元領域（または非復元領域）を設定することができる。
　さらに、車載装置５００は、解析部５１２、制御部５１３、バス５２０、入力部５２１、表示部５２２、記憶部５２３、記憶媒体５２４、および通信部５２５を有する。表示部５２２乃至通信部５２５は、情報の出力に関する処理を行うことができるので、出力部５３０とも称する。
　解析部５１２は、復元部１０５から供給される復元画像（復元領域のみが復元された復元画像）を、バス５２０を介して取得し得る。解析部５１２は、その復元領域のみが復元された復元画像を解析し、例えば他の車両、人、障害物等を特定したり、車両の速度や姿勢等を特定したり、温度や明るさ等、車両周辺の状況を特定したりすることができる。解析部５１２は、その解析結果を、バス５２０を介して制御部５１３に供給し得る。
　制御部５１３は、解析部５１２から供給される解析結果を、バス５２０を介して取得し得る。制御部５１３は、その解析結果に基づいて、例えばアクセル、ブレーキ、ハンドル等の操作（車両の運転に関する操作）を制御したり、ヘッドライトの点灯、方向指示器の操作、空気調整装置や表示装置の操作等、車両設備に関する操作を制御したり、警告・注意喚起・案内等を行ったり、撮像画像を記録として保存させたりすることができる。
　入力部５２１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子等、任意の入力デバイスを有し、その入力デバイスを介して、ユーザ等の操作により入力された情報や、他の装置から供給された情報等を受け付けることができる。入力部５２１は、その受け付けた情報を、バス５２０を介して適宜他の処理部（任意の処理部）に供給することができる。
　また、復元部１０５から出力される復元画像（復元領域のみが復元された復元画像）は、バス５２０を介して、表示部５２２、記憶部５２３、または通信部５２５に供給され得る。
　表示部５２２は、例えば、液晶パネルや有機EL(Electro Luminescence)パネル等で構成される、画像表示可能なモニタを有する。表示部５２２は、例えば、復元部１０５から供給される復元画像を表示することができる。その他、表示部５２２は、例えば、メニュー等のGUI（Graphical User Interface）や、車載装置５００の設定情報等を表示することができる。さらに、表示部５２２は、記憶媒体５２４に記憶されている復元画像を表示することができる。例えば、表示部５２２は、記憶媒体５２４に記憶されている復元画像のサムネイル画像を表示することができる。
　記憶部５２３は、例えば、半導体メモリ等よりなる記憶媒体５２４の記憶を制御する。この記憶媒体５２４は、リムーバブルな記憶媒体であってもよいし、車載装置５００に内蔵される記憶媒体であってもよい。例えば、記憶部５２３は、バス５２０を介して供給される復元画像を記憶媒体５２４に記憶させることができる。また、記憶部５２３は、バス５２０を介して供給される、互いに対応付けられた検出画像および非復元領域対応復元行列を記憶媒体５２４に記憶させることができる。
　また、例えば、記憶部５２３は、記憶媒体５２４に記憶されているデータを読み出し、バス５２０を介して、他の処理部（例えば、表示部５２２や通信部５２５等）に供給することができる。例えば、記憶部５２３は、記憶媒体から復元画像（またはそのサムネイル画像）を読み出し、バス５２０を介して表示部５２２に供給し、表示させることができる。また、例えば、記憶部５２３は、記憶媒体から復元画像、または、検出画像および非復元領域対応復元行列を読み出し、バス５２０を介して通信部５２５に供給し、他の装置宛てに送信させることができる。
　通信部５２５は、任意の通信方式により、インターネット上のサーバや、有線または無線LAN上の他の装置、その他の外部のデバイス等との間で通信を行う。例えば、通信部５２５は、その通信により、復元部１０５や記憶部５２３等からバス５２０を介して供給される復元画像、または、検出画像および非復元領域対応復元行列を通信相手（外部のデバイス）に送信する。例えば、通信部５２５は、それらのデータをストリーミング方式やアップロード方式で送信することができる。
　領域特定部１０２は、復元領域（非復元領域）を特定することにより、復元する領域を制御することができる。したがって、車載装置５００は、以上のような構成を有することにより、撮像装置１００の場合と同様に、任意の領域を復元しないように、復元画像を復元することができる。
　これにより、車載装置５００は、例えば、画像解析や画像保存等において、＜４．利用例＞において上述したような効果を得ることができる。
　なお、車載装置５００のこれらの処理部（撮像部１０１乃至復元部１０５、センサ部５１１、入力部５２１乃至通信部５２５）は、それぞれ、任意の構成を有することができる。例えば、各処理部が、上述の処理を実現する論理回路により構成されるようにしてもよい。また、各処理部が、例えばCPU、ROM、RAM等を有し、それらを用いてプログラムを実行することにより、上述の処理を実現するようにしてもよい。もちろん、各処理部が、その両方の構成を有し、上述の処理の一部を論理回路により実現し、他を、プログラムを実行することにより実現するようにしてもよい。各処理部の構成は互いに独立していてもよく、例えば、一部の処理部が上述の処理の一部を論理回路により実現し、他の一部の処理部がプログラムを実行することにより上述の処理を実現し、さらに他の処理部が論理回路とプログラムの実行の両方により上述の処理を実現するようにしてもよい。
　　＜復元画像生成処理の流れ＞
　車載装置５００が被写体を撮像し、その検出画像から、非復元領域を復元しないように復元画像を復元する復元画像生成処理の流れの例を、図４１のフローチャートを参照して説明する。
　復元画像生成処理が開始されると、車載装置５００（図４０）の撮像部１０１は、ステップＳ５５１において、撮像素子１２１を用いて被写体を撮像し、検出画像を生成する。
　ステップＳ５５２において、センサ部５１１は、センシングを行い、被写体や撮像部１０１の周辺に関する所定の情報を検出し、センサ情報を生成する。
　ステップＳ５５３において、領域特定部１０２は、学習データ記憶部１０３から読み出した学習データと、ステップＳ５５２において得られたセンサ情報とに基づいて、ステップＳ５５１において生成された検出画像から復元領域（または非復元領域）を特定し、その復元領域を示す復元領域情報（または、非復元領域を示す非復元領域情報）を生成する。
　ステップＳ５５４において、復元行列更新部１０４は、ステップＳ５５３において生成された復元領域情報（または非復元領域情報）に基づいて、検出画像全体に対応する復元行列を更新し、非復元領域対応復元行列を生成する。
　ステップＳ５５５において、復元部１０５は、ステップＳ５５４において生成された非復元領域対応復元行列を用いて、非復元領域を復元しないように、ステップＳ５５１において生成された検出画像から復元画像を復元する。
　ステップＳ５５６において、出力部５３０は、ステップＳ５５５において復元領域のみが復元された復元画像を出力する。例えば、表示部５２２は、その復元画像を表示する。また、記憶部５２３は、その復元画像のデータを記憶媒体５２４に記憶させる。さらに、通信部５２５は、その復元画像のデータを他の装置に送信する。
　なお、ステップＳ５５５の処理を省略し、出力部５３０が、ステップＳ５５６において、ステップＳ５５１において生成された検出画像と、ステップＳ５５４において生成された非復元領域対応復元行列とを互いに関連付けて出力してもよい。例えば、記憶部５２３が、その検出画像や非復元領域対応復元行列のデータを記憶媒体５２４に記憶させてもよい。さらに、通信部５２５が、その検出画像や非復元領域対応復元行列のデータを他の装置に送信してもよい。
　ステップＳ５５６の処理が終了すると、復元画像生成処理が終了する。
　以上のように、領域特定部１０２は、復元領域（非復元領域）を特定することにより、復元する領域を制御することができる。したがって以上のように各処理を実行することにより、車載装置５００は、任意の領域を復元しないように、復元画像を復元することができる。これにより、車載装置５００は、例えば、＜４．利用例＞において上述したような効果を得ることができる。
　＜６．第４の実施の形態＞
　　＜撮像素子の他の構成例＞
　以上においては撮像素子１２１の例について説明したが、撮像素子１２１は、複数の画素出力単位を有し、その複数の画素出力単位のうち、少なくとも２つの画素出力単位の間で、被写体からの入射光の入射角に対する特性が互いに異なっていればよく、その構成は任意である。
　例えば、変調素子としてランダムな白黒パターンマスクまたは光干渉マスクを用いて、撮像素子１２１の撮像面に入射される光を白黒パターンまたは光の干渉に応じて変調してもよい。
　図４２は、撮像素子の他の構成を示している。撮像素子８２１は、撮像素子８２２の撮像面ＩＰに対して所定間隔を有するようにマスク８２３が撮像素子８２２に固定されており、被写体面ＯＰからの光は、マスク８２３で変調されたのち撮像素子８２２の撮像面ＩＰに入射するように構成されている。
　図４３は、白黒パターンマスクを用いた場合を示している。図４３のＡは、白黒パターンマスクを例示している。白黒パターンマスク８２３BWは、光を透過する白パターン部と光を遮光する黒パターン部をランダムに配置した構成であり、パターンサイズは撮像素子８２２の画素サイズと独立に設定されている。図４３のＢは点光源ＰＡから出射された光と点光源ＰＢから出射された光について、撮像面ＩＰに対する照射状態を模式的に示している。また、図４３のＢには、白黒パターンマスク８２３BWを用いた場合の撮像素子の応答の例も、点光源ＰＡから出射された光と点光源ＰＢから出射された光について個々に模式的に示している。被写体面ＯＰからの光は、白黒パターンマスク８２３BWで変調されたのち撮像素子８２２の撮像面ＩＰに入射する。したがって、被写体面ＯＰの点光源ＰＡから出射された光に対応する撮像素子の応答はＳｂｗaとなる。また、被写体面ＯＰの点光源ＰＢから出射された光に対応する撮像素子の応答はＳｂｗbとなる。したがって、撮像素子８２２から出力される画素出力情報は、画素出力単位毎に各点光源の応答を合成した情報となる。
　図４４は、光干渉マスクを用いた場合を示している。図４４のＡに示すように、被写体面ＯＰの点光源ＰＡ，ＰＢから出射された光は、光干渉マスク８２３LFを介して撮像素子８２２の撮像面ＩＰに照射される。光干渉マスク８２３LFの例えば光入射面には、図４４のＢに示すように波長程度の凹凸が設けられている。また、光干渉マスク８２３LFは、鉛直方向から照射された特定波長の光の透過が最大となる。被写体面ＯＰの点光源ＰＡ，ＰＢから出射された特定波長の光の光干渉マスク８２３LFに対する入射角の変化（鉛直方向に対する傾き）が大きくなると光路長が変化する。ここで、光路長が半波長の奇数倍であるときは光が弱めあい、半波長の偶数倍であるときは光が強めあう。すなわち、点光源ＰＡ，ＰＢから出射されて光干渉マスク８２３LFを透過した特定波長の透過光の強度は、図４４のＣに示すように、光干渉マスク８２３LFに対する入射角に応じて変調されて撮像素子８２２の撮像面ＩＰに入射する。したがって、撮像素子８２２から出力される画素出力情報は、画素出力単位毎に各点光源の変調後の光強度を合成した情報となる。
　また、マスク８２３は、図４３に示す黒パターンをλ／２波長板（λは波長）としてマスクの表面と裏面に等しい偏光方向で直線偏光素子を設ける構成としてもよい。この場合、点光源から波長λの光を出射すれば、λ／２波長板を透過した偏光は偏光面が回転されることから白パターン部分に比べて光量が減少することになり、図４３の場合と同様に画素出力情報を生成できる。なお、点光源から出射する特定波長の光として、例えば遠赤外光を用いるようにすれば、撮像領域が暗くとも撮像領域の被写体に応じた画素出力情報を生成できる。
　ただし、これらの構成の場合、撮像素子にマスク等の他の構成を付加する必要があるので、上述した撮像素子１２１（図３）の方が、より小型化することができる。
　撮像素子１２１は、図５を参照して説明したような構成、図６を参照して説明したような構成、図４２や図４３を参照して説明したような構成、または、図４４を参照して説明したような構成のいずれかの構成を有していればよい。つまり、撮像素子１２１が、これらのいずれかの構成を有していれば、それらまたはそれらを有する装置等に、本技術を適用することができる。つまり、撮像素子１２１は、撮像レンズおよびピンホールのいずれも介さずに入射する入射光を受光する複数の画素出力単位を備え、その複数の画素出力単位のうちの少なくとも２つの画素出力単位の出力画素値の、被写体からの入射光に対する入射角指向性が、互いに異なる特性となるようにするための構成を有するものであればよい。
　また、撮像素子１２１は、図５を参照して説明したような構成、または、図６を参照して説明したような構成を有していればよい。つまり、撮像素子１２１が、これらのいずれかの構成を有していれば、それらまたはそれらを有する装置等に、本技術を適用することができる。つまり、撮像素子１２１の複数の画素出力単位が、その出力画素値の入射角指向性を画素出力単位毎に独立に設定可能な構成を有するようにしてもよい。
　例えば、撮像素子１２１は、図５を参照して説明したような構成を有していればよい。つまり、撮像素子１２１が、このような構成を有していれば、それらまたはそれらを有する装置等に、本技術を適用することができる。つまり、撮像素子１２１の複数の画素出力単位が、その被写体からの入射光に対する入射角指向性を画素出力単位毎に独立に設定可能な構成を有するようにしてもよい。
　また例えば、撮像素子１２１は、図６を参照して説明したような構成を有していればよい。つまり、撮像素子１２１が、このような構成を有していれば、その撮像素子１２１またはその撮像素子１２１を有する装置等に、本技術を適用することができる。つまり、撮像素子１２１の複数の画素出力単位が、出力に寄与するPD（Photo Diode）を互いに異ならせることで、出力画素値の入射角指向性を画素出力単位毎に独立に設定し得るようにしてもよい。
　＜７．付記＞
　　＜コンピュータ＞
　上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
　図４５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　図４５に示されるコンピュータ９００において、CPU（Central Processing Unit）９０１、ROM（Read Only Memory）９０２、RAM（Random Access Memory）９０３は、バス９０４を介して相互に接続されている。
　バス９０４にはまた、入出力インタフェース９１０も接続されている。入出力インタフェース９１０には、入力部９１１、出力部９１２、記憶部９１３、通信部９１４、およびドライブ９１５が接続されている。
　入力部９１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部９１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部９１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部９１４は、例えば、ネットワークインタフェースよりなる。ドライブ９１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２１を駆動する。
　以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９１３に記憶されているプログラムを、入出力インタフェース９１０およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。RAM９０３にはまた、CPU９０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　コンピュータが実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体９２１に記録して適用することができる。その場合、プログラムは、リムーバブル記録媒体９２１をドライブ９１５に装着することにより、入出力インタフェース９１０を介して、記憶部９１３にインストールすることができる。
　また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部９１４で受信し、記憶部９１３にインストールすることができる。
　その他、このプログラムは、ROM９０２や記憶部９１３に、あらかじめインストールしておくこともできる。
　　＜本技術の適用対象＞
　なお、本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。
　例えば、本技術は、観賞用コンテンツ等の提供の用に供されるシステムやデバイスに適用することができる。また、例えば、本技術は、交通状況の監理や自動運転制御等、交通の用に供されるシステムやデバイスにも適用することができる。さらに、例えば、本技術は、セキュリティの用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、機械等の自動制御の用に供されるシステムやデバイスに適用することができる。さらに、例えば、本技術は、農業や畜産業の用に供されるシステムやデバイスにも適用することができる。また、本技術は、例えば火山、森林、海洋等の自然の状態や野生生物等を監視するシステムやデバイスにも適用することができる。さらに、例えば、本技術は、スポーツの用に供されるシステムやデバイスにも適用することができる。
　　＜その他＞
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、装置またはシステムを構成するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。
　また、上述した各処理部は、任意の構成により実現することができる。例えば、回路、LSI、システムLSI、プロセッサ、モジュール、ユニット、セット、デバイス、装置、またはシステム等により構成されるようにしてもよい。また、それらを複数組み合わせるようにしてもよい。その際、例えば、複数の回路、複数のプロセッサ等のように同じ種類の構成を組み合わせるようにしてもよいし、回路とLSI等のように異なる種類の構成を組み合わせるようにしてもよい。
　なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
　また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。例えば、コンピュータ、AV（Audio Visual）機器、携帯型情報処理端末、IoT（Internet of Things）デバイス等の任意の端末に対して、撮像画像（動画像）に関するサービスを提供するクラウドサービスに適用することもできる。
　また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
　また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
　コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
　本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
　本技術は以下のような構成も取ることができる。
　（１）　撮像レンズおよびピンホールのいずれも介さずに入射する入射光を受光する複数の画素を備え、前記複数の画素のうちの少なくとも２つの前記画素の出力画素値の、被写体からの入射光に対する入射角指向性が、互いに異なる特性となるようにするための構成を有する撮像素子において得られた検出画像の領域の内の、復元行列を用いて復元画像を復元する復元領域を特定する領域特定部
　を備える画像処理装置。
　（２）　前記復元領域は、前記復元画像における予め登録された被写体を含む領域かそれ以外の部分の領域に対応する前記検出画像の部分領域である
　（１）に記載の画像処理装置。
　（３）　前記復元領域は、前記復元画像における前記被写体の予め登録された部位を含む領域かそれ以外の部分の領域に対応する前記検出画像の部分領域である
　（２）に記載の画像処理装置。
　（４）　前記復元領域は、前記復元画像における人物の顔を含む領域かそれ以外の部分の領域に対応する前記検出画像の部分領域である
　（３）に記載の画像処理装置。
　（５）　前記復元領域は、前記復元画像における予め登録された人物を含む領域かそれ以外の部分の領域に対応する前記検出画像の部分領域である
　（２）乃至（４）のいずれかに記載の画像処理装置。
　（６）　前記復元領域は、前記復元画像における予め登録された条件を満たす被写体を含む領域かそれ以外の部分の領域に対応する前記検出画像の部分領域である
　（１）乃至（５）のいずれかに記載の画像処理装置。
　（７）　前記復元領域は、前記検出画像の予め登録された位置および大きさの部分領域である
　（１）乃至（６）のいずれかに記載の画像処理装置。
　（８）　前記検出画像と、前記検出画像に対応する前記復元領域の情報とを教師データとする学習結果を記憶する学習結果記憶部をさらに備え、
　前記領域特定部は、前記学習結果記憶部に記憶されている前記学習結果に基づいて、前記検出画像の前記復元領域を特定する
　（１）乃至（７）のいずれかに記載の画像処理装置。
　（９）　前記検出画像から前記領域特定部により特定された前記復元領域の復元画像のみを復元するのに用いられる部分復元行列を設定する部分復元行列設定部をさらに備える
　（１）乃至（８）のいずれかに記載の画像処理装置。
　（１０）　前記部分復元行列設定部は、前記検出画像全体に対応する復元行列である全体復元行列の係数の内の、前記復元領域に対応しない係数を予め登録された値にすることにより、前記部分復元行列を設定する
　（９）に記載の画像処理装置。
　（１１）　前記部分復元行列設定部は、前記検出画像全体に対応する復元行列である全体復元行列の係数の内の、前記復元領域に対応しない係数を削除することにより、前記部分復元行列を設定する
　（９）または（１０）に記載の画像処理装置。
　（１２）　前記部分復元行列設定部により設定された前記部分復元行列を用いて、前記検出画像から前記復元領域の復元画像を復元する復元部をさらに備える
　（９）乃至（１１）のいずれかに記載の画像処理装置。
　（１３）　前記撮像素子をさらに備える
　（１）乃至（１２）のいずれかに記載の画像処理装置。
　（１４）　前記複数の画素出力単位は、前記出力画素値の前記入射角指向性を前記画素出力単位毎に独立に設定可能な構成を有する
　（１３）に記載の画像処理装置。
　（１５）　前記複数の画素出力単位は、前記被写体からの入射光に対する入射角指向性を前記画素出力単位毎に独立に設定可能な構成を有する
　（１３）または（１４）に記載の画像処理装置。
　（１６）　前記複数の画素出力単位は、出力に寄与するPD（Photo Diode）を互いに異ならせることで、前記出力画素値の前記入射角指向性を前記画素出力単位毎に独立に設定し得る
　（１３）乃至（１５）のいずれかに記載の画像処理装置。
　（１７）　車両および車両周辺の内の少なくともいずれか一方の情報を検出する検出部をさらに備え、
　前記領域特定部は、前記検出部により検出された前記情報を用いて、前記撮像素子において得られた前記検出画像の前記復元領域を特定する
　（１３）乃至（１６）のいずれかに記載の画像処理装置。
　（１８）　前記領域特定部は、前記検出部により検出された前記車両の速度に応じて前記復元領域を特定する
　（１７）に記載の画像処理装置。
　（１９）　前記領域特定部は、前記検出部により検出された画角内に閾値よりも高速に進入する障害物や予め定められた方向に進入する障害物を含む部分領域を前記復元領域として特定する
　（１７）に記載の画像処理装置。
　（２０）　前記領域特定部は、前記復元画像の提供先に応じて前記復元領域を特定する
　（１）乃至（１９）のいずれかに記載の画像処理装置。
　（２１）　前記領域特定部は、ユーザの権限に応じて前記復元領域を特定する
　（１）乃至（２０）のいずれかに記載の画像処理装置。
　（２２）　撮像レンズおよびピンホールのいずれも介さずに入射する入射光を受光する複数の画素出力単位を備え、前記複数の画素出力単位のうちの少なくとも２つの前記画素出力単位の出力画素値の、被写体からの入射光に対する入射角指向性が、互いに異なる特性となるようにするための構成を有する撮像素子において得られた検出画像の、復元行列を用いて復元画像を復元する復元領域を特定する
　画像処理方法。
　（２３）　コンピュータを、
　撮像レンズおよびピンホールのいずれも介さずに入射する入射光を受光する複数の画素出力単位を備え、前記複数の画素出力単位のうちの少なくとも２つの前記画素出力単位の出力画素値の、被写体からの入射光に対する入射角指向性が、互いに異なる特性となるようにするための構成を有する撮像素子において得られた検出画像の、復元行列を用いて復元画像を復元する復元領域を特定する領域特定部
　として機能させるプログラム。
　（２４）　撮像装置と画像処理装置とを備え、
　前記撮像装置が、
　　撮像レンズおよびピンホールのいずれも介さずに入射する入射光を受光する複数の画素出力単位を備え、前記複数の画素出力単位のうちの少なくとも２つの前記画素出力単位の出力画素値の、被写体からの入射光に対する入射角指向性が、互いに異なる特性となるようにするための構成を有する撮像素子
　を備え、
　前記画像処理装置が、
　　前記撮像素子において得られた検出画像の、復元行列を用いて復元画像を復元する復元領域を特定する領域特定部
　を備える画像処理システム。
　１００　撮像装置，　１０１　撮像部，　１０２　領域特定部，　１０３　学習データ記憶部，　１０４　復元行列更新部，　１０５　復元部，　１２１　撮像素子，　４００　画像処理システム，　４０１　撮像装置，　４０２　画像処理装置，　４１０　画像処理システム，　４１１　撮像装置，　４１２　画像処理装置，　４１３　復元装置，　４２０　画像処理システム，　４２１　撮像装置，　４２２　画像処理装置，　４２３　復元装置，　４３０　画像処理システム，　４３１　撮像装置，　４３２　復元装置，　４４０　画像処理システム，　４４１　撮像装置，　４４２　復元装置，　５００　車載装置，　５１１　センサ部，　５２０　バス，　５２１　入力部，　５２２　表示部，　５２３　記憶部，　５２４　記憶媒体，　５２５　通信部，　５３０　出力部

Claims (20)

  1. 　撮像レンズおよびピンホールのいずれも介さずに入射する入射光を受光する複数の画素を備え、前記複数の画素のうちの少なくとも２つの前記画素の出力画素値の、被写体からの入射光に対する入射角指向性が、互いに異なる特性となるようにするための構成を有する撮像素子において得られた検出画像の領域の内の、復元行列を用いて復元画像を復元する復元領域を特定する領域特定部
    　を備える画像処理装置。
  2. 　前記復元領域は、前記復元画像における予め登録された被写体を含む領域かそれ以外の部分の領域に対応する前記検出画像の部分領域である
    　請求項１に記載の画像処理装置。
  3. 　前記復元領域は、前記復元画像における前記被写体の予め登録された部位を含む領域かそれ以外の部分の領域に対応する前記検出画像の部分領域である
    　請求項２に記載の画像処理装置。
  4. 　前記復元領域は、前記復元画像における人物の顔を含む領域かそれ以外の部分の領域に対応する前記検出画像の部分領域である
    　請求項３に記載の画像処理装置。
  5. 　前記復元領域は、前記復元画像における予め登録された人物を含む領域かそれ以外の部分の領域に対応する前記検出画像の部分領域である
    　請求項２に記載の画像処理装置。
  6. 　前記復元領域は、前記復元画像における予め登録された条件を満たす被写体を含む領域かそれ以外の部分の領域に対応する前記検出画像の部分領域である
    　請求項１に記載の画像処理装置。
  7. 　前記復元領域は、前記検出画像の予め登録された位置および大きさの部分領域である
    　請求項１に記載の画像処理装置。
  8. 　前記検出画像と、前記検出画像に対応する前記復元領域の情報とを教師データとする学習結果を記憶する学習結果記憶部をさらに備え、
    　前記領域特定部は、前記学習結果記憶部に記憶されている前記学習結果に基づいて、前記検出画像の前記復元領域を特定する
    　請求項１に記載の画像処理装置。
  9. 　前記検出画像から前記領域特定部により特定された前記復元領域の復元画像のみを復元するのに用いられる部分復元行列を設定する部分復元行列設定部をさらに備える
    　請求項１に記載の画像処理装置。
  10. 　前記部分復元行列設定部は、前記検出画像全体に対応する復元行列である全体復元行列の係数の内の、前記復元領域に対応しない係数を予め登録された値にすることにより、前記部分復元行列を設定する
    　請求項９に記載の画像処理装置。
  11. 　前記部分復元行列設定部は、前記検出画像全体に対応する復元行列である全体復元行列の係数の内の、前記復元領域に対応しない係数を削除することにより、前記部分復元行列を設定する
    　請求項９に記載の画像処理装置。
  12. 　前記部分復元行列設定部により設定された前記部分復元行列を用いて、前記検出画像から前記復元領域の復元画像を復元する復元部をさらに備える
    　請求項９に記載の画像処理装置。
  13. 　車両および車両周辺の内の少なくともいずれか一方の情報を検出する検出部をさらに備え、
    　前記領域特定部は、前記検出部により検出された前記情報を用いて、前記検出画像の前記復元領域を特定する
    　請求項１に記載の画像処理装置。
  14. 　前記領域特定部は、前記検出部により検出された前記車両の速度に応じて前記復元領域を特定する
    　請求項１３に記載の画像処理装置。
  15. 　前記領域特定部は、前記検出部により検出された画角内に閾値よりも高速に進入する障害物や予め定められた方向に進入する障害物を含む部分領域を前記復元領域として特定する
    　請求項１３に記載の画像処理装置。
  16. 　前記領域特定部は、前記復元画像の提供先に応じて前記復元領域を特定する
    　請求項１に記載の画像処理装置。
  17. 　前記領域特定部は、ユーザの権限に応じて前記復元領域を特定する
    　請求項１に記載の画像処理装置。
  18. 　撮像レンズおよびピンホールのいずれも介さずに入射する入射光を受光する複数の画素を備え、前記複数の画素のうちの少なくとも２つの前記画素の出力画素値の、被写体からの入射光に対する入射角指向性が、互いに異なる特性となるようにするための構成を有する撮像素子において得られた検出画像の領域の内の、復元行列を用いて復元画像を復元する復元領域を特定する
    　画像処理方法。
  19. 　コンピュータを、
    　撮像レンズおよびピンホールのいずれも介さずに入射する入射光を受光する複数の画素を備え、前記複数の画素のうちの少なくとも２つの前記画素の出力画素値の、被写体からの入射光に対する入射角指向性が、互いに異なる特性となるようにするための構成を有する撮像素子において得られた検出画像の領域の内の、復元行列を用いて復元画像を復元する復元領域を特定する領域特定部
    　として機能させるプログラム。
  20. 　撮像装置と画像処理装置とを備え、
    　前記撮像装置が、
    　　撮像レンズおよびピンホールのいずれも介さずに入射する入射光を受光する複数の画素を備え、前記複数の画素のうちの少なくとも２つの前記画素の出力画素値の、被写体からの入射光に対する入射角指向性が、互いに異なる特性となるようにするための構成を有する撮像素子
    　を備え、
    　前記画像処理装置が、
    　　前記撮像素子において得られた検出画像の領域の内の、復元行列を用いて復元画像を復元する復元領域を特定する領域特定部
    　を備える画像処理システム。
PCT/JP2021/010984 2020-03-31 2021-03-18 画像処理装置および方法、プログラム、並びに、画像処理システム Ceased WO2021200188A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP21782322.8A EP4131925A4 (en) 2020-03-31 2021-03-18 Image processing device and method, program, and image processing system
JP2022511866A JP7632456B2 (ja) 2020-03-31 2021-03-18 画像処理装置および方法、プログラム、並びに、画像処理システム
US17/798,423 US12525038B2 (en) 2020-03-31 2021-03-18 Image processing apparatus and method, program, and image processing system
CN202180023696.8A CN115315938A (zh) 2020-03-31 2021-03-18 图像处理装置和方法、程序以及图像处理系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020063540 2020-03-31
JP2020-063540 2020-03-31

Publications (1)

Publication Number Publication Date
WO2021200188A1 true WO2021200188A1 (ja) 2021-10-07

Family

ID=77929273

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/010984 Ceased WO2021200188A1 (ja) 2020-03-31 2021-03-18 画像処理装置および方法、プログラム、並びに、画像処理システム

Country Status (5)

Country Link
US (1) US12525038B2 (ja)
EP (1) EP4131925A4 (ja)
JP (1) JP7632456B2 (ja)
CN (1) CN115315938A (ja)
WO (1) WO2021200188A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2025013126A1 (ja) * 2023-07-07 2025-01-16 日本電信電話株式会社 画像取得装置、画像取得方法、及びプログラム
WO2025041801A1 (ja) * 2023-08-21 2025-02-27 ソニーグループ株式会社 情報処理システム、情報処理装置および情報処理方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024068553A (ja) * 2022-11-08 2024-05-20 キヤノン株式会社 データ作成装置、制御方法およびプログラム
KR20240098287A (ko) * 2022-12-20 2024-06-28 삼성디스플레이 주식회사 크로스토크 평가 방법 및 이를 수행하는 크로스토크 평가 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016123529A1 (en) 2015-01-29 2016-08-04 William Marsh Rice University Lensless imaging system using an image sensor with one or more attenuating layers
WO2019188536A1 (ja) * 2018-03-29 2019-10-03 ソニー株式会社 情報処理装置、情報処理方法、プログラム、及び、情報処理システム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003333388A (ja) * 2002-05-13 2003-11-21 Hitachi Kokusai Electric Inc 監視カメラ撮像装置および撮像方法
JP5704902B2 (ja) * 2010-11-26 2015-04-22 東芝アルパイン・オートモティブテクノロジー株式会社 運転支援装置及び運転支援方法
JP5809865B2 (ja) 2011-07-19 2015-11-11 株式会社 日立産業制御ソリューションズ 画像処理装置及び画像処理方法
JP5895941B2 (ja) * 2011-09-29 2016-03-30 トヨタ自動車株式会社 画像表示装置及び画像表示方法
EP4016992A3 (en) * 2016-07-13 2022-08-24 Sony Group Corporation Imaging apparatus, imaging device, and image processing apparatus
CN110290945A (zh) 2016-08-26 2019-09-27 奈特雷代恩股份有限公司 记录操作员和周围视场的视频
JPWO2019078337A1 (ja) * 2017-10-19 2020-12-17 ソニー株式会社 撮像装置および方法、並びに、画像処理装置および方法
JP6887942B2 (ja) 2017-12-27 2021-06-16 株式会社日立製作所 超音波撮像装置、画像処理装置、及び方法
US11663708B2 (en) * 2018-03-06 2023-05-30 Sony Corporation Image processing apparatus, imaging apparatus, and image processing method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016123529A1 (en) 2015-01-29 2016-08-04 William Marsh Rice University Lensless imaging system using an image sensor with one or more attenuating layers
WO2019188536A1 (ja) * 2018-03-29 2019-10-03 ソニー株式会社 情報処理装置、情報処理方法、プログラム、及び、情報処理システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4131925A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2025013126A1 (ja) * 2023-07-07 2025-01-16 日本電信電話株式会社 画像取得装置、画像取得方法、及びプログラム
WO2025041801A1 (ja) * 2023-08-21 2025-02-27 ソニーグループ株式会社 情報処理システム、情報処理装置および情報処理方法

Also Published As

Publication number Publication date
US12525038B2 (en) 2026-01-13
EP4131925A4 (en) 2023-09-06
JPWO2021200188A1 (ja) 2021-10-07
US20230070798A1 (en) 2023-03-09
JP7632456B2 (ja) 2025-02-19
CN115315938A (zh) 2022-11-08
EP4131925A1 (en) 2023-02-08

Similar Documents

Publication Publication Date Title
JP7632456B2 (ja) 画像処理装置および方法、プログラム、並びに、画像処理システム
US11336799B2 (en) Imaging device including pixels having individually settable incident angle directivity
US11659289B2 (en) Imaging apparatus and method, and image processing apparatus and method
US11460666B2 (en) Imaging apparatus and method, and image processing apparatus and method
WO2019078336A1 (ja) 撮像装置および信号処理装置
JPWO2019188536A1 (ja) 情報処理装置、情報処理方法、プログラム、及び、情報処理システム
JP7552746B2 (ja) 撮像装置及び信号処理装置
US11159741B2 (en) Imaging device and method, image processing device and method, and imaging element
JP7375746B2 (ja) 撮像素子、撮像装置、並びに、情報処理方法
WO2021085152A1 (ja) 情報処理装置、情報処理方法、プログラム、及び、情報処理システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21782322

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022511866

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021782322

Country of ref document: EP

Effective date: 20221031

WWG Wipo information: grant in national office

Ref document number: 17798423

Country of ref document: US