WO2019171984A1 - 信号処理装置、信号処理方法、及び、プログラム - Google Patents

信号処理装置、信号処理方法、及び、プログラム Download PDF

Info

Publication number
WO2019171984A1
WO2019171984A1 PCT/JP2019/006775 JP2019006775W WO2019171984A1 WO 2019171984 A1 WO2019171984 A1 WO 2019171984A1 JP 2019006775 W JP2019006775 W JP 2019006775W WO 2019171984 A1 WO2019171984 A1 WO 2019171984A1
Authority
WO
WIPO (PCT)
Prior art keywords
distortion
image
lens
feature point
transmission body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2019/006775
Other languages
English (en)
French (fr)
Inventor
寿夫 山崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to US16/976,844 priority Critical patent/US11348208B2/en
Publication of WO2019171984A1 publication Critical patent/WO2019171984A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"

Definitions

  • the present technology relates to a signal processing device, a signal processing method, and a program, and more particularly, to a signal processing device, a signal processing method, and a program that are suitable for use when performing imaging through a transparent body that transmits light.
  • Patent Document 1 Conventionally, a technique for correcting lens distortion generated by a camera lens has been proposed (see, for example, Patent Document 1).
  • JP 2009-302697 A Japanese Patent Laying-Open No. 2015-169583
  • the present technology has been made in view of such a situation, and can easily estimate an image distortion that occurs when shooting through a transparent body such as a windshield or an image distortion. It can be removed.
  • a signal processing device includes a transmission body that transmits light, a position of a feature point of a first image of a predetermined subject that is captured by an imaging unit via a lens, and a transmission body that is the transmission body.
  • a lens distortion estimation unit that estimates the lens distortion based on the position of the feature point of the second image of the subject without distortion and lens distortion caused by the lens; and the position of the feature point of the first image;
  • a transmission body distortion estimation unit configured to estimate the transmission body distortion based on the position of the feature point of the third image obtained by removing the estimated lens distortion from the first image.
  • the signal processing device includes the position of the feature point of the first image of the predetermined subject photographed by the photographing unit through the light transmitting body and the lens, Estimating the lens distortion based on the position of the feature point of the second image of the subject without the distortion of the transmissive body and the lens distortion of the lens, and the position of the feature point of the first image, and The transmission body distortion is estimated based on the position of the feature point of the third image in which the estimated lens distortion is removed from the first image.
  • a program includes a position of a feature point of a first image of a predetermined subject photographed by a photographing unit via a light transmissive body and a lens, and transmissive body distortion caused by the light transmissive body.
  • the lens distortion is estimated based on the position of the feature point of the second image of the subject without lens distortion by the lens, and the position of the feature point of the first image and the estimated lens distortion are Based on the position of the feature point of the third image removed from the first image, the computer is caused to execute processing for estimating the transmission body distortion.
  • the position of the feature point of the first image of the predetermined subject photographed by the photographing unit through the light-transmitting light-transmitting body and the lens, the light-transmitter distortion caused by the light-transmitting body, and the The lens distortion is estimated based on the position of the feature point of the second image of the subject without lens distortion by the lens, and the position of the feature point of the first image and the estimated lens distortion are the
  • the transmission body distortion is estimated based on the position of the feature point of the third image removed from the first image.
  • FIG. 1 It is a block diagram showing a 1st embodiment of an image processing system to which this art is applied. It is a block diagram which shows the structural example of the signal processing part of FIG. It is a flowchart for demonstrating the distortion estimation process performed by the image processing system of FIG. It is a figure which shows the example of a calibration chart. It is a figure which shows the relationship of a world coordinate system, a camera coordinate system, and an ideal image coordinate system. It is a figure which shows the relationship between a world coordinate system, a camera coordinate system, an ideal image coordinate system, and a real image coordinate system. It is a figure for demonstrating the detail of a transmission body distortion estimation process. It is a figure for demonstrating the detail of a lens distortion correction process.
  • FIG. 2 is a flowchart for explaining a photographing process executed by the image processing system of FIG. 1. It is a figure for demonstrating the detail of a distortion correction process. It is a block diagram showing a 2nd embodiment of an image processing system to which this art is applied. It is a block diagram which shows the structural example of the signal processing part of FIG. It is a flowchart for demonstrating the distortion correction table production
  • FIG. 1 shows a configuration example of an image processing system 11 according to the first embodiment of the present technology.
  • the image processing system 11 shoots the subject 13 through the transmissive body 12 disposed between the subject 13 and performs various processes using the obtained image (hereinafter referred to as a photographed image). System.
  • the transparent body 12 is a transparent or translucent object that transmits light, and includes, for example, a wearable device visor for AR (Augmented Reality) or VR (Virtual Reality), a windshield of a vehicle, and the like.
  • Light from the subject 13 passes through the transmissive body 12 and enters the lens 21 ⁇ / b> A of the photographing unit 21.
  • the transmissive body 12 may be included in the image processing system 11. That is, the transmissive body 12 may constitute a part of the image processing system 11.
  • the photographing unit 21 is composed of a camera including a lens 21A, for example.
  • the lens 21 ⁇ / b> A may be integrated with the photographing unit 21, or all or part of the lens 21 ⁇ / b> A may be detachable from the photographing unit 21.
  • the imaging unit 21 captures an image with light from the subject 13 that has passed through the transmissive body 12 and the lens 21 ⁇ / b> A, and supplies the obtained captured image to the signal processing unit 22.
  • the signal processing unit 22 performs various processes on the captured image. For example, the signal processing unit 22 performs a process of estimating and correcting distortion generated by the transmission body 12 (hereinafter referred to as transmission body distortion) and distortion generated by the lens 21A (hereinafter referred to as lens distortion). .
  • the signal processing unit 22 supplies the captured image after correcting the transmission body distortion and the lens distortion to the control unit 23.
  • the control unit 23 performs various processes using the captured image. For example, the control unit 23 performs display, processing, recording, and transmission of a captured image, and object recognition processing and distance measurement processing using the captured image.
  • FIG. 2 shows a configuration example of the signal processing unit 22 in FIG.
  • the signal processing unit 22 includes a distortion estimation unit 51, a storage unit 52, and a distortion correction unit 53.
  • the distortion estimation unit 51 performs transmission body distortion and lens distortion estimation processing.
  • the distortion estimation unit 51 includes a feature point detection unit 61, a feature point calculation unit 62, a lens distortion estimation unit 63, a lens distortion correction unit 64, and a transmission body distortion estimation unit 65.
  • the feature point detector 61 performs a feature point detection process on the image.
  • the feature point calculation unit 62 calculates the position of the feature point of an ideal image without distortion.
  • Lens distortion estimation unit 63 performs lens distortion estimation processing.
  • the lens distortion correction unit 64 performs a process of correcting (removing) the lens distortion of the image.
  • the transmission body distortion estimation unit 65 performs transmission body distortion estimation processing.
  • the storage unit 52 stores information indicating estimation results of lens distortion and transmission body distortion.
  • the distortion correction unit 53 performs a process of correcting (removing) the lens distortion and the transmission body distortion of the image.
  • step S1 the photographing unit 21 photographs a calibration image.
  • a calibration chart with a known pattern is placed in front of the transmissive body 12 as the subject 13 before photographing. Accordingly, the transmission body 12 is disposed between the lens 21A and the calibration chart.
  • any calibration chart can be used as long as the symbol is known.
  • the calibration chart 101 to the calibration chart 103 shown in FIG. 4 are used.
  • the calibration chart 101 to the calibration chart 103 are charts showing predetermined patterns. Specifically, the calibration chart 101 shows a checkerboard pattern in which rectangles with known vertical and horizontal sizes are arranged in a grid.
  • the calibration chart 102 shows a circle grid pattern in which circles with known radii are arranged in a grid pattern.
  • the calibration chart 103 shows a grid pattern whose distance between intersections is known.
  • the photographing unit 21 photographs the calibration chart and supplies the obtained image (hereinafter referred to as an actual calibration image) to the signal processing unit 22.
  • the actual calibration image is an image taken through the transmissive body 12 and the lens 21A, and includes transmissive body distortion caused by the transmissive body 12 and lens distortion caused by the lens 21A.
  • step S2 the feature point detection unit 61 detects a feature point of the photographed actual calibration image (actual calibration image).
  • Any method can be used as a method for detecting the feature points of the image for actual calibration.
  • a method according to the pattern of the calibration chart is used.
  • the Moravec method, the Harris method, etc. are used for the calibration chart 101 of the checkerboard pattern in FIG.
  • Hough conversion or the like is used for the calibration chart 102 of the circle grid pattern in FIG. 4 or the calibration chart 103 of the grid pattern.
  • step S3 the feature point calculation unit 62 calculates the position of the feature point of an ideal calibration image without distortion (hereinafter referred to as an ideal calibration image).
  • FIG. 5 shows a pinhole model of the ideal photographing unit 21 without distortion.
  • FIG. 5 shows a world coordinate system, a camera coordinate system, and an ideal image coordinate system without distortion (hereinafter referred to as an ideal image coordinate system).
  • the world coordinate system is a coordinate system composed of an X axis, a Y axis, and a Z axis that are orthogonal to each other with the origin Ow as a reference.
  • the camera coordinate system is a coordinate system composed of an x-axis, a y-axis, and a z-axis that are orthogonal to each other with the origin Oc as a reference.
  • the z axis is an axis parallel to the optical axis of the lens 21A.
  • the ideal image coordinate system is a coordinate system composed of the u axis and the v axis that are orthogonal to each other with the origin Oi as a reference.
  • the origin Oi is a point in the ideal image coordinate system corresponding to the center of the lens 21A (a center point of an ideal image without distortion (hereinafter referred to as an ideal image)).
  • the u axis is the horizontal axis of the ideal image
  • the v axis is the vertical axis of the ideal image.
  • an internal matrix K that is an internal parameter of the photographing unit 21 is expressed by the following equation (1).
  • the internal matrix K is a design value and is known.
  • the rotation component R and the parallel movement component t are known if the positional relationship between the calibration chart and the imaging unit 21 is known.
  • the internal matrix K, the rotation component R, and the parallel movement component t are known.
  • the position at is calculated.
  • the feature point calculation unit 62 calculates the position of the feature point of the ideal calibration image based on Expression (4).
  • step S4 the lens distortion estimation unit 63 is based on the position of the feature point of the ideal calibration image (ideal calibration image) and the position of the feature point of the actual calibration image (real calibration image). Estimate lens distortion.
  • FIG. 6 is a view showing a coordinate system (hereinafter referred to as a real image coordinate system) of a photographed image that is actually photographed by the photographing unit 21 added to the coordinate system of FIG.
  • a coordinate system hereinafter referred to as a real image coordinate system
  • the ideal image coordinate system is indicated by a dotted line.
  • the real image coordinate system is a coordinate system composed of the u ′ axis and the v ′ axis orthogonal to each other with the origin Oi ′ as a reference.
  • the origin Oi ' is a point in the real image coordinate system corresponding to the center of the lens 21A.
  • the u ′ axis is the horizontal axis of the captured image
  • the v ′ axis is the vertical axis of the captured image.
  • the lens distortion estimation unit 63 estimates a lens distortion function representing the lens distortion caused by the lens 21A using a predetermined lens distortion model.
  • any lens distortion model can be used for estimating the lens distortion function.
  • Non-Patent Document 1 “Brown, D. C.,” Close-Range Camera Calibration ", Photogrammetric Engineering 37 (8), 1971, p. 855-866 (hereinafter referred to as Non-Patent Document 1), and‘ Fryer, J. G., 1 other, "Lens distortion for close-range photogrammetry", Photogrammetric Engineering and Remote Sensing (ISSN 0099-1112), January 1986, vol. 52, p. 51-58 "
  • the lens distortion function fdlu (u, v) and lens distortion fdlv (u, v) are expressed by the following equations (6) and (7). expressed.
  • the lens distortion function fdlu (u, v) and the lens distortion fdlv (u, v) correspond to the coordinates (u, v) of an image without lens distortion and the coordinates (uL, vL) of an image with lens distortion. Indicates.
  • r represents the distance from the origin Oi of the coordinates (u, v) in the ideal image coordinate system
  • r 2 u 2 + v 2
  • k 1 to k 6 , p 1 and p 2 in the equations (6) and (7) are coefficients (hereinafter referred to as lens distortion coefficients). Accordingly, the lens distortion function is estimated by obtaining each lens distortion coefficient.
  • the lens distortion estimation unit 63 uses the position (coordinates) of the feature point of the ideal calibration image as an explanatory variable, and uses the position (coordinate) of the feature point of the real calibration image captured by the imaging unit 21 as an objective variable.
  • Each lens distortion coefficient of Formula (6) and Formula (7) is estimated using a nonlinear optimization technique.
  • the nonlinear optimization method for example, any method such as Newton method or LM method can be used.
  • the lens distortion estimation unit 63 causes the storage unit 52 to store information indicating the lens distortion function fdlu (u, v) and the lens distortion fdlv (u, v).
  • the lens distortion function representing the lens distortion is estimated based on the difference between the position of the feature point of the ideal calibration image obtained by the calculation and the position of the feature point of the actual calibration image actually captured. Is done.
  • the image for actual calibration includes not only lens distortion but also transmission body distortion.
  • a model representing lens distortion is different from a model representing transmission body distortion described later. Therefore, a lens distortion function is estimated by separating a lens distortion and a transmission body distortion by applying a predetermined lens distortion model to an actual calibration image including both a lens distortion and a transmission body distortion. Is possible.
  • step S5 the distortion estimation unit 51 performs a transmission body distortion estimation process, and the distortion estimation process ends.
  • step S31 the lens distortion correction unit 64 performs lens distortion correction processing.
  • step S61 the lens distortion correction unit 64 selects one of the pixels whose lens distortion is not corrected.
  • step S62 the lens distortion correction unit 64 converts the coordinates (u, v) of the selected pixel into coordinates (uL, vL) using the lens distortion function. That is, the lens distortion correction unit 64 converts the coordinates (u, v) to coordinates (uL, vL) using the lens distortion functions of the above-described equations (6) and (7).
  • step S63 the lens distortion correction unit 64 sets the pixel value of the coordinates (uL, vL) of the actual calibration image to the pixel value of the selected pixel. Accordingly, the pixel value of the coordinates (uL, vL) of the actual calibration image is set to the pixel of the coordinates (u, v) of the calibration image (hereinafter, referred to as the lens distortion correction calibration image) in which the lens distortion is corrected. Is set.
  • step S64 the lens distortion correction unit 64 determines whether or not the lens distortion of all the pixels has been corrected. If it is determined that the lens distortion of all pixels has not yet been corrected, the process returns to step S61.
  • step S61 Thereafter, the processing from step S61 to step S64 is repeatedly executed until it is determined in step S64 that the lens distortion of all the pixels has been corrected.
  • step S64 if it is determined in step S64 that the lens distortion of all the pixels has been corrected, the lens distortion correction process ends.
  • the feature point detection unit 61 detects a feature point of the calibration image (lens distortion correction calibration image) in which the lens distortion is corrected. Specifically, the feature point detection unit 61 detects a feature point of the lens distortion correction calibration image by the same processing as in step S2 of FIG.
  • step S33 the transmission body distortion estimation unit 65 uses the characteristic points of the ideal calibration image (ideal calibration image) and the calibration image (lens distortion correction calibration image) corrected for lens distortion. Based on this, the transmission distortion is estimated.
  • the transmission body distortion estimation unit 65 estimates a transmission body distortion function representing transmission body distortion caused by the transmission body 12 using a predetermined transmission body distortion model.
  • any transmission body distortion model can be used for the transmission body distortion function.
  • the transmission body distortion function fdtu (u, v) and the transmission body distortion function fdtv (u, v) are expressed by the following equations (8) and (9). It is represented by
  • the transmission body distortion function fdtu (u, v) and the transmission body distortion function fdtv (u, v) are the coordinates (u, v) of the image without transmission body distortion and the coordinates (uT, vT) of the image with transmission body distortion. ).
  • C u, C v of formula (8) and (9), a u1, a u2, a u3, a u4, a u5, a u6 ⁇ , and, a v1, a v2, a v3, a v4 , a v5 , a v6 ... are coefficients (hereinafter referred to as “transmitter distortion coefficients”). Therefore, the transmission body distortion function is estimated by obtaining each transmission body distortion coefficient.
  • the transmission body distortion estimation unit 65 uses the position (coordinate) of the feature point of the ideal calibration image as an explanatory variable, and uses the position (coordinate) of the feature point of the lens distortion correction calibration image as an objective variable, and optimizes non-linearization.
  • each of the transmission body coefficients of Expression (8) and Expression (9) is estimated.
  • the nonlinear optimization method for example, any method such as Newton method or LM method can be used.
  • the transmission body distortion estimation part 65 memorize
  • transmission is performed.
  • a transmission body distortion function representing body distortion is estimated.
  • step S101 the photographing unit 21 performs photographing. Specifically, the photographing unit 21 photographs the subject 13 and supplies the obtained photographed image to the signal processing unit 22.
  • the photographed image is an image photographed through the transmissive body 12 and the lens 21A, and includes transmissive body distortion due to the transmissive body 12 and lens distortion due to the lens 21A.
  • step S102 distortion correction processing is executed.
  • step S131 the distortion correction unit 53 selects one of the pixels whose distortion is not corrected.
  • step S132 the distortion correction unit 53 converts the coordinates (u, v) of the selected pixel into coordinates (uL, vL) using the lens distortion function. That is, the distortion correction unit 53 converts the coordinates (u, v) into coordinates (uL, vL) using the lens distortion functions of the above-described equations (6) and (7).
  • step S133 the distortion correction unit 53 converts the coordinates (uL, vL) to coordinates (uT, vT) using the transmission body distortion function. That is, the distortion correction unit 53 converts the coordinates (uL, vL) to the coordinates (uT, vT) using the transmission body distortion function of the above-described equations (8) and (9).
  • the coordinates (uT, vT) indicate the coordinates of the pixel of the movement destination due to lens distortion and transmission body distortion of the pixel (coordinate) (u, v) of the ideal image (ideal image) without distortion.
  • step S134 the distortion correction unit 53 sets the pixel value of the coordinate (uT, vT) of the captured image to the coordinate (u, v).
  • the pixel value of the coordinates (uT, vT) of the photographic image before correction is set to the pixel of the coordinates (u, v) of the photographic image whose distortion has been corrected (hereinafter referred to as a distortion corrected image).
  • step S135 the distortion correction unit 53 determines whether or not the distortion of all the pixels has been corrected. If it is determined that the distortion of all pixels has not yet been corrected, the process returns to step S131.
  • step S131 to step S135 is repeatedly executed until it is determined in step S135 that the distortion of all the pixels has been corrected.
  • step S135 if it is determined in step S135 that the distortion of all the pixels has been corrected, the distortion correction process ends.
  • step S103 an image with corrected distortion is output. That is, the distortion correction unit 53 outputs the distortion-corrected captured image to the control unit 23.
  • the control unit 23 performs various processes using the distortion-corrected captured image.
  • unnatural distortion of a captured image due to lens distortion and transmission body distortion can be easily corrected, and the quality of the captured image can be improved.
  • the calculation amount of the distortion correction processing is reduced and the processing speed is increased as compared with the first embodiment.
  • FIG. 11 illustrates a configuration example of an image processing system 201 according to the second embodiment of the present technology.
  • portions corresponding to those of the image processing system 11 in FIG. 1 are denoted by the same reference numerals, and description thereof will be omitted as appropriate.
  • the image processing system 201 is different from the image processing system 11 in that a signal processing unit 211 is provided instead of the signal processing unit 22.
  • FIG. 12 shows a configuration example of the signal processing unit 211 in FIG.
  • the same reference numerals are given to the portions corresponding to the signal processing unit 22 in FIG. 2, and the description thereof will be omitted as appropriate.
  • the signal processing unit 211 is different from the signal processing unit 22 in that a distortion correction unit 252 is provided instead of the distortion correction unit 53 and a distortion correction table generation unit 251 is added.
  • the distortion correction table generation unit 251 generates a distortion correction table that is a two-dimensional lookup table used for correcting distortion of the captured image, and stores the distortion correction table in the storage unit 52.
  • the distortion correction unit 252 corrects the distortion of the captured image using the distortion correction table.
  • the distortion estimation process executed by the image processing system 201 is the same as the distortion estimation process of the image processing system 11 described above with reference to FIG.
  • step S201 the distortion correction table generation unit 251 selects the next coordinates (u, v).
  • the distortion correction table is a two-dimensional lookup table having the same configuration as that of the coordinate system of the photographed image to be subjected to distortion correction, and data corresponding to each pixel of the photographed image is set. Then, the distortion correction table generation unit 251 selects one of the coordinates (u, v) of the distortion correction table for which data has not yet been set.
  • step S202 the distortion correction table generation unit 251 converts coordinates (u, v) to coordinates (uL, vL) using a lens distortion function. That is, the distortion correction table generation unit 251 converts the coordinates (u, v) to coordinates (uL, vL) using the lens distortion functions of the above-described equations (6) and (7).
  • step S203 the distortion correction table generation unit 251 converts the coordinates (uL, vL) into coordinates (uT, vT) using the transmission body distortion function. That is, the distortion correction table generation unit 251 converts the coordinates (uL, vL) into coordinates (uT, vT) using the above-described transmission body distortion functions of the equations (8) and (9).
  • step S204 the distortion correction table generation unit 251 sets the coordinates (uT, vT) as the values of the coordinates (u, v) in the distortion correction table.
  • the coordinates (uT, vT) of the movement destination pixel due to the lens distortion of the pixel at the coordinate (u, v) and the transmission body distortion are set as the data of the coordinate (u, v) in the distortion correction table.
  • the distortion correction table includes pixel positions when there is no transmission body distortion and lens distortion (pixel positions of ideal images), and pixel positions when transmission body distortion and lens distortion exist (pixel positions of the captured image). ).
  • step S205 the distortion correction table generation unit 251 determines whether or not the distortion correction table is completed.
  • the distortion correction table generation unit 251 determines that the distortion correction table is not yet completed when there are coordinates for which data has not yet been set in the distortion correction table, and the process returns to step S201.
  • step S201 Thereafter, the processing from step S201 to step S205 is repeatedly executed until it is determined in step S205 that the distortion correction table is completed.
  • the distortion correction table generation unit 251 determines that the distortion correction table is completed, and the distortion correction table generation process ends.
  • the image processing system 201 executes the photographing process according to the flowchart of FIG.
  • the distortion correction process of FIG. 14 is performed instead of the distortion correction process of FIG.
  • step S231 the distortion correction unit 252 selects one of the pixels whose distortion is not corrected.
  • step S232 the distortion correction unit 252 converts the coordinates (u, v) of the selected pixel into coordinates (uT, vT) using the distortion correction table.
  • step S233 the distortion correction unit 252 sets the pixel value of the coordinate (uT, vT) of the captured image to the coordinate (u, v). Thereby, the pixel value of the coordinates (uT, vT) of the captured image before correction is set to the pixel of the coordinates (u, v) of the distortion corrected image.
  • step S234 the distortion correction unit 252 determines whether or not the distortion of all the pixels has been corrected. If it is determined that the distortion of all pixels has not yet been corrected, the process returns to step S231.
  • step S234 is repeatedly executed until it is determined in step S234 that the distortion of all the pixels has been corrected.
  • step S234 if it is determined in step S234 that the distortion of all the pixels has been corrected, the distortion correction process ends.
  • the amount of calculation can be reduced and the processing speed can be increased as compared with the distortion correction process of FIG.
  • the internal parameters of the imaging unit 21 (the internal matrix K of the equation (1)) and the external parameters (the rotational component R of the equation (2) and the equation (2)
  • the process when the parallel movement component t) of 3) is known has been described.
  • the third embodiment a process when the internal matrix K, the rotation component R, and the translation component t are unknown will be described.
  • FIG. 15 illustrates a configuration example of an image processing system 301 according to the third embodiment of the present technology.
  • portions corresponding to those of the image processing system 201 in FIG. 11 are denoted by the same reference numerals, and description thereof will be omitted as appropriate.
  • the image processing system 301 is different from the image processing system 201 in that a signal processing unit 311 is provided instead of the signal processing unit 211.
  • FIG. 16 shows a configuration example of the signal processing unit 311 in FIG.
  • portions corresponding to those of the signal processing unit 211 in FIG. 12 are denoted by the same reference numerals, and description thereof will be omitted as appropriate.
  • the signal processing unit 311 is different from the signal processing unit 211 in that a lens distortion estimation unit 362 is provided instead of the lens distortion estimation unit 63, and a parameter estimation unit 361 and a reprojection error calculation unit 363 are added. Different.
  • the parameter estimation unit 361 performs processing for estimating internal parameters and external parameters of the imaging unit 21.
  • the lens distortion estimation unit 362 performs lens distortion estimation processing based on the estimated internal parameters and external parameters of the imaging unit 21.
  • the reprojection error calculation unit 363 adds the image captured by the imaging unit 21, the transmission body distortion estimated by the transmission body distortion estimation unit 65, and the lens distortion estimated by the lens distortion estimation unit 362 by calculation.
  • the reprojection error which is the error between the images, is calculated.
  • the reprojection error calculation unit 363 determines whether or not the transmission distortion and lens distortion estimation processing has converged based on the reprojection error.
  • step S301 a calibration image is taken in the same manner as in step S1 of FIG.
  • step S302 as in the process of step S2 in FIG. 3, the feature points of the captured actual calibration image are detected.
  • step S303 the parameter estimation unit 361 estimates a homography matrix.
  • step S304 the parameter estimation unit 361 estimates internal parameters and external parameters of the imaging unit 21.
  • the lens distortion estimation unit 362 estimates the lens distortion based on the estimated internal parameter and external parameter of the photographing unit 21.
  • the lens distortion estimation unit 362 causes the storage unit 52 to store information indicating a lens distortion function that represents the estimated lens distortion.
  • step S303 to step S305 The details of the processing from step S303 to step S305 are as follows: “Zhengyou Zhang,” Flexible camera calibration by viewing a plane from unknown orientations ", Computer Vision, 1999. Proceedings of the Seventh IEEE International Conference on, IEEE, 1999, Vol .1 ”(hereinafter referred to as Non-Patent Document 3). Then, through the processing from step S303 to step S305, the internal parameters (internal matrix K) and external parameters (rotation component R and translation component t) of the photographing unit 21, and the lens distortion coefficient of the lens distortion function are estimated.
  • step S306 as in the process in step S3 in FIG. 3, the position of the ideal feature point of the calibration image without distortion is calculated.
  • step S307 similar to the processing in step S5 in FIG.
  • step S308 the distortion estimation unit 351 performs a reprojection error calculation process.
  • step S331 the reprojection error calculation unit 363 performs distortion addition processing.
  • step S361 the reprojection error calculation unit 363 selects one of the pixels to which no distortion is added.
  • step S362 the reprojection error calculation unit 363 converts the coordinates (u, v) of the selected pixel into coordinates (uL, vL) using the lens distortion function.
  • step S363 the reprojection error calculation unit 363 converts the coordinates (uL, vL) into coordinates (uT, vT) using the transmission body distortion function.
  • step S364 the reprojection error calculation unit 363 sets the pixel value of the coordinates (uT, vT) of the ideal calibration image (ideal calibration image) to the coordinates (u, v). Thereby, the pixel value of the coordinates (u, v) of the ideal calibration image is added to the pixel of the coordinates (uT, vT) of the image in which distortion is added to the ideal calibration image (hereinafter referred to as a distortion-added calibration image). Is set.
  • step S365 the reprojection error calculation unit 363 determines whether distortion has been added to all pixels. If it is determined that distortion has not been added to all the pixels, the process returns to step S361.
  • steps S361 to S365 are repeatedly executed until it is determined in step S365 that all the pixels have been distorted.
  • step S365 if it is determined in step S365 that distortion has been added to all the pixels, the distortion addition processing ends.
  • the feature point detection unit 61 detects a feature point of the calibration image (distortion-added calibration image) to which distortion is added. Specifically, the feature point detection unit 61 detects the feature point of the distortion-added calibration image by the same processing as step S2 in FIG.
  • step S333 the reprojection error calculation unit 363 performs re-projection between the feature points of the actual calibration image (real calibration image) and the feature points of the calibration image with distortion (distortion-added calibration image). Calculate the projection error.
  • the positions of the feature points of the actual calibration image and the feature points of the distortion added calibration image match.
  • the positions of the feature points of the actual calibration image and the feature points of the distortion-added calibration image do not match.
  • the reprojection error calculation unit 363 calculates a position difference (reprojection error) between each feature point of the actual calibration image and the feature point of the corresponding distortion-added calibration image.
  • the reprojection error calculation unit 363 performs reprojection error statistical processing. For example, the reprojection error calculation unit 363 calculates a statistical value used for reprojection error convergence determination, such as an average of reprojection errors or RMSE (Root Mean Squared Error).
  • a statistical value used for reprojection error convergence determination such as an average of reprojection errors or RMSE (Root Mean Squared Error).
  • step S309 the reprojection error calculation unit 363 determines whether or not the reprojection error has converged. If it is determined that the reprojection error has not converged, the process returns to step S303.
  • step S303 the processing from step S303 to step S309 is repeatedly executed until it is determined in step S309 that the reprojection error has converged.
  • step S309 a lens distortion function and a transmission body distortion function are updated, and both estimation accuracy improves.
  • the reprojection error calculation unit 363 determines in step S309 that the reprojection error has converged based on, for example, the amount of change in the statistical value of the reprojection error, the distortion estimation process ends.
  • the reprojection error calculation unit 363 may determine that the estimation process has failed, for example, when the reprojection error does not fall below a predetermined threshold.
  • the lens distortion function and the transmission body distortion function can be estimated easily and accurately.
  • the shooting process by the image processing system 301 is the same as the shooting process by the image processing system 201, and a description thereof will be omitted.
  • FIG. 20 shows an example in which the present technology is applied to a wearable device 401 for AR or VR.
  • the wearable device 401 includes a camera 411L having a lens 411AL, a camera 411R having a lens 411AR, and a visor 412. From the viewpoint of design and protection, the front of the camera 411L and the camera 411R (the direction of the subject) is covered with a visor 412.
  • Wearable device 401 can perform stereo shooting with camera 411L and camera 411R.
  • the wearable device 401 performs, for example, recognition processing of a surrounding object, distance measurement processing, and the like based on images captured by the cameras 411L and 411R.
  • the wearable device 401 performs gesture recognition, superimposed display of a virtual object on a transmissive head-up display, and the like using the results of these processes.
  • the camera 411L performs imaging through the visor 412 and the lens 411AL. Accordingly, in the captured image of the camera 411L (hereinafter referred to as the left image), a transmission body distortion due to the visor 412 and a lens distortion due to the lens 411AL occur.
  • the camera 411R performs imaging through the visor 412 and the lens 411AR. Accordingly, in the photographed image of the camera 411R (hereinafter referred to as the right image), the transmission body distortion due to the visor 412 and the lens distortion due to the lens 411AR occur.
  • the transmission distortion and the lens distortion are individually estimated for the camera 411L and the camera 411R.
  • a transmission body distortion function for the visor 412 and a lens distortion function for the lens 411AL are estimated. Then, using the estimated transmission body distortion function and lens distortion function (or the distortion correction table for the camera 411L), the transmission body distortion and lens distortion of the left image are corrected.
  • a transmission body distortion function for the visor 412 and a lens distortion function for the lens 411AR are estimated. Then, using the estimated transmission body distortion function and lens distortion function (or the distortion correction table for the camera 411R), the transmission body distortion and the lens distortion of the right image are corrected.
  • FIG. 21 shows an example in which the present technology is applied to an in-vehicle camera 431.
  • the in-vehicle camera 431 is provided with a lens 431L and a lens 431R on the left and right, and performs stereo photography through the lens 431L and the lens 431R.
  • the in-vehicle camera 431 is installed in the vehicle 432 and images the front of the vehicle 432 through a windshield 432A that is a transmission body.
  • recognition processing of an object around the vehicle 432, distance measurement processing, and the like are performed based on an image photographed by the in-vehicle camera 431. Further, for example, automatic operation or the like is performed using the results of these processes. Furthermore, for example, an image photographed by the in-vehicle camera 431 is recorded in the drive recorder.
  • the left image In the photographed image on the left side of the in-vehicle camera 431 (hereinafter referred to as the left image), transmission body distortion due to the windshield 432A and lens distortion due to the lens 431L are generated.
  • the photographed image on the right side of the in-vehicle camera 431 hereinafter referred to as the right image
  • a transmission body distortion due to the windshield 432A and a lens distortion due to the lens 431R occur.
  • a transmission body distortion function for the windshield 432A and a lens distortion function for the lens 431L are estimated. Then, the transmission body distortion and the lens distortion of the left image are corrected using the estimated transmission body distortion function and the lens distortion function (or the distortion correction table for the left image).
  • a transmission body distortion function for the windshield 432A and a lens distortion function for the lens 431R are estimated. Then, using the estimated transmission body distortion function and lens distortion function (or right image distortion correction table), the transmission body distortion and lens distortion of the right image are corrected.
  • FIG. 22 shows an example in which the present technology is applied to a dome type camera 451 used for monitoring or the like.
  • the dome type camera 451 includes a camera 461 having a lens 461A and a housing 462 having a cover 462A.
  • the camera 461 is installed in a housing 462 and is covered with a cover 462A that is a dome-like and translucent transparent body.
  • the camera 461 performs shooting through the cover 462A and the lens 461A. Therefore, the transmission image distortion due to the cover 462A and the lens distortion due to the lens 461A occur in the photographed image of the camera 461.
  • the transmission body distortion function for the cover 462A and the lens distortion function for the lens 461A are estimated for the camera 461. Then, using the estimated transmission body distortion function and lens distortion function, the transmission body distortion and lens distortion of the captured image of the camera 461 are corrected.
  • FIG. 23 shows an example in which a dome type camera 451 is installed in the vehicle 432 instead of the in-vehicle camera 431 in FIG.
  • the camera 461 performs imaging through the windshield 432A, the cover 462A, and the lens 461A. Accordingly, photographing is performed through the two transparent bodies of the windshield 432A and the cover 462A.
  • the windshield 432A and the cover 462A are regarded as one transmission body, and the transmission body distortion is estimated.
  • FIG. 24 shows a flowchart when the distance measurement process is performed using the vehicle-mounted camera 431 shown in FIG.
  • the photographing unit 21 of the image processing system 201 in FIG. 11 is configured by the in-vehicle camera 431 and the image processing system 201 performs distance measurement processing will be described.
  • step S401 the in-vehicle camera 431 captures left and right images.
  • the in-vehicle camera 431 supplies the signal processing unit 211 for the left image and the right image obtained by photographing.
  • the distortion correction unit 252 individually corrects the distortion of the left and right images. For example, the distortion correction unit 252 corrects the lens distortion and the transmission body distortion of the left image according to the flowchart of FIG. 14 using the distortion correction table for the left image. Similarly, the distortion correction unit 252 corrects the lens distortion and the transmission body distortion of the right image according to the flowchart of FIG. 14 using the distortion correction table for the right image. The distortion correction unit 252 supplies the corrected left image and right image to the control unit 23.
  • step S403 the control unit 23 measures the distance based on the left and right images whose distortion has been corrected. That is, the control unit 23 measures the distance to the subject 13 based on the left image and the right image using a distance measurement method using an arbitrary stereo image. At this time, since the lens distortion and the transmission body distortion of the left image and the right image are removed, the ranging accuracy is improved. For example, the control unit 23 stores, displays, or supplies information indicating the measurement result to a subsequent apparatus.
  • the photographing unit 21, the signal processing unit 22, and the control unit 23 may be provided in the same device, or may be provided in different devices. Further, for example, two of the photographing unit 21, the signal processing unit 22, and the control unit 23 may be provided in the same device, and the remaining one may be provided in another device.
  • the distortion estimation unit 51 and the distortion correction unit 53 may be provided in different devices.
  • the distortion correction unit 53 may be provided in the imaging unit 21 and the imaging unit 21 may correct lens distortion and transmission body distortion. In these cases, information indicating the estimation result of the distortion estimation unit 51 is supplied to the distortion correction unit 53 via, for example, a network or a storage medium.
  • FIG. 25 is a block diagram illustrating an example of a hardware configuration of a computer that executes the above-described series of processes using a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • an input / output interface 1005 is connected to the bus 1004.
  • An input unit 1006, an output unit 1007, a recording unit 1008, a communication unit 1009, and a drive 1010 are connected to the input / output interface 1005.
  • the input unit 1006 includes an input switch, a button, a microphone, an image sensor, and the like.
  • the output unit 1007 includes a display, a speaker, and the like.
  • the recording unit 1008 includes a hard disk, a nonvolatile memory, and the like.
  • the communication unit 1009 includes a network interface or the like.
  • the drive 1010 drives a removable recording medium 1011 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 1001 loads the program recorded in the recording unit 1008 to the RAM 1003 via the input / output interface 1005 and the bus 1004 and executes the program. A series of processing is performed.
  • the program executed by the computer 1000 can be provided by being recorded on a removable recording medium 1011 as a package medium, for example.
  • the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the recording unit 1008 via the input / output interface 1005 by attaching the removable recording medium 1011 to the drive 1010. Further, the program can be received by the communication unit 1009 via a wired or wireless transmission medium and installed in the recording unit 1008. In addition, the program can be installed in the ROM 1002 or the recording unit 1008 in advance.
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems. .
  • the present technology can take a cloud computing configuration in which one function is shared by a plurality of devices via a network and is jointly processed.
  • each step described in the above flowchart can be executed by one device or can be shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • a lens distortion estimation unit that estimates the lens distortion based on the position of the feature point of the second image of Transmission for estimating the transmission body distortion based on the position of the feature point of the first image and the position of the feature point of the third image in which the estimated lens distortion is removed from the first image.
  • a signal processing apparatus comprising: a body strain estimation unit.
  • a distortion correction table generation unit that generates a distortion correction table that indicates a correspondence relationship between a pixel position when the transmission body distortion and the lens distortion are not present and a pixel position when the transmission body distortion and the lens distortion exist;
  • the signal processing apparatus according to (2) wherein the distortion correction unit removes the estimated transmission distortion and lens distortion from the fourth image using the distortion correction table.
  • the lens distortion estimation unit estimates a lens distortion function representing the lens distortion
  • the transmission body distortion estimation unit estimates a transmission body distortion function representing the transmission body distortion
  • the lens distortion estimation unit estimates the lens distortion based on a predetermined lens distortion model
  • the signal processing apparatus according to any one of (1) to (4), wherein the transmission body distortion estimation unit estimates the transmission body distortion based on a predetermined transmission body distortion model different from the lens distortion model.
  • a parameter estimation unit for estimating internal parameters and external parameters of the imaging unit The signal processing device according to any one of (1) to (5), wherein the lens distortion estimation unit estimates the lens distortion based on the estimated internal parameter and the external parameter.
  • the difference between the position of the feature point of the first image and the position of the feature point of the fifth image obtained by adding the estimated lens distortion and transmission body distortion to the second image.
  • the signal processing device further including a reprojection error calculation unit that calculates a reprojection error and determines a convergence of the estimation processing of the lens distortion and the transmission body distortion based on the reprojection error.
  • a feature point detector for detecting feature points of the first image and the third image;
  • a feature point calculation unit that calculates a position of a feature point of the second image based on an internal parameter and an external parameter of the photographing unit;
  • the lens distortion estimation unit estimates the lens distortion based on the detected position of the feature point of the first image and the calculated position of the feature point of the second image
  • the transmission body distortion estimation unit estimates the transmission body distortion based on the detected position of the feature point of the first image and the detected position of the feature point of the third image.
  • the signal processing device according to any one of 1) to (7).
  • the signal processing device according to any one of (1) to (8), further including a lens distortion correction unit that generates the third image by removing the estimated lens distortion from the first image.
  • the signal processing device according to any one of (1) to (9), wherein the subject shows a predetermined pattern.
  • the signal processor The position of the feature point of the first image of the predetermined subject photographed by the photographing unit through the transmissive body and the lens that transmit light, and the photographic subject without the transmissive body distortion caused by the transmissive body and the lens distortion caused by the lens Estimating the lens distortion based on the position of the feature point of the second image of A signal for estimating the transmission body distortion based on the position of the feature point of the first image and the position of the feature point of the third image in which the estimated lens distortion is removed from the first image. Processing method.
  • the signal processor The position of the feature point of the first image of the predetermined subject photographed by the photographing unit through the transmissive body and the lens that transmit light, and the photographic subject without the transmissive body distortion caused by the transmissive body and the lens distortion caused by the lens
  • the lens distortion estimated based on the position of the feature point of the second image, the position of the feature point of the first image, and the estimated lens distortion are removed from the first image.
  • the lens distortion estimated based on the position of the feature point of the second image, the position of the feature point of the first image, and the estimated lens distortion are removed from the first image.
  • the computer executes a process of removing the transmission body distortion estimated based on the position of the feature point of the third image from the fourth image captured by the imaging unit via the transmission body and the lens. Program to let you.
  • the lens distortion estimated based on the position of the feature point of the second image of the subject, the position of the feature point of the first image, and the estimated lens distortion are removed from the first image.
  • a distortion correction unit that removes the transmission body distortion estimated based on the position of the feature point of the third image that has been obtained from the fourth image captured by the imaging unit via the transmission body and the lens
  • An imaging device comprising: (17) A lens distortion estimation unit that estimates the lens distortion based on the position of the feature point of the first image and the position of the feature point of the second image; The transmission body distortion estimation unit that estimates the transmission body distortion based on the position of the feature point of the first image and the position of the feature point of the third image. Shooting device.
  • 11 image processing system 12 transparent body, 13 subject, 21 photographing unit, 21A lens, 22 signal processing unit, 23 control unit, 51 distortion estimation unit, 53 distortion correction unit, 61 feature point detection unit, 62 feature point calculation unit, 63 lens distortion estimation unit, 64 lens distortion correction unit, 65 transmission body distortion estimation unit, 101 to 103 calibration chart, 201 image processing system, 211 signal processing unit, 251 distortion correction table, 252 distortion correction unit, 301 image processing system, 311 Signal processing unit, 351 distortion estimation unit, 361 parameter estimation unit, 362 lens distortion estimation unit, 363 reprojection error calculation unit, 401 wearable device, 411L, 411R camera, 411AL, 411AR Lens, 412 visor, 431 onboard camera, 431L, 431R lens, 432 vehicle, 432A windshield 451 dome camera, 461 camera, 461A lens, 462 a housing, 462A cover

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Geometry (AREA)

Abstract

本技術は、光を透過する透過体を介して撮影を行う場合に発生する画像の歪みを容易に推定することができるようにする信号処理装置、信号処理方法、及び、プログラムに関する。 信号処理装置は、光を透過する透過体及びレンズを介して撮影部により撮影された所定の被写体の第１の画像の特徴点の位置、並びに、前記透過体による透過体歪み及び前記レンズによるレンズ歪みのない前記被写体の第２の画像の特徴点の位置に基づいて、前記レンズ歪みを推定するレンズ歪み推定部と、前記第１の画像の特徴点の位置、及び、推定された前記レンズ歪みが前記第１の画像から除去された第３の画像の特徴点の位置に基づいて、前記透過体歪みを推定する透過体歪み推定部とを備える。本技術は、例えば、ウエアラブルデバイスや車載用カメラに適用できる。

Description

信号処理装置、信号処理方法、及び、プログラム
　本技術は、信号処理装置、信号処理方法、及び、プログラムに関し、特に、光を透過する透過体を介して撮影を行う場合に用いて好適な信号処理装置、信号処理方法、及び、プログラムに関する。
　従来、カメラのレンズにより発生するレンズ歪みを補正する技術が提案されている（例えば、特許文献１参照）。
　また、例えば、車室内のカメラがウインドシールド（フロントガラス）を介して車両の前方の撮影を行う場合、レンズ歪みに加えて、ウインドシールドによる歪みも発生する。
　これに対して、従来、レンズ歪み、及び、ウインドシールドによる歪みを補正する技術が提案されている。例えば、ウインドシールドを外した状態で校正チャートを撮影した画像と、ウインドシールドを設置した状態で校正チャートを撮影した画像との間の位置ずれに基づいて、カメラを校正する技術が提案されている（例えば、特許文献２参照）。
特開２００９－３０２６９７号公報 特開２０１５－１６９５８３号公報
　しかしながら、特許文献２に記載の発明では、校正チャートを２回撮影する必要があり、カメラの校正に要する時間が長くなる。また、例えば、１回目と２回目の撮影の間にウインドシールドが設置されることにより、カメラ本体やレンズの位置ズレが発生すると、カメラの校正を最初からやり直す必要が生じる。
　本技術は、このような状況に鑑みてなされたものであり、ウインドシールド等の光を透過する透過体を介して撮影を行う場合に発生する画像の歪みを容易に推定したり、画像の歪みを除去したりできるようにするものである。
　本技術の一側面の信号処理装置は、光を透過する透過体及びレンズを介して撮影部により撮影された所定の被写体の第１の画像の特徴点の位置、並びに、前記透過体による透過体歪み及び前記レンズによるレンズ歪みのない前記被写体の第２の画像の特徴点の位置に基づいて、前記レンズ歪みを推定するレンズ歪み推定部と、前記第１の画像の特徴点の位置、及び、推定された前記レンズ歪みが前記第１の画像から除去された第３の画像の特徴点の位置に基づいて、前記透過体歪みを推定する透過体歪み推定部とを備える。
　本技術の一側面の信号処理方法は、信号処理装置が、光を透過する透過体及びレンズを介して撮影部により撮影された所定の被写体の第１の画像の特徴点の位置、並びに、前記透過体による透過体歪み及び前記レンズによるレンズ歪みのない前記被写体の第２の画像の特徴点の位置に基づいて、前記レンズ歪みを推定し、前記第１の画像の特徴点の位置、及び、推定された前記レンズ歪みが前記第１の画像から除去された第３の画像の特徴点の位置に基づいて、前記透過体歪みを推定する。
　本技術の一側面のプログラムは、光を透過する透過体及びレンズを介して撮影部により撮影された所定の被写体の第１の画像の特徴点の位置、並びに、前記透過体による透過体歪み及び前記レンズによるレンズ歪みのない前記被写体の第２の画像の特徴点の位置に基づいて、前記レンズ歪みを推定し、前記第１の画像の特徴点の位置、及び、推定された前記レンズ歪みが前記第１の画像から除去された第３の画像の特徴点の位置に基づいて、前記透過体歪みを推定する処理をコンピュータに実行させる。
　本技術の一側面においては、光を透過する透過体及びレンズを介して撮影部により撮影された所定の被写体の第１の画像の特徴点の位置、並びに、前記透過体による透過体歪み及び前記レンズによるレンズ歪みのない前記被写体の第２の画像の特徴点の位置に基づいて、前記レンズ歪みが推定され、前記第１の画像の特徴点の位置、及び、推定された前記レンズ歪みが前記第１の画像から除去された第３の画像の特徴点の位置に基づいて、前記透過体歪みが推定される。
　本技術の一側面によれば、光を透過する透過体を介して撮影を行う場合に発生する画像の歪みを容易に推定することができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。
本技術を適用した画像処理システムの第１の実施の形態を示すブロック図である。 図１の信号処理部の構成例を示すブロック図である。 図１の画像処理システムにより実行される歪み推定処理を説明するためのフローチャートである。 校正チャートの例を示す図である。 ワールド座標系、カメラ座標系、及び、理想画像座標系の関係を示す図である。 ワールド座標系、カメラ座標系、理想画像座標系、及び、現実画像座標系の関係を示す図である。 透過体歪み推定処理の詳細を説明するための図である。 レンズ歪み補正処理の詳細を説明するための図である。 図１の画像処理システムにより実行される撮影処理を説明するためのフローチャートである。 歪み補正処理の詳細を説明するための図である。 本技術を適用した画像処理システムの第２の実施の形態を示すブロック図である。 図１１の信号処理部の構成例を示すブロック図である。 図１１の画像処理システムにより実行される歪み補正テーブル生成処理を説明するためのフローチャートである。 図１１の画像処理システムにより実行される歪み補正処理を説明するためのフローチャートである。 本技術を適用した画像処理システムの第３の実施の形態を示すブロック図である。 図１５の信号処理部の構成例を示すブロック図である。 図１５の画像処理システムにより実行される歪み推定処理を説明するためのフローチャートである。 再投影誤差計算処理の詳細を説明するための図である。 歪み付加処理の詳細を説明するための図である。 ウエアラブルデバイスの構成例を示す模式図である。 車載用カメラの構成例を示す模式図である。 ドーム型カメラの構成例を示す模式図である。 ドーム型カメラを車両に設置した場合の例を示す模式図である。 測距処理を説明するためのフローチャートである。 コンピュータの構成例を示す図である。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．第１の実施の形態（歪み関数を用いて補正を行う例）
　２．第２の実施の形態（歪み補正テーブルを用いて補正を行う例）
　３．第３の実施の形態（撮影部のパラメータを推定する例）
　４．適用例
　５．変形例
　６．その他
　＜＜１．第１の実施の形態＞＞
　図１乃至図１０を参照して、本技術の第１の実施の形態について説明する。
　＜画像処理システム１１の構成例＞
　図１は、本技術の第１の実施の形態に係る画像処理システム１１の構成例を示している。
　画像処理システム１１は、被写体１３との間に配置されている透過体１２を介して、被写体１３の撮影を行い、得られた画像（以下、撮影画像と称する）を用いて各種の処理を行うシステムである。
　透過体１２は、光を透過する透明又は半透明な物体であり、例えば、ＡＲ（Augmented Reality）又はＶＲ（Virtual Reality）用のウエアラブルデバイスのバイザ、車両のウインドシールド等からなる。被写体１３からの光は、透過体１２を透過して、撮影部２１のレンズ２１Ａに入射する。
　なお、透過体１２は、画像処理システム１１に含まれていてもよい。すなわち、透過体１２が、画像処理システム１１の一部を構成していてもよい。
　撮影部２１は、例えば、レンズ２１Ａを備えるカメラからなる。なお、レンズ２１Ａは、撮影部２１と一体化されていてもよいし、全部又は一部が、撮影部２１に着脱可能にされていてもよい。撮影部２１は、透過体１２及びレンズ２１Ａを透過した被写体１３からの光による像の撮影を行い、得られた撮影画像を信号処理部２２に供給する。
　信号処理部２２は、撮影画像に対する各種の処理を行う。例えば、信号処理部２２は、透過体１２により発生する歪み（以下、透過体歪みと称する）、及び、レンズ２１Ａにより発生する歪み（以下、レンズ歪みと称する）を推定し、補正する処理を行う。信号処理部２２は、透過体歪み及びレンズ歪みを補正した後の撮影画像を制御部２３に供給する。
　制御部２３は、撮影画像を用いて各種の処理を行う。例えば、制御部２３は、撮影画像の表示、加工、記録、及び、送信、並びに、撮影画像を用いた物体認識処理及び測距処理等を行う。
　＜信号処理部２２の構成例＞
　図２は、図１の信号処理部２２の構成例を示している。信号処理部２２は、歪み推定部５１、記憶部５２、及び、歪み補正部５３を備える。
　歪み推定部５１は、透過体歪み及びレンズ歪みの推定処理を行う。歪み推定部５１は、特徴点検出部６１、特徴点計算部６２、レンズ歪み推定部６３、レンズ歪み補正部６４、及び、透過体歪み推定部６５を備える。
　特徴点検出部６１は、画像の特徴点の検出処理を行う。
　特徴点計算部６２は、歪みのない理想的な画像の特徴点の位置を計算する。
　レンズ歪み推定部６３は、レンズ歪みの推定処理を行う。
　レンズ歪み補正部６４は、画像のレンズ歪みを補正（除去）する処理を行う。
　透過体歪み推定部６５は、透過体歪みの推定処理を行う。
　記憶部５２は、レンズ歪み及び透過体歪みの推定結果を示す情報等を記憶する。
　歪み補正部５３は、画像のレンズ歪み及び透過体歪みを補正（除去）する処理を行う。
　＜画像処理システム１１の処理＞
　次に、図３乃至図１０を参照して、画像処理システム１１の処理について説明する。
　＜歪み推定処理＞
　まず、図３のフローチャートを参照して、画像処理システム１１により実行される歪み推定処理について説明する。
　ステップＳ１において、撮影部２１は、校正用画像を撮影する。
　具体的には、撮影前に、図柄が既知の校正チャートが、被写体１３として透過体１２の前に設置される。従って、レンズ２１Ａと校正チャートの間に、透過体１２が配置された状態となる。
　校正チャートは、図柄が既知であれば、任意のものを用いることが可能であるが、例えば、図４に示される校正チャート１０１乃至校正チャート１０３が用いられる。
　校正チャート１０１乃至校正チャート１０３は、所定のパターンを示すチャートである。具体的には、校正チャート１０１には、縦横のサイズが既知の矩形が格子状に並べられたチェッカボードパターンが示されている。校正チャート１０２には、半径が既知の円が格子状に並べられたサークルグリッドパターンが示されている。校正チャート１０３には、交点間の距離が既知の方眼パターンが示されている。
　撮影部２１は、校正チャートを撮影し、得られた画像（以下、現実校正用画像と称する）を信号処理部２２に供給する。現実校正用画像は、透過体１２及びレンズ２１Ａを介して撮影された画像であり、透過体１２による透過体歪み、及び、レンズ２１Ａによるレンズ歪みを含んでいる。
　ステップＳ２において、特徴点検出部６１は、撮影した現実の校正用画像（現実校正用画像）の特徴点を検出する。
　現実校正用画像の特徴点の検出方法には、任意の手法を用いることが可能である。例えば、校正チャートのパターンに応じた手法が用いられる。
　例えば、図４のチェッカボードパターンの校正チャート１０１に対しては、Ｍｏｒａｖｅｃの方法、Ｈａｒｒｉｓの方法等が用いられる。
　例えば、図４のサークルグリッドパターンの校正チャート１０２、又は、方眼パターンの校正チャート１０３に対しては、ハフ（Ｈｏｕｇｈ）変換等が用いられる。
　ステップＳ３において、特徴点計算部６２は、歪みのない理想的な校正用画像（以下、理想校正用画像と称する）の特徴点の位置を計算する。
　図５は、歪みのない理想的な撮影部２１のピンホールモデルを示している。図５には、ワールド座標系、カメラ座標系、及び、歪みのない理想的な画像の座標系（以下、理想画像座標系と称する）が図示されている。
　ワールド座標系は、原点Ｏｗを基準とし、互いに直交するＸ軸、Ｙ軸、及び、Ｚ軸からなる座標系である。
　カメラ座標系は、原点Ｏｃを基準とし、互いに直交するｘ軸、ｙ軸、及び、ｚ軸からなる座標系である。なお、ｚ軸は、レンズ２１Ａの光軸に平行な軸とされる。
　理想画像座標系は、原点Ｏｉを基準とし、互いに直交するｕ軸及びｖ軸からなる座標系である。なお、原点Ｏｉは、レンズ２１Ａの中央に対応する理想画像座標系の点（歪みのない理想的な画像（以下、理想画像と称する）の中央の点）とされる。また、ｕ軸は理想画像の水平方向の軸とされ、ｖ軸は理想画像の垂直方向の軸とされる。
　ここで、撮影部２１のｘ軸方向の焦点距離をｆｘ、ｙ軸方向の焦点距離をｆｙ、光学中心のｘ軸方向及びｙ軸方向の座標をｃｘ及びｃｙ、並びに、傾き係数をskew_coeffとすると、撮影部２１の内部パラメータである内部行列Ｋは、次式（１）で表される。
Figure JPOXMLDOC01-appb-M000001
　また、以下、ワールド座標系とカメラ座標系との間の関係を示す、撮影部２１の外部パラメータである回転行例Ｒ及び並行移動成分ｔを、次式（２）及び式（３）で表す。
Figure JPOXMLDOC01-appb-M000002
　すると、ワールド座標系の点Ｐｗ（Ｘ，Ｙ，Ｚ）と、点Ｐｗに対応する理想画像座標系の点Ｐｉ（ｕ，ｖ）との間の関係は、次式（４）で表される。
Figure JPOXMLDOC01-appb-M000003
　なお、式（４）の行列［Ｒ｜ｔ］は、次式（５）で表される。
Figure JPOXMLDOC01-appb-M000004
　ここで、内部行列Ｋは、設計値であり、既知である。また、回転成分Ｒ及び並行移動成分ｔは、校正チャートと撮影部２１との位置関係が分かれば、既知となる。
　そして、ワールド座標系の原点Ｏｗを校正チャート上に設定すると、内部行列Ｋ、回転成分Ｒ、及び、並行移動成分ｔが既知なので、式（４）により、校正チャートの特徴点の理想画像座標系における位置が算出される。
　そこで、特徴点計算部６２は、式（４）に基づいて、理想校正用画像の特徴点の位置を計算する。
　ステップＳ４において、レンズ歪み推定部６３は、理想的な校正用画像（理想校正用画像）の特徴点の位置、及び、現実の校正用画像（現実校正用画像）の特徴点の位置に基づいて、レンズ歪みを推定する。
　図６は、撮影部２１により現実に撮影される撮影画像の座標系（以下、現実画像座標系と称する）を図５の座標系に追加して示した図である。なお、図６では、理想画像座標系が点線で示されている。
　現実画像座標系は、原点Ｏｉ’を基準とし、互いに直交するｕ’軸及びｖ’軸からなる座標系である。なお、原点Ｏｉ’は、レンズ２１Ａの中央に対応する現実画像座標系の点とされる。また、ｕ’軸は撮影画像の水平方向の軸とされ、ｖ’軸は撮影画像の垂直方向の軸とされる。
　例えば、レンズ歪み推定部６３は、所定のレンズ歪みモデルを用いて、レンズ２１Ａによるレンズ歪みを表すレンズ歪み関数を推定する。
　レンズ歪み関数の推定には、任意のレンズ歪みモデルを用いることが可能である。例えば、「Brown, D. C., "Close-Range Camera Calibration", Photogrammetric Engineering 37(8), 1971年, p. 855-866」（以下、非特許文献１と称する）、及び、「Fryer, J. G.，外１名, "Lens distortion for close-range photogrammetry", Photogrammetric Engineering and Remote Sensing (ISSN 0099-1112), 1986年1月, vol. 52, p. 51-58」（以下、非特許文献２と称する）で提案されているレンズ歪みモデルを用いた場合、レンズ歪み関数ｆｄｌｕ（ｕ，ｖ）及びレンズ歪みｆｄｌｖ（ｕ，ｖ）は、次式（６）及び式（７）で表される。
Figure JPOXMLDOC01-appb-M000005
　レンズ歪み関数ｆｄｌｕ（ｕ，ｖ）及びレンズ歪みｆｄｌｖ（ｕ，ｖ）は、レンズ歪みのない画像の座標（ｕ，ｖ）と、レンズ歪みのある画像の座標（ｕＬ，ｖＬ）との対応関係を示す。
　なお、式（６）及び式（７）のｒは、理想画像座標系における座標（ｕ，ｖ）の原点Ｏｉからの距離を示し、ｒ2＝ｕ2＋ｖ2となる。また、式（６）及び式（７）のｋ1乃至ｋ6、ｐ1及びｐ2は係数（以下、レンズ歪み係数と称する）である。従って、各レンズ歪み係数を求めることにより、レンズ歪み関数が推定される。
　例えば、レンズ歪み推定部６３は、理想校正用画像の特徴点の位置（座標）を説明変数とし、撮影部２１により撮影された現実校正用画像の特徴点の位置（座標）を目的変数とし、非線形化最適化手法を用いて、式（６）及び式（７）の各レンズ歪み係数を推定する。非線形化最適化手法には、例えば、ニュートン法、ＬＭ法等の任意の手法を用いることができる。
　そして、レンズ歪み推定部６３は、レンズ歪み関数ｆｄｌｕ（ｕ，ｖ）及びレンズ歪みｆｄｌｖ（ｕ，ｖ）を示す情報を記憶部５２に記憶させる。
　このように、計算により求められた理想校正用画像の特徴点の位置と、現実に撮影された現実校正用画像の特徴点の位置との差に基づいて、レンズ歪みを表すレンズ歪み関数が推定される。
　なお、現実校正用画像には、レンズ歪みに加えて、透過体歪みも含まれる。しかし、レンズ歪みを表すモデルは、後述する透過体歪みを表すモデルとは異なる。従って、レンズ歪み及び透過体歪みの両方が含まれる現実校正用画像に対して、所定のレンズ歪みモデルを適用することにより、レンズ歪みと透過体歪みを分離して、レンズ歪み関数を推定することが可能である。
　図３に戻り、ステップＳ５において、歪み推定部５１は、透過体歪み推定処理を行い、歪み推定処理は終了する。
　ここで、図７のフローチャートを参照して、透過体歪み推定処理の詳細について説明する。
　ステップＳ３１において、レンズ歪み補正部６４は、レンズ歪み補正処理を行う。
　ここで、図８のフローチャートを参照して、レンズ歪み補正処理の詳細について説明する。
　ステップＳ６１において、レンズ歪み補正部６４は、レンズ歪みを補正していない画素のうちの１つを選択する。
　ステップＳ６２において、レンズ歪み補正部６４は、レンズ歪み関数を用いて、選択した画素の座標（ｕ，ｖ）を座標（ｕＬ，ｖＬ）に変換する。すなわち、レンズ歪み補正部６４は、上述した式（６）及び式（７）のレンズ歪み関数を用いて、座標（ｕ，ｖ）を座標（ｕＬ，ｖＬ）に変換する。
　ステップＳ６３において、レンズ歪み補正部６４は、現実の校正用画像の座標（ｕＬ，ｖＬ）の画素値を、選択した画素の画素値に設定する。これにより、レンズ歪みが補正された校正用画像（以下、レンズ歪み補正校正用画像と称する）の座標（ｕ，ｖ）の画素に、現実校正用画像の座標（ｕＬ，ｖＬ）の画素値が設定される。
　ステップＳ６４において、レンズ歪み補正部６４は、全ての画素のレンズ歪みを補正したか否かを判定する。まだ全ての画素のレンズ歪みを補正していないと判定された場合、処理はステップＳ６１に戻る。
　その後、ステップＳ６４において、全ての画素のレンズ歪みが補正されたと判定されるまで、ステップＳ６１乃至ステップＳ６４の処理が繰り返し実行される。
　一方、ステップＳ６４において、全ての画素のレンズ歪みが補正されたと判定された場合、レンズ歪み補正処理は終了する。
　このようにして、レンズ歪み関数を用いて、推定されたレンズ歪みが現実校正用画像から除去されたレンズ歪み補正校正用画像が生成される。
　図７に戻り、ステップＳ３２において、特徴点検出部６１は、レンズ歪みを補正した校正用画像（レンズ歪み補正校正用画像）の特徴点を検出する。具体的には、特徴点検出部６１は、図３のステップＳ２と同様の処理により、レンズ歪み補正校正用画像の特徴点を検出する。
　ステップＳ３３において、透過体歪み推定部６５は、理想的な校正用画像（理想校正用画像）の特徴点、及び、レンズ歪みを補正した校正用画像（レンズ歪み補正校正用画像）の特徴点に基づいて、透過体歪みを推定する。
　例えば、透過体歪み推定部６５は、所定の透過体歪みモデルを用いて、透過体１２による透過体歪みを表す透過体歪み関数を推定する。
　透過体歪み関数には、任意の透過体歪みモデルを用いることが可能である。例えば、２変数Ｎ次多項式による透過体歪みモデルを用いた場合、透過体歪み関数ｆｄｔｕ（ｕ，ｖ）及び透過体歪み関数ｆｄｔｖ（ｕ，ｖ）は、次式（８）及び式（９）で表される。
ｕＴ＝ｆｄｔｕ（ｕ，ｖ）
　　＝Ｃu＋ａu1ｕ＋ａu2ｖ＋ａu3ｕ2＋ａu4ｖ2＋ａu5ｕｖ＋ａu6ｕ3・・・
　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（８）
ｖＴ＝ｆｄｔｖ（ｕ，ｖ）
　　＝Ｃv＋ａv1ｕ＋ａv2ｖ＋ａv3ｕ2＋ａv4ｖ2＋ａv5ｕｖ＋ａv6ｕ3・・・
　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（９）
　透過体歪み関数ｆｄｔｕ（ｕ，ｖ）及び透過体歪み関数ｆｄｔｖ（ｕ，ｖ）は、透過体歪みのない画像の座標（ｕ，ｖ）と、透過体歪みのある画像の座標（ｕＴ，ｖＴ）との対応関係を示す。
　なお、式（８）及び式（９）のＣu、Ｃv、ａu1、ａu2、ａu3、ａu4、ａu5、ａu6・・・、及び、ａv1、ａv2、ａv3、ａv4、ａv5、ａv6・・・は、係数（以下、透過体歪み係数と称する）である。従って、各透過体歪み係数を求めることにより、透過体歪み関数が推定される。
　例えば、透過体歪み推定部６５は、理想校正用画像の特徴点の位置（座標）を説明変数とし、レンズ歪み補正校正用画像の特徴点の位置（座標）を目的変数とし、非線形化最適化手法を用いて、式（８）及び式（９）の各透過体係数を推定する。非線形化最適化手法には、例えば、ニュートン法、ＬＭ法等の任意の手法を用いることができる。
　そして、透過体歪み推定部６５は、透過体歪み関数ｆｄｔｕ（ｕ，ｖ）及び透過体歪み関数ｆｄｔｖ（ｕ，ｖ）を示す情報を記憶部５２に記憶させる。
　このように、計算により求められた理想校正用画像の特徴点の位置と、現実校正用画像からレンズ歪みが除去されたレンズ歪み補正校正用画像の特徴点の位置との差に基づいて、透過体歪みを表す透過体歪み関数が推定される。
　その後、透過体歪み推定処理は終了する。
　以上のようにして、透過体１２及びレンズ２１Ａを介して校正用画像を１度撮影するだけで、レンズ歪み及び透過体歪みを容易に推定することができる。すなわち、透過体１２を外した状態と設置した状態で２度校正用画像を撮影する必要がなく、特殊な処理や装置も必要ないため、歪み推定処理に係る負荷や時間が軽減される。
　＜撮影処理＞
　次に、図９のフローチャートを参照して、画像処理システム１１により実行される撮影処理について説明する。
　ステップＳ１０１において、撮影部２１は、撮影する。具体的には、撮影部２１は、被写体１３を撮影し、得られた撮影画像を信号処理部２２に供給する。撮影画像は、透過体１２及びレンズ２１Ａを介して撮影された画像であり、透過体１２による透過体歪み、及び、レンズ２１Ａによるレンズ歪みを含んでいる。
　ステップＳ１０２において、歪み補正処理を実行する。
　ここで、図１０のフローチャートを参照して、歪み補正処理の詳細について説明する。
　ステップＳ１３１において、歪み補正部５３は、歪みを補正していない画素のうちの１つを選択する。
　ステップＳ１３２において、歪み補正部５３は、レンズ歪み関数を用いて、選択した画素の座標（ｕ，ｖ）を座標（ｕＬ，ｖＬ）に変換する。すなわち、歪み補正部５３は、上述した式（６）及び式（７）のレンズ歪み関数を用いて、座標（ｕ，ｖ）を座標（ｕＬ，ｖＬ）に変換する。
　ステップＳ１３３において、歪み補正部５３は、透過体歪み関数を用いて、座標（ｕＬ，ｖＬ）を座標（ｕＴ，ｖＴ）に変換する。すなわち、歪み補正部５３は、上述した式（８）及び式（９）の透過体歪み関数を用いて、座標（ｕＬ，ｖＬ）を座標（ｕＴ，ｖＴ）に変換する。
　座標（ｕＴ，ｖＴ）は、歪みのない理想的な画像（理想画像）の座標（ｕ，ｖ）の画素の、レンズ歪み及び透過体歪みによる移動先の画素の座標を示す。
　ステップＳ１３４において、歪み補正部５３は、撮影画像の座標（ｕＴ，ｖＴ）の画素値を座標（ｕ，ｖ）に設定する。これにより、歪みが補正された撮影画像（以下、歪み補正画像と称する）の座標（ｕ，ｖ）の画素に、補正前の撮影画像の座標（ｕＴ，ｖＴ）の画素値が設定される。
　ステップＳ１３５において、歪み補正部５３は、全ての画素の歪みを補正したか否かを判定する。まだ全ての画素の歪みを補正していないと判定された場合、処理はステップＳ１３１に戻る。
　その後、ステップＳ１３５において、全ての画素の歪みを補正したと判定されるまで、ステップＳ１３１乃至ステップＳ１３５の処理が繰り返し実行される。
　一方、ステップＳ１３５において、全ての画素の歪みを補正したと判定された場合、歪み補正処理は終了する。
　このようにして、レンズ歪み関数及び透過体歪み関数を用いて、推定されたレンズ歪み及び透過歪みが撮影画像から除去された歪み補正撮影画像が生成される。
　図９に戻り、ステップＳ１０３において、歪みを補正した画像を出力する。すなわち、歪み補正部５３は、歪み補正撮影画像を制御部２３に出力する。
　制御部２３は、歪み補正撮影画像を用いて各種の処理を行う。
　以上のようにして、レンズ歪み及び透過体歪みによる撮影画像の不自然な歪みを容易に補正することができ、撮影画像の画質を向上させることができる。
　その結果、例えば、歪みのない撮影画像を記録したり、撮影画像に基づく物体の認識精度や測距精度が向上したりする等の効果を得ることができる。
　＜＜２．第２の実施の形態＞＞
　次に、図１１乃至図１４を参照して、本技術の第２の実施の形態について説明する。
　本技術の第２の実施の形態では、第１の実施の形態と比較して、歪み補正処理の演算量が軽減され、処理が高速化される。
　＜画像処理システム２０１の構成例＞
　図１１は、本技術の第２の実施の形態に係る画像処理システム２０１の構成例を示している。なお、図中、図１の画像処理システム１１と対応する部分には同じ符号を付してあり、その説明は適宜省略する。
　画像処理システム２０１は、画像処理システム１１と比較して、信号処理部２２の代わりに信号処理部２１１が設けられている点が異なる。
　＜信号処理部２１１の構成例＞
　図１２は、図１１の信号処理部２１１の構成例を示している。なお、図中、図２の信号処理部２２と対応する部分には、同じ符号を付してあり、その説明は適宜省略する。
　信号処理部２１１は、信号処理部２２と比較して、歪み補正部５３の代わりに歪み補正部２５２が設けられ、歪み補正テーブル生成部２５１が追加されている点が異なる。
　歪み補正テーブル生成部２５１は、撮影画像の歪みの補正に用いられる、２次元のルックアップテーブルである歪み補正テーブルを生成し、記憶部５２に記憶させる。
　歪み補正部２５２は、歪み補正テーブルを用いて、撮影画像の歪みを補正する。
　＜画像処理システム２０１の処理＞
　次に、図１３及び図１４を参照して、画像処理システム２０１の処理について説明する。
　なお、画像処理システム２０１により実行される歪み推定処理は、図３を参照して上述した画像処理システム１１の歪み推定処理と同様であり、その説明は省略する。
　＜歪み補正テーブル生成処理＞
　図１３のフローチャートを参照して、画像処理システム２０１により実行される歪み補正テーブル生成処理について説明する。
　ステップＳ２０１において、歪み補正テーブル生成部２５１は、次の座標（ｕ，ｖ）を選択する。
　歪み補正テーブルは、歪み補正の対象となる撮影画像の座標系と同じ構成の２次元のルックアップテーブルであり、撮影画像の各画素に対応するデータが設定されている。そして、歪み補正テーブル生成部２５１は、まだデータが設定されていない歪み補正テーブルの座標（ｕ，ｖ）のうちの１つを選択する。
　ステップＳ２０２において、歪み補正テーブル生成部２５１は、レンズ歪み関数を用いて、座標（ｕ，ｖ）を座標（ｕＬ，ｖＬ）に変換する。すなわち、歪み補正テーブル生成部２５１は、上述した式（６）及び式（７）のレンズ歪み関数を用いて、座標（ｕ，ｖ）を座標（ｕＬ，ｖＬ）に変換する。
　ステップＳ２０３において、歪み補正テーブル生成部２５１は、透過体歪み関数を用いて、座標（ｕＬ，ｖＬ）を座標（ｕＴ，ｖＴ）に変換する。すなわち、歪み補正テーブル生成部２５１は、上述した式（８）及び式（９）の透過体歪み関数を用いて、座標（ｕＬ，ｖＬ）を座標（ｕＴ，ｖＴ）に変換する。
　ステップＳ２０４において、歪み補正テーブル生成部２５１は、歪み補正テーブルの座標（ｕ，ｖ）の値に座標（ｕＴ，ｖＴ）を設定する。これにより、座標（ｕ，ｖ）の画素のレンズ歪み及び透過体歪みによる移動先の画素の座標（ｕＴ，ｖＴ）が、歪み補正テーブルの座標（ｕ，ｖ）のデータに設定される。従って、歪み補正テーブルは、透過体歪み及びレンズ歪みがない場合の画素の位置（理想画像の画素の位置）と、透過体歪み及びレンズ歪みがある場合の画素の位置（撮影画像の画素の位置）との対応関係を示す。
　ステップＳ２０５において、歪み補正テーブル生成部２５１は、歪み補正テーブルが完成したか否かを判定する。歪み補正テーブル生成部２５１は、歪み補正テーブルにおいて、まだデータが設定されていない座標がある場合、まだ歪み補正テーブルが完成していないと判定し、処理はステップＳ２０１に戻る。
　その後、ステップＳ２０５において、歪み補正テーブルが完成したと判定されるまで、ステップＳ２０１乃至ステップＳ２０５の処理が繰り返し実行される。
　一方、ステップＳ２０５において、歪み補正テーブル生成部２５１は、歪み補正テーブルの全ての座標のデータが設定されている場合、歪み補正テーブルが完成したと判定し、歪み補正テーブル生成処理は終了する。
　＜撮影処理＞
　次に、画像処理システム２０１により実行される撮影処理について説明する。
　画像処理システム２０１は、画像処理システム１１と同様に、上述した図９のフローチャートに従って、撮影処理を実行する。ただし、図９のステップＳ１０２において、図１０の歪み補正処理の代わりに、図１４の歪み補正処理が行われる。
　具体的には、ステップＳ２３１において、歪み補正部２５２は、歪みを補正していない画素のうちの１つを選択する。
　ステップＳ２３２において、歪み補正部２５２は、歪み補正テーブルを用いて、選択した画素の座標（ｕ，ｖ）を座標（ｕＴ，ｖＴ）に変換する。
　ステップＳ２３３において、歪み補正部２５２は、撮影画像の座標（ｕＴ，ｖＴ）の画素値を座標（ｕ，ｖ）に設定する。これにより、歪み補正画像の座標（ｕ，ｖ）の画素に、補正前の撮影画像の座標（ｕＴ，ｖＴ）の画素値が設定される。
　ステップＳ２３４において、歪み補正部２５２は、全ての画素の歪みを補正したか否かを判定する。まだ全ての画素の歪みを補正していないと判定された場合、処理はステップＳ２３１に戻る。
　その後、ステップＳ２３４において、全ての画素の歪みが補正されたと判定されるまで、ステップＳ２３１乃至ステップＳ２３４の処理が繰り返し実行される。
　一方、ステップＳ２３４において、全ての画素の歪みを補正したと判定された場合、歪み補正処理は終了する。
　このようにして、歪み補正テーブルを用いることにより、図８の歪み補正処理と比較して、演算量を削減し、処理を高速化することができる。
　＜＜３．第３の実施の形態＞＞
　次に、図１５乃至図１８を参照して、本技術の第３の実施の形態について説明する。
　第１の実施の形態及び第２の実施の形態では、撮影部２１の内部パラメータ（式（１）の内部行列Ｋ）、及び、外部パラメータ（式（２）の回転成分Ｒ、及び、式（３）の並行移動成分ｔ）が既知である場合の処理について説明した。一方、第３の実施の形態では、内部行列Ｋ、回転成分Ｒ、及び、並行移動成分ｔが未知である場合の処理について説明する。
　＜画像処理システム３０１の構成例＞
　図１５は、本技術の第３の実施の形態に係る画像処理システム３０１の構成例を示している。なお、図中、図１１の画像処理システム２０１と対応する部分には同じ符号を付してあり、その説明は適宜省略する。
　画像処理システム３０１は、画像処理システム２０１と比較して、信号処理部２１１の代わりに信号処理部３１１が設けられている点が異なる。
　＜信号処理部３１１の構成例＞
　図１６は、図１５の信号処理部３１１の構成例を示している。なお、図中、図１２の信号処理部２１１と対応する部分には、同じ符号を付してあり、その説明は適宜省略する。
　信号処理部３１１は、信号処理部２１１と比較して、レンズ歪み推定部６３の代わりにレンズ歪み推定部３６２が設けられ、パラメータ推定部３６１及び再投影誤差計算部３６３が追加されている点が異なる。
　パラメータ推定部３６１は、撮影部２１の内部パラメータ及び外部パラメータの推定処理を行う。
　レンズ歪み推定部３６２は、推定された撮影部２１の内部パラメータ及び外部パラメータに基づいて、レンズ歪みの推定処理を行う。
　再投影誤差計算部３６３は、撮影部２１により撮影された画像と、透過体歪み推定部６５により推定された透過体歪み、及び、レンズ歪み推定部３６２により推定されたレンズ歪みを計算により付加した画像との間の誤差である再投影誤差を計算する。また、再投影誤差計算部３６３は、再投影誤差に基づいて、透過体歪み及びレンズ歪みの推定処理が収束したか否かを判定する。
　＜画像処理システム３０１の処理＞
　次に、図１７乃至図１９を参照して、画像処理システム３０１の処理について説明する。
　＜歪み推定処理＞
　まず、図１７のフローチャートを参照して、画像処理システム３０１により実行される歪み推定処理について説明する。
　ステップＳ３０１において、図３のステップＳ１の処理と同様に、校正用画像が撮影される。
　ステップＳ３０２において、図３のステップＳ２の処理と同様に、撮影した現実の校正用画像の特徴点が検出される。
　ステップＳ３０３において、パラメータ推定部３６１は、ホモグラフィ行列を推定する。
　ステップＳ３０４において、パラメータ推定部３６１は、撮影部２１の内部パラメータ及び外部パラメータを推定する。
　ステップＳ３０５において、レンズ歪み推定部３６２は、推定された撮影部２１の内部パラメータ及び外部パラメータに基づいて、レンズ歪みを推定する。レンズ歪み推定部３６２は、推定したレンズ歪みを表すレンズ歪み関数を示す情報を記憶部５２に記憶させる。
　なお、ステップＳ３０３乃至ステップＳ３０５の処理の詳細は、「Zhengyou Zhang, "Flexible camera calibration by viewing a plane from unknown orientations", Computer Vision, 1999. The Proceedings of the Seventh IEEE International Conference on, IEEE, 1999, Vol. 1」（以下、非特許文献３と称する）に開示されている。そして、ステップＳ３０３乃至ステップＳ３０５の処理により、撮影部２１の内部パラメータ（内部行列Ｋ）及び外部パラメータ（回転成分Ｒ及び並行移動成分ｔ）、並びに、レンズ歪み関数のレンズ歪み係数が推定される。
　ステップＳ３０６において、図３のステップＳ３の処理と同様に、歪みのない理想的な校正用画像の特徴点の位置が計算される。
　ステップＳ３０７において、図３のステップＳ５の処理と同様に、透過体歪み推定処理が実行される。
　ステップＳ３０８において、歪み推定部３５１は、再投影誤差計算処理を行う。
　ここで、図１８のフローチャートを参照して、再投影誤差計算処理の詳細について説明する。
　ステップＳ３３１において、再投影誤差計算部３６３は、歪み付加処理を行う。
　ここで、図１９のフローチャートを参照して、歪み付加処理の詳細について説明する。
　ステップＳ３６１において、再投影誤差計算部３６３は、歪みを付加していない画素のうちの１つを選択する。
　ステップＳ３６２において、再投影誤差計算部３６３は、レンズ歪み関数を用いて、選択した画素の座標（ｕ，ｖ）を座標（ｕＬ，ｖＬ）に変換する。
　ステップＳ３６３において、再投影誤差計算部３６３は、透過体歪み関数を用いて、座標（ｕＬ，ｖＬ）を座標（ｕＴ，ｖＴ）に変換する。
　ステップＳ３６４において、再投影誤差計算部３６３は、理想的な校正用画像（理想校正用画像）の座標（ｕＴ，ｖＴ）の画素値を座標（ｕ，ｖ）に設定する。これにより、理想校正用画像に歪みが付加された画像（以下、歪み付加校正用画像と称する）の座標（ｕＴ，ｖＴ）の画素に、理想校正用画像の座標（ｕ，ｖ）の画素値が設定される。
　ステップＳ３６５において、再投影誤差計算部３６３は、全ての画素に歪みを付加したか否かを判定する。まだ全ての画素に歪みを付加していないと判定された場合、処理はステップＳ３６１に戻る。
　その後、ステップＳ３６５において、全ての画素に歪みを付加したと判定されるまで、ステップＳ３６１乃至ステップＳ３６５の処理が繰り返し実行される。
　一方、ステップＳ３６５において、全ての画素に歪みを付加したと判定された場合、歪み付加処理は終了する。
　このようにして、レンズ歪み関数及び透過体歪み関数を用いて、理想校正用画像にレンズ歪み及び透過歪みを付加した歪み付加校正用画像が生成される。
　図１８に戻り、ステップＳ３３２において、特徴点検出部６１は、歪みを付加した校正用画像（歪み付加校正用画像）の特徴点を検出する。具体的には、特徴点検出部６１は、図３のステップＳ２と同様の処理により、歪み付加校正用画像の特徴点を検出する。
　ステップＳ３３３において、再投影誤差計算部３６３は、現実の校正用画像（現実校正用画像）の特徴点と、歪みを付加した校正用画像（歪み付加校正用画像）の特徴点との間の再投影誤差を計算する。
　ここで、レンズ歪み関数及び透過体歪み関数の推定結果に誤差がなければ、現実校正用画像の特徴点と歪み付加校正用画像の特徴点の位置は一致する。一方、レンズ歪み関数及び透過体歪み関数の推定結果に誤差があれば、現実校正用画像の特徴点と歪み付加校正用画像の特徴点の位置は一致しない。
　そこで、再投影誤差計算部３６３は、現実校正用画像の各特徴点について、対応する歪み付加校正用画像の特徴点との間の位置の差（再投影誤差）を計算する。
　ステップＳ３３４において、再投影誤差計算部３６３は、再投影誤差の統計処理を行う。例えば、再投影誤差計算部３６３は、再投影誤差の平均又はＲＭＳＥ（Root Mean Squared Error）等、再投影誤差の収束判定に用いる統計値を計算する。
　その後、再投影誤差計算処理は終了する。
　図１７に戻り、ステップＳ３０９において、再投影誤差計算部３６３は、再投影誤差が収束したか否かを判定する。再投影誤差が収束していないと判定された場合、処理はステップＳ３０３に戻る。
　その後、ステップＳ３０９において、再投影誤差が収束したと判定されるまで、ステップＳ３０３乃至ステップＳ３０９の処理が繰り返し実行される。これにより、レンズ歪み関数及び透過体歪み関数が更新され、両者の推定精度が向上する。
　一方、ステップＳ３０９において、再投影誤差計算部３６３は、例えば、再投影誤差の統計値の変動量等に基づいて、再投影誤差が収束したと判定した場合、歪み推定処理は終了する。
　なお、再投影誤差計算部３６３は、例えば、再投影誤差が所定の閾値以下にならない場合、推定処理に失敗したと判定するようにしてもよい。
　以上のようにして、撮影部２１の内部パラメータ及び外部パラメータが未知である場合にも、レンズ歪み関数及び透過体歪み関数を容易に精度よく推定することができる。
　なお、画像処理システム３０１による撮影処理は、画像処理システム２０１による撮影処理と同様であり、その説明は省略する。
　＜＜４．適用例＞＞
　次に、図２０乃至図２４を参照して、本技術の具体的な適用例について説明する。
　図２０は、本技術をＡＲ又はＶＲ用のウエアラブルデバイス４０１に適用した例を示している。
　ウエアラブルデバイス４０１は、レンズ４１１ＡＬを有するカメラ４１１Ｌ、レンズ４１１ＡＲを有するカメラ４１１Ｒ、及び、バイザ４１２を備えている。デザインや保護の観点から、カメラ４１１Ｌ及びカメラ４１１Ｒの前方（被写体の方向）が、バイザ４１２により覆われている。
　ウエアラブルデバイス４０１は、カメラ４１１Ｌ及びカメラ４１１Ｒによりステレオ撮影を行うことが可能である。ウエアラブルデバイス４０１は、カメラ４１１Ｌ及びカメラ４１１Ｒにより撮影された画像に基づいて、例えば、周囲の物体の認識処理や測距処理等を行う。また、ウエアラブルデバイス４０１は、それらの処理の結果を用いて、ジェスチャ認識や、透過型のヘッドアップディスプレイにおける仮想物体の重畳表示等を行う。
　カメラ４１１Ｌは、バイザ４１２及びレンズ４１１ＡＬを介して撮影を行う。従って、カメラ４１１Ｌの撮影画像（以下、左画像と称する）には、バイザ４１２による透過体歪み、及び、レンズ４１１ＡＬによるレンズ歪みが発生する。
　カメラ４１１Ｒは、バイザ４１２及びレンズ４１１ＡＲを介して撮影を行う。従って、カメラ４１１Ｒの撮影画像（以下、右画像と称する）には、バイザ４１２による透過体歪み、及び、レンズ４１１ＡＲによるレンズ歪みが発生する。
　従って、ウエアラブルデバイス４０１では、カメラ４１１Ｌ及びカメラ４１１Ｒに対して、個別に透過体歪み及びレンズ歪みの推定処理が行われる。
　具体的には、カメラ４１１Ｌ対して、バイザ４１２に対する透過体歪み関数、及び、レンズ４１１ＡＬに対するレンズ歪み関数が推定される。そして、推定された透過体歪み関数及びレンズ歪み関数（或いは、カメラ４１１Ｌ用の歪み補正テーブル）を用いて、左画像の透過体歪み及びレンズ歪みが補正される。
　また、カメラ４１１Ｒ対して、バイザ４１２に対する透過体歪み関数、及び、レンズ４１１ＡＲに対するレンズ歪み関数が推定される。そして、推定された透過体歪み関数及びレンズ歪み関数（或いは、カメラ４１１Ｒ用の歪み補正テーブル）を用いて、右画像の透過体歪み及びレンズ歪みが補正される。
　このように、左画像及び右画像の透過体歪み及びレンズ歪みが補正されることにより、例えば、周囲の物体の認識処理や測距処理の精度が向上する。
　図２１は、本技術を車載用カメラ４３１に適用した例を示している。
　車載用カメラ４３１には、レンズ４３１Ｌ及びレンズ４３１Ｒが左右に設けられており、レンズ４３１Ｌ及びレンズ４３１Ｒを介してステレオ撮影を行う。また、車載用カメラ４３１は、車両４３２の室内に設置され、透過体であるウインドシールド４３２Ａを介して、車両４３２の前方を撮影する。
　例えば、車載用カメラ４３１により撮影された画像に基づいて、車両４３２の周囲の物体の認識処理や測距処理等が行われる。また、例えば、それらの処理の結果を用いて自動運転等が行われる。さらに、例えば、車載用カメラ４３１により撮影された画像が、ドライブレコーダに記録される。
　車載用カメラ４３１の左側の撮影画像（以下、左画像と称する）には、ウインドシールド４３２Ａによる透過体歪み、及び、レンズ４３１Ｌによるレンズ歪みが発生する。車載用カメラ４３１の右側の撮影画像（以下、右画像と称する）には、ウインドシールド４３２Ａによる透過体歪み、及び、レンズ４３１Ｒによるレンズ歪みが発生する。
　従って、左画像に対して、ウインドシールド４３２Ａに対する透過体歪み関数、及び、レンズ４３１Ｌに対するレンズ歪み関数が推定される。そして、推定された透過体歪み関数及びレンズ歪み関数（或いは、左画像用の歪み補正テーブル）を用いて、左画像の透過体歪み及びレンズ歪みが補正される。
　また、右画像に対して、ウインドシールド４３２Ａに対する透過体歪み関数、及び、レンズ４３１Ｒに対するレンズ歪み関数が推定される。そして、推定された透過体歪み関数及びレンズ歪み関数（或いは、右画像用の歪み補正テーブル）を用いて、右画像の透過体歪み及びレンズ歪みが補正される。
　このように、左画像及び右画像の透過体歪み及びレンズ歪みが補正されることにより、例えば、車両４３２の周囲の物体の認識処理や測距処理の精度が向上する。
　図２２は、本技術を、監視等に用いられるドーム型カメラ４５１に適用した例を示している。
　ドーム型カメラ４５１は、レンズ４６１Ａを有するカメラ４６１、及び、カバー４６２Ａを有する筐体４６２を備える。カメラ４６１は、筐体４６２内に設置され、ドーム状で半透明の透過体であるカバー４６２Ａにより周囲が覆われている。
　カメラ４６１は、カバー４６２Ａ及びレンズ４６１Ａを介して撮影を行う。従って、カメラ４６１の撮影画像には、カバー４６２Ａによる透過体歪み、及び、レンズ４６１Ａによるレンズ歪みが発生する。
　従って、カメラ４６１対して、カバー４６２Ａに対する透過体歪み関数、及び、レンズ４６１Ａに対するレンズ歪み関数が推定される。そして、推定された透過体歪み関数及びレンズ歪み関数を用いて、カメラ４６１の撮影画像の透過体歪み及びレンズ歪みが補正される。
　図２３は、図２１の車載用カメラ４３１の代わりに、ドーム型カメラ４５１を車両４３２の室内に設置した例を示している。この場合、カメラ４６１は、ウインドシールド４３２Ａ、カバー４６２Ａ、及び、レンズ４６１Ａを介して撮影を行う。従って、ウインドシールド４３２Ａ及びカバー４６２Ａの２つの透過体を介して撮影が行われる。
　この場合も、上述した歪み推定処理を行うことにより、ウインドシールド４３２Ａ及びカバー４６２Ａが１つの透過体と見なされ、透過体歪みが推定される。
　なお、３以上の透過体を介して撮影を行う場合にも、同様の方法により透過体歪みが推定される。
　図２４は、図２０の車載用カメラ４３１を用いて測距処理を行う場合のフローチャートを示している。
　なお、以下、図１１の画像処理システム２０１の撮影部２１が車載用カメラ４３１により構成され、画像処理システム２０１により測距処理を行う場合の例について説明する。
　ステップＳ４０１において、車載用カメラ４３１は、左右の画像を撮影する。車載用カメラ４３１は、撮影により得られた左画像及び右画像の信号処理部２１１に供給する。
　ステップＳ４０２において、歪み補正部２５２は、左右の画像の歪みを個別に補正する。例えば、歪み補正部２５２は、左画像用の歪み補正テーブルを用いて、図１４のフローチャートに従って、左画像のレンズ歪み及び透過体歪みを補正する。同様に、歪み補正部２５２は、右画像用の歪み補正テーブルを用いて、図１４のフローチャートに従って、右画像のレンズ歪み及び透過体歪みを補正する。歪み補正部２５２は、補正後の左画像及び右画像を制御部２３に供給する。
　ステップＳ４０３において、制御部２３は、歪みを補正した左右の画像に基づいて、距離を測定する。すなわち、制御部２３は、任意のステレオ画像を用いた測距手法を用いて、左画像及び右画像に基づいて、被写体１３までの距離を測定する。このとき、左画像及び右画像のレンズ歪み及び透過体歪みが除去されているため、測距精度が向上する。制御部２３は、例えば、測定結果を示す情報を記憶したり、表示したり、後段の装置に供給したりする。
　＜＜５．変形例＞＞
　以下、上述した本技術の実施の形態の変形例について説明する。
　図１の画像処理システム１１の各部は同一の装置に設けられてもよいし、複数の装置に分かれて設けられてもよい。例えば、撮影部２１、信号処理部２２、及び、制御部２３が同一の装置に設けられてもよいし、それぞれ別の装置に設けられてもよい。また、例えば、撮影部２１、信号処理部２２、及び、制御部２３のうちの２つが同一の装置に設けられ、残りの１つが別の装置に設けられてもよい。
　以上は、図１１の画像処理システム２０１、及び、図１５の画像処理システム３０１についても同様である。
　また、図２の信号処理部２２の各部が同じ装置に設けられてもよいし、複数の装置に分かれて設けられてもよい。例えば、歪み推定部５１と歪み補正部５３が別の装置に設けられてよい。また、例えば、歪み補正部５３を撮影部２１に設けて、撮影部２１においてレンズ歪み及び透過体歪みの補正を行うようにしてもよい。これらの場合、歪み推定部５１の推定結果を示す情報が、例えば、ネットワークや記憶媒体等を介して、歪み補正部５３に供給される。
　以上は、図１２の信号処理部２１１、及び、図１６の信号処理部３１１についても同様である。
　＜＜６．その他＞＞
　＜コンピュータの構成例＞
　上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図２５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　コンピュータ１０００において、CPU（Central Processing Unit）１００１，ROM（Read Only Memory）１００２，RAM（Random Access Memory）１００３は、バス１００４により相互に接続されている。
　バス１００４には、さらに、入出力インターフェース１００５が接続されている。入出力インターフェース１００５には、入力部１００６、出力部１００７、記録部１００８、通信部１００９、及びドライブ１０１０が接続されている。
　入力部１００６は、入力スイッチ、ボタン、マイクロフォン、撮像素子などよりなる。出力部１００７は、ディスプレイ、スピーカなどよりなる。記録部１００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１００９は、ネットワークインターフェースなどよりなる。ドライブ１０１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体１０１１を駆動する。
　以上のように構成されるコンピュータ１０００では、CPU１００１が、例えば、記録部１００８に記録されているプログラムを、入出力インターフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ１０００（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータ１０００では、プログラムは、リムーバブル記録媒体１０１１をドライブ１０１０に装着することにより、入出力インターフェース１００５を介して、記録部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記録部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記録部１００８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　＜構成の組み合わせ例＞
　本技術は、以下のような構成をとることもできる。
（１）
　光を透過する透過体及びレンズを介して撮影部により撮影された所定の被写体の第１の画像の特徴点の位置、並びに、前記透過体による透過体歪み及び前記レンズによるレンズ歪みのない前記被写体の第２の画像の特徴点の位置に基づいて、前記レンズ歪みを推定するレンズ歪み推定部と、
　前記第１の画像の特徴点の位置、及び、推定された前記レンズ歪みが前記第１の画像から除去された第３の画像の特徴点の位置に基づいて、前記透過体歪みを推定する透過体歪み推定部と
　を備える信号処理装置。
（２）
　前記透過体及び前記レンズを介して前記撮影部により撮影された第４の画像から、推定された前記透過体歪み及び前記レンズ歪みを除去する歪み補正部を
　さらに備える前記（１）に記載の信号処理装置。
（３）
　前記透過体歪み及び前記レンズ歪みがない場合の画素の位置と、前記透過体歪み及び前記レンズ歪みがある場合の画素の位置との対応関係を示す歪み補正テーブルを生成する歪み補正テーブル生成部を
　さらに備え、
　前記歪み補正部は、前記歪み補正テーブルを用いて、推定された前記透過体歪み及び前記レンズ歪みを前記第４の画像から除去する
　前記（２）に記載の信号処理装置。
（４）
　前記レンズ歪み推定部は、前記レンズ歪みを表すレンズ歪み関数を推定し、
　前記透過体歪み推定部は、前記透過体歪みを表す透過体歪み関数を推定し、
　前記歪み補正部は、前記透過体歪み関数及び前記レンズ歪み関数を用いて、推定された前記透過体歪み及び前記レンズ歪みを前記第４の画像から除去する
　前記（２）に記載の信号処理装置。
（５）
　前記レンズ歪み推定部は、所定のレンズ歪みモデルに基づいて、前記レンズ歪みを推定し、
　前記透過体歪み推定部は、前記レンズ歪みモデルとは異なる所定の透過体歪みモデルに基づいて、前記透過体歪みを推定する
　前記（１）乃至（４）のいずれかに記載の信号処理装置。
（６）
　前記撮影部の内部パラメータ及び外部パラメータを推定するパラメータ推定部を
　さらに備え、
　前記レンズ歪み推定部は、推定された前記内部パラメータ及び前記外部パラメータに基づいて、前記レンズ歪みを推定する
　前記（１）乃至（５）のいずれかに記載の信号処理装置。
（７）
　前記第１の画像の特徴点の位置と、推定された前記レンズ歪み及び前記透過体歪みを前記第２の画像に付加することにより得られる第５の画像の特徴点の位置との差である再投影誤差を計算し、前記再投影誤差に基づいて、前記レンズ歪み及び前記透過体歪みの推定処理の収束を判定する再投影誤差計算部を
　さらに備える前記（６）に記載の信号処理装置。
（８）
　前記第１の画像及び前記第３の画像の特徴点を検出する特徴点検出部と、
　前記撮影部の内部パラメータ及び外部パラメータに基づいて、前記第２の画像の特徴点の位置を計算する特徴点計算部と
　をさらに備え、
　前記レンズ歪み推定部は、検出された前記第１の画像の特徴点の位置、及び、計算された前記第２の画像の特徴点の位置に基づいて、前記レンズ歪みを推定し、
　前記透過体歪み推定部は、検出された前記第１の画像の特徴点の位置、及び、検出された前記第３の画像の特徴点の位置に基づいて、前記透過体歪みを推定する
　前記（１）乃至（７）のいずれかに記載の信号処理装置。
（９）
　推定された前記レンズ歪みを前記第１の画像から除去することにより前記第３の画像を生成するレンズ歪み補正部を
　さらに備える前記（１）乃至（８）のいずれかに記載の信号処理装置。
（１０）
　前記被写体は、所定のパターンを示す
　前記（１）乃至（９）のいずれかに記載の信号処理装置。
（１１）
　信号処理装置が、
　光を透過する透過体及びレンズを介して撮影部により撮影された所定の被写体の第１の画像の特徴点の位置、並びに、前記透過体による透過体歪み及び前記レンズによるレンズ歪みのない前記被写体の第２の画像の特徴点の位置に基づいて、前記レンズ歪みを推定し、
　前記第１の画像の特徴点の位置、及び、推定された前記レンズ歪みが前記第１の画像から除去された第３の画像の特徴点の位置に基づいて、前記透過体歪みを推定する
　信号処理方法。
（１２）
　光を透過する透過体及びレンズを介して撮影部により撮影された所定の被写体の第１の画像の特徴点の位置、並びに、前記透過体による透過体歪み及び前記レンズによるレンズ歪みのない前記被写体の第２の画像の特徴点の位置に基づいて、前記レンズ歪みを推定し、
　前記第１の画像の特徴点の位置、及び、推定された前記レンズ歪みが前記第１の画像から除去された第３の画像の特徴点の位置に基づいて、前記透過体歪みを推定する
　処理をコンピュータに実行させるためのプログラム。
（１３）
　光を透過する透過体及びレンズを介して撮影部により撮影された所定の被写体の第１の画像の特徴点の位置、並びに、前記透過体による透過体歪み及び前記レンズによるレンズ歪みのない前記被写体の第２の画像の特徴点の位置に基づいて推定された前記レンズ歪みと、前記第１の画像の特徴点の位置、及び、推定された前記レンズ歪みが前記第１の画像から除去された第３の画像の特徴点の位置に基づいて推定された前記透過体歪みとを、前記透過体及び前記レンズを介して前記撮影部により撮影された第４の画像から除去する歪み補正部を
　備える信号処理装置。
（１４）
　信号処理装置が、
　光を透過する透過体及びレンズを介して撮影部により撮影された所定の被写体の第１の画像の特徴点の位置、並びに、前記透過体による透過体歪み及び前記レンズによるレンズ歪みのない前記被写体の第２の画像の特徴点の位置に基づいて推定された前記レンズ歪みと、前記第１の画像の特徴点の位置、及び、推定された前記レンズ歪みが前記第１の画像から除去された第３の画像の特徴点の位置に基づいて推定された前記透過体歪みとを、前記透過体及び前記レンズを介して前記撮影部により撮影された第４の画像から除去する
　信号処理方法。
（１５）
　光を透過する透過体及びレンズを介して撮影部により撮影された所定の被写体の第１の画像の特徴点の位置、並びに、前記透過体による透過体歪み及び前記レンズによるレンズ歪みのない前記被写体の第２の画像の特徴点の位置に基づいて推定された前記レンズ歪みと、前記第１の画像の特徴点の位置、及び、推定された前記レンズ歪みが前記第１の画像から除去された第３の画像の特徴点の位置に基づいて推定された前記透過体歪みとを、前記透過体及び前記レンズを介して前記撮影部により撮影された第４の画像から除去する
　処理をコンピュータに実行させるためのプログラム。
（１６）
　レンズと、
　撮影部と、
　光を透過する透過体及び前記レンズを介して前記撮影部により撮影された所定の被写体の第１の画像の特徴点の位置、並びに、前記透過体による透過体歪み及び前記レンズによるレンズ歪みのない前記被写体の第２の画像の特徴点の位置に基づいて推定された前記レンズ歪みと、前記第１の画像の特徴点の位置、及び、推定された前記レンズ歪みが前記第１の画像から除去された第３の画像の特徴点の位置に基づいて推定された前記透過体歪みとを、前記透過体及び前記レンズを介して前記撮影部により撮影された第４の画像から除去する歪み補正部と
　を備える撮影装置。
（１７）
　前記第１の画像の特徴点の位置、及び、前記第２の画像の特徴点の位置に基づいて、前記レンズ歪みを推定するレンズ歪み推定部と、
　前記第１の画像の特徴点の位置、及び、前記第３の画像の特徴点の位置に基づいて、前記透過体歪みを推定する透過体歪み推定部と
　をさらに備える前記（１６）に記載の撮影装置。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　１１　画像処理システム，　１２　透過体，　１３　被写体，　２１　撮影部，　２１Ａ　レンズ，　２２　信号処理部，　２３　制御部，　５１　歪み推定部，　５３　歪み補正部，　６１　特徴点検出部，　６２　特徴点計算部，　６３　レンズ歪み推定部，　６４　レンズ歪み補正部，　６５　透過体歪み推定部，　１０１乃至１０３　校正チャート，　２０１　画像処理システム，　２１１　信号処理部，　２５１　歪み補正テーブル，　２５２　歪み補正部，　３０１　画像処理システム，　３１１　信号処理部，　３５１　歪み推定部，　３６１　パラメータ推定部，　３６２　レンズ歪み推定部，　３６３　再投影誤差計算部，　４０１　ウエアラブルデバイス，　４１１Ｌ，４１１Ｒ　カメラ，　４１１ＡＬ，４１１ＡＲ　レンズ，　４１２　バイザ，　４３１　車載用カメラ，　４３１Ｌ，４３１Ｒ　レンズ，　４３２　車両，　４３２Ａ　ウインドシールド，　４５１　ドーム型カメラ，　４６１　カメラ，　４６１Ａ　レンズ,　４６２　筐体，　４６２Ａ　カバー

Claims (12)

  1. 　光を透過する透過体及びレンズを介して撮影部により撮影された所定の被写体の第１の画像の特徴点の位置、並びに、前記透過体による透過体歪み及び前記レンズによるレンズ歪みのない前記被写体の第２の画像の特徴点の位置に基づいて、前記レンズ歪みを推定するレンズ歪み推定部と、
    　前記第１の画像の特徴点の位置、及び、推定された前記レンズ歪みが前記第１の画像から除去された第３の画像の特徴点の位置に基づいて、前記透過体歪みを推定する透過体歪み推定部と
    　を備える信号処理装置。
  2. 　前記透過体及び前記レンズを介して前記撮影部により撮影された第４の画像から、推定された前記透過体歪み及び前記レンズ歪みを除去する歪み補正部を
    　さらに備える請求項１に記載の信号処理装置。
  3. 　前記透過体歪み及び前記レンズ歪みがない場合の画素の位置と、前記透過体歪み及び前記レンズ歪みがある場合の画素の位置との対応関係を示す歪み補正テーブルを生成する歪み補正テーブル生成部を
    　さらに備え、
    　前記歪み補正部は、前記歪み補正テーブルを用いて、推定された前記透過体歪み及び前記レンズ歪みを前記第４の画像から除去する
    　請求項２に記載の信号処理装置。
  4. 　前記レンズ歪み推定部は、前記レンズ歪みを表すレンズ歪み関数を推定し、
    　前記透過体歪み推定部は、前記透過体歪みを表す透過体歪み関数を推定し、
    　前記歪み補正部は、前記透過体歪み関数及び前記レンズ歪み関数を用いて、推定された前記透過体歪み及び前記レンズ歪みを前記第４の画像から除去する
    　請求項２に記載の信号処理装置。
  5. 　前記レンズ歪み推定部は、所定のレンズ歪みモデルに基づいて、前記レンズ歪みを推定し、
    　前記透過体歪み推定部は、前記レンズ歪みモデルとは異なる所定の透過体歪みモデルに基づいて、前記透過体歪みを推定する
    　請求項１に記載の信号処理装置。
  6. 　前記撮影部の内部パラメータ及び外部パラメータを推定するパラメータ推定部を
    　さらに備え、
    　前記レンズ歪み推定部は、推定された前記内部パラメータ及び前記外部パラメータに基づいて、前記レンズ歪みを推定する
    　請求項１に記載の信号処理装置。
  7. 　前記第１の画像の特徴点の位置と、推定された前記レンズ歪み及び前記透過体歪みを前記第２の画像に付加することにより得られる第５の画像の特徴点の位置との差である再投影誤差を計算し、前記再投影誤差に基づいて、前記レンズ歪み及び前記透過体歪みの推定処理の収束を判定する再投影誤差計算部を
    　さらに備える請求項６に記載の信号処理装置。
  8. 　前記第１の画像及び前記第３の画像の特徴点を検出する特徴点検出部と、
    　前記撮影部の内部パラメータ及び外部パラメータに基づいて、前記第２の画像の特徴点の位置を計算する特徴点計算部と
    　をさらに備え、
    　前記レンズ歪み推定部は、検出された前記第１の画像の特徴点の位置、及び、計算された前記第２の画像の特徴点の位置に基づいて、前記レンズ歪みを推定し、
    　前記透過体歪み推定部は、検出された前記第１の画像の特徴点の位置、及び、検出された前記第３の画像の特徴点の位置に基づいて、前記透過体歪みを推定する
    　請求項１に記載の信号処理装置。
  9. 　推定された前記レンズ歪みを前記第１の画像から除去することにより前記第３の画像を生成するレンズ歪み補正部を
    　さらに備える請求項１に記載の信号処理装置。
  10. 　前記被写体は、所定のパターンを示す
    　請求項１に記載の信号処理装置。
  11. 　信号処理装置が、
    　光を透過する透過体及びレンズを介して撮影部により撮影された所定の被写体の第１の画像の特徴点の位置、並びに、前記透過体による透過体歪み及び前記レンズによるレンズ歪みのない前記被写体の第２の画像の特徴点の位置に基づいて、前記レンズ歪みを推定し、
    　前記第１の画像の特徴点の位置、及び、推定された前記レンズ歪みが前記第１の画像から除去された第３の画像の特徴点の位置に基づいて、前記透過体歪みを推定する
    　信号処理方法。
  12. 　光を透過する透過体及びレンズを介して撮影部により撮影された所定の被写体の第１の画像の特徴点の位置、並びに、前記透過体による透過体歪み及び前記レンズによるレンズ歪みのない前記被写体の第２の画像の特徴点の位置に基づいて、前記レンズ歪みを推定し、
    　前記第１の画像の特徴点の位置、及び、推定された前記レンズ歪みが前記第１の画像から除去された第３の画像の特徴点の位置に基づいて、前記透過体歪みを推定する
    　処理をコンピュータに実行させるためのプログラム。
PCT/JP2019/006775 2018-03-08 2019-02-22 信号処理装置、信号処理方法、及び、プログラム Ceased WO2019171984A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/976,844 US11348208B2 (en) 2018-03-08 2019-02-22 Signal processing apparatus and signal processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018041471 2018-03-08
JP2018-041471 2018-03-08

Publications (1)

Publication Number Publication Date
WO2019171984A1 true WO2019171984A1 (ja) 2019-09-12

Family

ID=67846701

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/006775 Ceased WO2019171984A1 (ja) 2018-03-08 2019-02-22 信号処理装置、信号処理方法、及び、プログラム

Country Status (2)

Country Link
US (1) US11348208B2 (ja)
WO (1) WO2019171984A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI705292B (zh) * 2020-02-14 2020-09-21 致伸科技股份有限公司 判斷相機模組之組裝品質的方法
JPWO2022009534A1 (ja) * 2020-07-10 2022-01-13
EP3945455A1 (en) * 2020-07-30 2022-02-02 Kabushiki Kaisha Toshiba Information processing device, information processing method, computer-readable medium, and vehicle control system
US11348208B2 (en) * 2018-03-08 2022-05-31 Sony Corporation Signal processing apparatus and signal processing method

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11727597B2 (en) * 2018-12-21 2023-08-15 Sony Group Corporation Calibrating volumetric rig with structured light
JP7111183B2 (ja) * 2019-01-09 2022-08-02 日本電気株式会社 カメラパラメータ推定装置、カメラパラメータ推定方法、及びプログラム
JP7608141B2 (ja) * 2020-12-14 2025-01-06 京セラ株式会社 立体表示用コントローラ
CN114878583B (zh) * 2022-07-08 2022-09-20 四川大学 用于畸变光斑照明疵病暗场成像的图像处理方法及系统
EP4390849B1 (en) 2022-12-20 2025-02-26 Axis AB Method and image-processing device for determining a lens distortion correction for an interchangeable camera lens

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014199241A (ja) * 2012-07-23 2014-10-23 株式会社リコー ステレオカメラ
JP2017062198A (ja) * 2015-09-25 2017-03-30 富士重工業株式会社 幾何歪除去再現装置
JP2018028671A (ja) * 2013-03-01 2018-02-22 パナソニックＩｐマネジメント株式会社 カメラ装置及びカメラ装置の制御方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS581402B2 (ja) * 1974-05-04 1983-01-11 ミノルタ株式会社 テンゾウキヨウドブンプ ノ カヘンナ コウガクケイ
JP2009302697A (ja) 2008-06-11 2009-12-24 Sony Corp 撮像システム、撮像装置、撮像レンズ、歪み補正方法及びプログラム
US8724007B2 (en) * 2008-08-29 2014-05-13 Adobe Systems Incorporated Metadata-driven method and apparatus for multi-image processing
JP6520080B2 (ja) * 2014-01-31 2019-05-29 株式会社リコー ステレオカメラ校正方法、視差算出装置、ステレオカメラ及び車両
JP6427900B2 (ja) 2014-03-07 2018-11-28 株式会社リコー 校正方法、校正システム、プログラム及び移動体
DE102015103785A1 (de) * 2015-03-16 2016-09-22 Hochschule Offenburg Verfahren und Vorrichtung zur Kalibration einer Kamera
KR101666959B1 (ko) * 2015-03-25 2016-10-18 ㈜베이다스 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법
CN108632589A (zh) * 2017-03-15 2018-10-09 株式会社理光 信息处理装置、摄像系统以及记录介质
TWI657378B (zh) * 2017-09-22 2019-04-21 財團法人資訊工業策進會 複數非線性扭曲鏡頭下之目標追蹤方法及系統
WO2019171984A1 (ja) * 2018-03-08 2019-09-12 ソニー株式会社 信号処理装置、信号処理方法、及び、プログラム
US20200104977A1 (en) * 2018-09-30 2020-04-02 Augentix Inc. Method of Adaptive Image Stitching and Image Processing Device
KR102118173B1 (ko) * 2018-10-31 2020-06-02 중앙대학교 산학협력단 왜곡계수 추정을 통한 영상 보정 시스템 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014199241A (ja) * 2012-07-23 2014-10-23 株式会社リコー ステレオカメラ
JP2018028671A (ja) * 2013-03-01 2018-02-22 パナソニックＩｐマネジメント株式会社 カメラ装置及びカメラ装置の制御方法
JP2017062198A (ja) * 2015-09-25 2017-03-30 富士重工業株式会社 幾何歪除去再現装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11348208B2 (en) * 2018-03-08 2022-05-31 Sony Corporation Signal processing apparatus and signal processing method
TWI705292B (zh) * 2020-02-14 2020-09-21 致伸科技股份有限公司 判斷相機模組之組裝品質的方法
JPWO2022009534A1 (ja) * 2020-07-10 2022-01-13
JP7514932B2 (ja) 2020-07-10 2024-07-11 日立Astemo株式会社 カメラシステムの製造方法
EP3945455A1 (en) * 2020-07-30 2022-02-02 Kabushiki Kaisha Toshiba Information processing device, information processing method, computer-readable medium, and vehicle control system
US20220032969A1 (en) * 2020-07-30 2022-02-03 Kabushiki Kaisha Toshiba Information processing device, information processing method, computer program product, and vehicle control system
JP2022026277A (ja) * 2020-07-30 2022-02-10 株式会社東芝 情報処理装置、情報処理方法、プログラムおよび車両制御システム
CN114092548A (zh) * 2020-07-30 2022-02-25 株式会社东芝 信息处理装置、信息处理方法、存储介质以及车辆控制系统
JP7383584B2 (ja) 2020-07-30 2023-11-20 株式会社東芝 情報処理装置、情報処理方法、プログラムおよび車両制御システム
US11897517B2 (en) 2020-07-30 2024-02-13 Kabushiki Kaisha Toshiba Information processing device, information processing method, computer program product, and vehicle control system
CN114092548B (zh) * 2020-07-30 2025-05-13 株式会社东芝 信息处理装置、信息处理方法、存储介质以及车辆控制系统

Also Published As

Publication number Publication date
US20200410650A1 (en) 2020-12-31
US11348208B2 (en) 2022-05-31

Similar Documents

Publication Publication Date Title
WO2019171984A1 (ja) 信号処理装置、信号処理方法、及び、プログラム
US10594941B2 (en) Method and device of image processing and camera
KR101666959B1 (ko) 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법
CN107223330B (zh) 一种深度信息获取方法、装置及图像采集设备
US9258484B2 (en) Image pickup apparatus and control method for same
CN114616586B (zh) 图像标注方法、装置、电子设备及计算机可读存储介质
KR102452575B1 (ko) 광학식 이미지 안정화 움직임에 의한 이미지의 변화를 보상하기 위한 장치 및 방법
JPWO2018235163A1 (ja) キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法
EP4242609A1 (en) Temperature measurement method, apparatus, and system, storage medium, and program product
KR101482645B1 (ko) Ｆｏｖ왜곡 보정 모델에 2ｄ패턴을 적용한 왜곡중심 보정 방법
WO2014208230A1 (ja) 座標算出装置及び方法、並びに画像処理装置及び方法
JP5783567B2 (ja) 直線検出装置、直線検出方法、直線検出プログラム及び撮影システム
CN111383264B (zh) 一种定位方法、装置、终端及计算机存储介质
KR101478980B1 (ko) 어안 렌즈를 이용한 다중 채널 디스플레이 시스템
KR102076635B1 (ko) 산재된 고정 카메라를 이용한 파노라마 영상 생성 장치 및 방법
CN109785225B (zh) 一种用于图像矫正的方法和装置
JP2010217984A (ja) 像検出装置及び像検出方法
JP5487946B2 (ja) カメラ画像の補正方法およびカメラ装置および座標変換パラメータ決定装置
JP7185162B2 (ja) 画像処理方法、画像処理装置およびプログラム
JP2008298589A (ja) 位置検出装置及び位置検出方法
US11196929B2 (en) Signal processing device, imaging device, and signal processing method
KR101938067B1 (ko) Sift 플로우를 이용한 광각영상의 스테레오 정합 방법 및 장치
WO2019155903A1 (ja) 情報処理装置および方法
JP2005275789A (ja) 三次元構造抽出方法
KR20230007034A (ko) 어안 왜곡 이미지의 무손실 보정 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19764909

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19764909

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP