WO2024241702A1 - 情報処理装置および撮像装置 - Google Patents

情報処理装置および撮像装置 Download PDF

Info

Publication number
WO2024241702A1
WO2024241702A1 PCT/JP2024/012563 JP2024012563W WO2024241702A1 WO 2024241702 A1 WO2024241702 A1 WO 2024241702A1 JP 2024012563 W JP2024012563 W JP 2024012563W WO 2024241702 A1 WO2024241702 A1 WO 2024241702A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
information
imaging device
background
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2024/012563
Other languages
English (en)
French (fr)
Inventor
廣輝 中村
和也 北村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to EP24810710.4A priority Critical patent/EP4723659A1/en
Priority to CN202480034250.9A priority patent/CN121195512A/zh
Publication of WO2024241702A1 publication Critical patent/WO2024241702A1/ja
Priority to US19/387,997 priority patent/US20260075325A1/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Definitions

  • the present invention relates to an information processing device that processes information related to imaging.
  • One imaging technique used in movies and television is virtual production, in which a background image is displayed on a background display that is larger than the subject, and then the subject is imaged together with the background image.
  • LEDs which are the display elements primarily used in background displays, have viewing angle characteristics. For this reason, if the imaging device is not positioned so as to directly face the background display when imaging, image quality unevenness (brightness unevenness) will occur in the background image area in the image data obtained by imaging.
  • Patent document 1 discloses a method for calculating the angle between an LED display and an imaging device from position information of the imaging device, and correcting the brightness of the LED display using a brightness correction value according to the angle.
  • the present invention provides an information processing device and an imaging device that can obtain image data with reduced image quality unevenness in the background image area, regardless of the arrangement of the background display and the imaging device.
  • An information processing device as one aspect of the present invention is characterized by having an acquisition means for acquiring an input image obtained by capturing an image of a subject and a background image displayed on a background display using an imaging device, a discrimination means for discriminating between a subject area and a background image area in the input image, and a processing means for acquiring arrangement information regarding at least one of the angle and distance between the background display and the imaging device, and performing image processing on the background image area according to the arrangement information.
  • an imaging device having the above-mentioned information processing device also constitutes another aspect of the present invention.
  • An information processing method as another aspect of the present invention is characterized by having the steps of acquiring an input image obtained by capturing an image of a subject and a background image displayed on a background display using an imaging device, determining the subject area and the background image area in the input image, and acquiring position information regarding at least one of the angle and distance between the background display and the imaging device, and performing image processing on the background image area according to the position information.
  • a program for causing a computer to execute processing according to the above information processing method also constitutes another aspect of the present invention.
  • the present invention it is possible to obtain an image with reduced image quality unevenness in the background image area, regardless of the arrangement of the background display and the imaging device.
  • FIG. 1 is a block diagram showing a configuration of an imaging apparatus according to an embodiment.
  • FIG. 2 is a diagram showing a part of a light receiving surface of an image sensor.
  • 11 is a flowchart showing a process for calculating distance information in the embodiment.
  • FIG. FIG. 4 is a flowchart showing a process in the first embodiment.
  • 3A and 3B are diagrams showing an image capturing state in the first embodiment and a subject area and an LED display area in the image data.
  • FIG. 4 is a diagram showing division of image data in the first embodiment.
  • 4A and 4B are diagrams showing a correction target block and peripheral blocks in the first embodiment.
  • 5 is a schematic diagram showing an imaging position and two adjacent blocks on adjacent LED displays in image data in the first embodiment.
  • FIG. 10 is a flowchart showing a process according to a second embodiment.
  • FIG. 1 shows the configuration of an image capture device 100.
  • the image capture device 100 captures images, processes the images, and records the images.
  • Each unit connected to the internal bus 101 can exchange data with each other via the internal bus 101.
  • Lens unit 106 has an optical system including a zoom lens, a focus lens, and an aperture mechanism, and a motor that drives the optical system.
  • the optical image formed by lens unit 106 is converted into an image signal as an analog electrical signal (i.e., imaged) by an image sensor such as a CCD sensor or CMOS sensor included in imaging unit 107.
  • Imaging unit 107 also includes an A/D conversion unit that converts the image signal output from the image sensor into a digital signal (image data).
  • the image sensor is an image plane phase difference sensor, and details of this will be described later.
  • the CPU 102 as a computer controls each part of the imaging device 100 according to a program stored in the ROM 103, using the RAM 104 as a work memory.
  • ROM 103 is a non-volatile memory that records programs and various parameters for operating CPU 102.
  • RAM 104 is a volatile memory.
  • Frame memory 111 is a memory that temporarily stores image data, and allows image data to be read out when necessary. Using frame memory 111, it is possible to perform processes such as combining images obtained by capturing images at different times and cutting out specific areas from images obtained by capturing images.
  • the image processing unit 105 as an information processing device performs various image processing on image data from the imaging unit 107 or image data stored in the frame memory 111 or recording medium 112 under the control of the CPU 102.
  • the image processing performed by the image processing unit 105 includes pixel interpolation, encoding, compression, decoding, enlargement/reduction (resizing), noise reduction, color conversion, and the like.
  • the image processing unit 105 also corrects performance variations in multiple pixels of the imaging element, corrects defective pixels, corrects white balance, corrects brightness, and corrects distortion and peripheral light loss caused by lens characteristics.
  • the image processing unit 105 generates distance information, which will be described later, and performs brightness value correction of image data according to the angle and distance between the background display and the imaging device 100, which will be described later.
  • the image processing unit 105 may be configured as a dedicated image processing computer that performs image processing, or the CPU 102 may have the functions of the image processing unit 105.
  • the CPU 102 controls each motor of the lens unit 106 based on the calculation results for lens control obtained from the image processing unit 105 to perform optical zoom, focusing, and aperture adjustment.
  • the CPU 102 may also perform image blur correction by moving a lens that constitutes part of the optical system in a direction perpendicular to the optical axis in response to camera shake detected by the attitude detection unit 116, which will be described later.
  • the operation unit 113 accepts operations by the user and outputs instructions corresponding to the operations to the CPU 102 and the image processing unit 105.
  • the operation unit 113 has operation members such as switches, dials, and buttons.
  • the operation members include a power switch, a mode switching dial, and a release button.
  • AF autofocus
  • AE exposure control
  • the operation unit 113 may be a touch sensor provided on the display unit 114.
  • the display unit 114 which serves as a display means, displays images processed by the image processing unit 105, setting menus, etc.
  • the display unit 114 has a display device such as an LCD (Liquid Crystal Display) or an organic EL (Electroluminescence).
  • the display unit 114 may also be provided with the touch sensor described above.
  • the CPU 102 generates text information and icons to inform the user of the settings of the imaging device 100, as well as images of setting menus for configuring various settings of the imaging device 100, and displays these on the display unit 114 by superimposing them on the image processed by the image processing unit 105.
  • Video terminal 109 is a terminal for a video interface such as SDI (Serial Digital Interface), HDMI (High Definition Multimedia Interface) (registered trademark), DisplayPort (registered trademark), etc.
  • CPU 102 can output video (image data) to an external monitor, etc. via video terminal 109.
  • the network module 108 is an interface for inputting and outputting image data and audio signals.
  • the CPU 102 communicates with external devices via the Internet, etc. through the network module 108, and can transmit and receive not only image data and audio signals, but also control signals such as commands.
  • the network module 108 may be of either a wireless communication type or a wired communication type.
  • the recording medium 112 is a hard disc drive (HDD) or solid state drive (SSD) capable of recording image data and various setting data, and is removably attached to the recording medium I/F 110.
  • HDD hard disc drive
  • SSD solid state drive
  • the object detection unit 115 detects objects using artificial intelligence such as deep learning using a neural network.
  • the CPU 102 transmits programs, network structures, weight parameters, etc. stored in the ROM 103 to the object detection unit 115. Examples of network structures include SSD (Single Shot Multibox Detector) and YOLO (You Only Look Once).
  • the object detection unit 115 performs processing to detect objects from image data based on various parameters obtained from the CPU 102, and sends the processing results to the RAM 104.
  • the attitude detection unit 116 detects the attitude and shake of the imaging device 100 using an angular velocity sensor, an acceleration sensor, etc. This makes it possible to detect the tilt of the imaging device 100, camera shake due to hand shake, etc.
  • FIG. 2(A) shows a schematic diagram of a part of an image sensor in which red (R), blue (B), and green (Gb, Gr) pixels are arranged in a Bayer array.
  • each pixel has two photodiodes A and B as photoelectric conversion elements, and the two photodiodes A and B are provided with one microlens (not shown).
  • the imaging unit 107 generates a pair of image signals (A and B image signals) for phase difference detection by synthesizing the A and B signals output from each of the multiple pixels on the image sensor.
  • an imaging signal for obtaining image data is generated by adding the A and B image signals.
  • the imaging unit 107 in addition to outputting an A signal and a B signal from each pixel, it is also possible to output a value obtained by averaging the A signals and B signals from multiple pixels that are close to each other. By outputting the averaged value, it is possible to shorten the time it takes to read signals from the imaging unit 107 and reduce the bandwidth of the internal bus 101.
  • the CPU 102 performs a correlation calculation on the pair of image signals to calculate the phase difference between them, and calculates information on the defocus amount from the phase difference.
  • the defocus amount indicates the degree of defocus relative to the in-focus state of the lens unit 106.
  • the CPU 102 determines that the image is in-focus if the defocus amount is within a predetermined range including 0, and determines that the image is in front focus or back focus if the defocus amount is positive or negative, respectively.
  • the CPU 102 performs image plane phase difference AF by controlling a motor that drives the focus lens in the lens unit 106 according to the positive or negative defocus amount.
  • the CPU 102 also calculates the reliability of the calculated phase difference.
  • the CPU 102 also calculates the distance to the subject using the parallax between the pair of image signals and the optical information of the lens unit 106 using the principle of triangulation.
  • FIG. 2B shows a case where two photodiodes are provided for each pixel
  • the number of photodiodes for each pixel may be three or more.
  • the image sensor may be provided with multiple pixels with different aperture positions, and the multiple pixels may be treated as one pixel for focus detection. In this way, the image sensor may be configured to obtain a pair of image signals for phase difference detection.
  • the image processing unit 105 functions as an acquisition unit, a determination unit, and a processing unit.
  • the flowchart in FIG. 3 shows the distance calculation process that the image processing unit 105 executes according to a program in response to the start of imaging in the imaging unit 107.
  • the image processing unit 105 calculates (acquires) the B image signal by finding the difference between the imaging signal (A image signal + B image signal) output from the imaging unit 107 and the A image signal.
  • the A image signal and the B image signal may each be acquired from the imaging unit 107.
  • a signal obtained by adding the A image signal and the B image signal can be acquired as the imaging signal.
  • the A image signal may be acquired from one of the two imaging elements, and the B image signal may be acquired from the other.
  • step S302 the image processing unit 105 performs shading correction for optical factors on the A image signal and the B image signal.
  • the image processing unit 105 performs filter processing on each of the A and B image signals.
  • the filter processing is, for example, high-pass filter processing using an FIR (Finite Impulse Response) filter.
  • FIR Finite Impulse Response
  • step S304 the image processing unit 105 divides each of the A and B image signals that have been subjected to the filter processing in step S303 into minute blocks, and performs a correlation calculation for each divided block.
  • minute blocks There are no particular restrictions on the size or shape of the minute blocks, and adjacent blocks may partially overlap.
  • the correlation calculation between the A and B image signals will be explained below.
  • the signal sequence of the A image signal at the pixel of interest is taken as A image signal sequence E(1) to E(m)
  • the signal sequence of the B image signal at the pixel of interest is taken as B image signal sequence F(1) to F(m).
  • the correlation amount C(k) at the shift amount k between these pairs of image signal sequences is calculated using the following equation (1).
  • the ⁇ calculation refers to an operation that calculates the sum for n.
  • the range of n and n+k is limited to the range from 1 to m.
  • the amount of deviation k is an integer value, and is the relative pixel deviation amount in units of the detection pitch (pixel arrangement pitch) of the paired image signal strings.
  • Figure 4 shows the calculation results of equation (1) when the correlation between the paired image signal strings is high in an ideal state without noise.
  • the k at which the discrete correlation amount C(k) is minimum is denoted as kj.
  • the pixel shift amount (phase difference) x that gives the minimum value C(x) for continuous correlation amounts is calculated by the three-point interpolation process shown in equations (2) to (4).
  • the pixel shift amount x is a real value, and its unit is pixels.
  • the SLOP in the formula (4) represents the slope of the change in the correlation amount that is the smallest and the local minimum and the correlation amount adjacent thereto.
  • kj 0.
  • the pixel shift amount x between the pair of image signal strings is ideally 0.00.
  • Figure 5 shows the calculation results when formula (1) is applied to a small block containing noise.
  • the effect of randomly distributed noise reduces the correlation between paired image signal sequences.
  • the minimum value of the correlation amount C(k) becomes larger than the minimum value shown in Figure 4, and the correlation amount curve becomes generally flat (the absolute value of the difference between the maximum and minimum values becomes smaller).
  • the reliability of the calculated pixel shift amount x can be determined by the SLOP value. That is, when the SLOP value is large, it can be determined that the correlation between the pair of image signal strings is high, and when the SLOP value is small, it can be determined that no significant correlation was obtained between the pair of image signal strings.
  • the correlation amount C(k) is minimum and extremely small at the shift amount k where the correlation between the pair of image signal strings is highest.
  • a correlation calculation method in which the correlation amount C(k) is maximum and extremely large at the shift amount k where the correlation between the pair of image signal strings is highest may be used.
  • step S305 the image processing unit 105 calculates the reliability of the calculated pixel shift amount x.
  • the reliability can be defined by C(kj), which indicates the degree of match between the pair of image signals calculated in step S304, and the value of SLOP.
  • step S306 the image processing unit 105 performs an interpolation process.
  • the correlation calculation was successful in step S304, there are cases in which the pixel shift amount x of the pixel of interest cannot be adopted due to low reliability calculated in step S305. In such cases, it is necessary to obtain the pixel shift amount of the pixel of interest by interpolation using the pixel shift amounts calculated for the pixels surrounding the pixel of interest.
  • a median filter may be applied to the pixel shift amount calculated for the surrounding pixels, or a method may be used in which the pixel shift amount data is reduced and then enlarged again.
  • color data may be extracted from the imaging signal, and the pixel shift amount may be interpolated using the color data.
  • step S307 the image processing unit 105 calculates the defocus amount by referring to the pixel shift amount x calculated in step S304 or obtained by interpolation in step S306.
  • the defocus amount (DEF) can be calculated by the following formula (5).
  • P is a conversion coefficient determined by the detection pitch and the distance between the projection centers of the two viewpoints in the pair of parallax images (A image signal and B image signal) (the distance between the center of gravity of the image sensor that generates the A image signal and the center of gravity of the image sensor that generates the B image signal).
  • the unit of the conversion coefficient is mm/pixel.
  • step S308 the image processing unit 105 calculates the distance from the defocus amount calculated in step S307.
  • the distance to the subject is Da
  • the focal position of the lens unit 106 is Db
  • the focal length is F
  • equation (7) becomes:
  • the absolute distance Da' to the subject can be calculated.
  • the relative distance Da-Da' is calculated from equations (7) and (8) as follows:
  • the pixel shift amount, defocus amount, and distance to the subject can be obtained from the A and B image signals.
  • the pixel shift amount and defocus amount obtained in this manner change depending on the distance from the imaging device 100. Therefore, the pixel shift amount, defocus amount, and distance are all information relating to the distance from the imaging device 100.
  • information relating to distance is referred to as distance information.
  • information relating to distance is not limited to distance itself, but may be information that can be converted into or associated with distance.
  • Fig. 7(a) shows how an image of a subject OBJ positioned in front of an LED display LD as a background display is captured by an imaging device 100.
  • the LED display LD is configured with a large number of LEDs as display elements arranged in a two-dimensional direction, and displays a background image according to a video signal supplied from a video supply device (not shown).
  • the image data obtained by imaging shows the subject OBJ against the background image.
  • the imaging device 100 captures an image of the subject OBJ and the LED display LS from a direction different from the direction of the normal N (direction facing the LED display LD), which is a plane.
  • the background display is not limited to a plane, and may be curved or spherical. If the angle between the imaging direction of the imaging device 100 and the display surface of the LED display LD is significantly different from 90°, the viewing angle characteristics of the LED display LD will reduce the luminance of the light incident on the imaging device 100 from the LED display LD. As a result, image quality unevenness (luminance unevenness) due to the above angle will occur in the background image area of the image data obtained by the imaging device 100. For this reason, it is desirable to perform luminance value correction on the image data as image processing to reduce this image quality unevenness.
  • the flowchart in FIG. 6 shows the process executed by the image processing unit 105 in the imaging device 100 according to a program in the first embodiment.
  • step S601 the image processing unit 105 acquires image data as an input image obtained by capturing an image of the object OBJ and the LED display LD, and information on the distance between the object OBJ and the LED display LD, and stores the data in the frame memory 111.
  • the image processing unit 105 reads out image data and distance information from the frame memory 111. From the distance information, the image processing unit 105 determines the subject area in which the subject in the image data is captured and the LED display area (background image area) in which the LED display LD is captured, as shown in FIG. 7(b), and separates them. Specifically, a threshold is set for the distance information, and an area in the image data having distance information equal to or greater than the threshold is determined to be an LED display area, and an area in the image data having distance information less than the threshold is determined to be an object area. The threshold may be set arbitrarily by the user through operation of the operation unit 113, or may be set by the CPU 102 according to the aperture value, focus position, etc. of the lens unit 106. The image processing unit 105 adds flags to distinguish between the subject area and the LED display area in the image data, and stores the image data in the frame memory 111.
  • step S603 the image processing unit 105 reads the image data and distance information from the frame memory 111. As shown in FIG. 8, the image processing unit 105 divides the image data into a plurality of x blocks in the horizontal direction and a plurality of y blocks in the vertical direction. Each block may be a square or may have another shape.
  • the image processing unit 105 calculates the average value of the distance information for each divided block. At this time, the image processing unit 105 refers to the flag added to the image data in step S602, and calculates the average value of the distance information of only the LED display area, and does not include the distance information of the subject area in the calculation of the average value. The image processing unit 105 stores the average value of the distance information for each block in the frame memory 111.
  • step S604 the image processing unit 105 reads out from the frame memory 111 the average value of the image data and distance information of the correction target block and the average value of the image data and distance information of the left adjacent block adjacent to the correction target block on the left side.
  • the upper left block of all blocks is initially set as the correction target block, and in step S613 described later, the correction target block is moved one by one in the raster direction.
  • the image processing unit 105 calculates the angle between the area corresponding to the correction target block on the display surface of the LED display LD and the imaging direction (imaging optical axis) of the imaging device 100 for each correction target block as arrangement information indicating the arrangement relationship between the LED display LD and the imaging device 100.
  • the angle referred to here may indicate the angle itself, or may be a value that can be converted to or associated with an angle, and may be information related to the angle.
  • the above angle is referred to as the angle between the LED display LD (area corresponding to the block) and the imaging device 100.
  • the image processing unit 105 calculates the angle between the imaging device 100 and an area on the LED display LD that corresponds to the left half (adjacent block side) of the block to be corrected, using the average value of the distance information of the block to be corrected and the block adjacent to the left.
  • Figure 10(a) shows the positional relationship in the horizontal plane between the imaging device 100 and the LED display.
  • vertex A shows the imaging position of the imaging device 100
  • vertex B shows the point on the LED display that is captured at the center point of the block to be corrected
  • vertex C shows the point on the LED display that is captured at the center point of the adjacent block to the left.
  • the distance Lc from vertex A to vertex B and the distance Lb from vertex A to vertex C are known from the average value of the distance information.
  • Vertex A is the vertex that connects the center points of two adjacent blocks when image data obtained by imaging at the angle of view of lens unit 106 is divided horizontally into x blocks, and the imaging position of imaging device 100. Therefore, the angle degA of vertex A is the value obtained by dividing the angle of view of lens unit 106 by x.
  • image processing unit 105 can calculate the distance La from vertex B to vertex C using the cosine theorem shown in the following equation (10).
  • the angle degD between the imaging device 100 and the area on the LED display LD that corresponds to the left half of the block to be corrected can be obtained by averaging the distance information between the center point of the block to be corrected and the center point of the adjacent block to the left.
  • Vertex C in FIG. 10(a) and (b) is the point on the LED display that is reflected at the center point of the block to be corrected
  • vertex B is the point on the LED display that is reflected at the center point of the adjacent block to the right.
  • step S605 the image processing unit 105 multiplies the luminance value of the image data of the left half of the block to be corrected, shown by the diagonal lines in FIG. 9A, by the luminance correction value corresponding to the angle found in step S604.
  • a LUT lookup table
  • the image processing unit 105 reads out the luminance correction value corresponding to the angle found in step S604 from the LUT.
  • the LUT for the luminance correction value stores luminance correction values from angles 0° to 180°, with the luminance correction value being multiplied by 1 when the angle is 90°, and the luminance correction value decreases toward 0 as the angle moves away from 90°.
  • This luminance correction value is a value that changes (increases) the luminance value of the image data in the opposite direction to the viewing angle characteristic of the LED display LD, in which the luminance of the LED decreases as the observation position moves away from 90°.
  • the image processing unit 105 may calculate and obtain the brightness correction value corresponding to the angle using a formula or the like.
  • the image processing unit 105 stores the image data multiplied by the brightness correction value in the frame memory 111.
  • step S606 the image processing unit 105 reads out from the frame memory 111 the average value of the image data and distance information of the block to be corrected and the average value of the image data and distance information of the block adjacent to the right of the block to be corrected.
  • the image processing unit 105 calculates the angle between the imaging device 100 and an area on the LED display LD that corresponds to the right half of the block to be corrected, using the average values of the distance information of the block to be corrected and the block to the right, as shown in FIG. 9(b).
  • step S607 the image processing unit 105 multiplies the luminance value of the image data of the right half of the block to be corrected, shown by the diagonal lines in FIG. 9(b), by the luminance correction value corresponding to the angle determined in step S606.
  • the luminance correction value used here is the same as that used in step S605.
  • the image processing unit 105 stores the image data multiplied by the luminance correction value in the frame memory 111.
  • step S608 the image processing unit 105 reads out from the frame memory 111 the average value of the image data and distance information of the correction target block and the average value of the image data and distance information of the upper neighboring block adjacent to the correction target block on the upper side.
  • the image processing unit 105 calculates the angle between the imaging device 100 and an area on the LED display LD that corresponds to the upper half of the correction target block, using the average values of the distance information of the correction target block and the upper neighboring block, as shown in FIG. 9(c).
  • step S609 the image processing unit 105 multiplies the luminance value of the image data in the upper half of the block to be corrected, shown by diagonal lines in FIG. 9(c), by a luminance correction value according to the angle found in step S608.
  • the luminance correction value may be the same as that used in steps S605 and S607, or, if the vertical viewing angle characteristics of the LED display LD differ from the horizontal direction, a value that corrects the luminance value in the opposite direction to the vertical viewing angle characteristics may be used.
  • the image processing unit 105 stores the image data multiplied by the luminance correction value in the frame memory 111.
  • step S610 the image processing unit 105 reads out from the frame memory 111 the average value of the image data and distance information of the block to be corrected and the average value of the image data and distance information of the block adjacent to the block to be corrected on the lower side.
  • the image processing unit 105 calculates the angle between the imaging device 100 and an area on the LED display LD that corresponds to the lower half of the block to be corrected, using the average values of the distance information of the block to be corrected and the block adjacent to the lower side, as shown in FIG. 9(d).
  • step S611 the image processing unit 105 multiplies the luminance value of the image data of the lower half of the block to be corrected, indicated by diagonal lines in FIG. 9(d), by the luminance correction value according to the angle found in step S610.
  • the luminance correction value used here is the same as that used in step S609.
  • the image processing unit 105 stores the image data multiplied by the luminance correction value in the frame memory 111.
  • step S612 the image processing unit 105 determines whether or not the luminance value correction in steps S604 to S611 has been performed for all x horizontal by y vertical blocks, and ends this process if correction has been performed for all blocks. If there are any blocks that have not yet been corrected, the process of step S613 is performed.
  • step S613 the image processing unit 105 moves the correction target block in the raster direction. Then, the process returns to step S604.
  • the luminance value of the background image area in the image data (input image) can be corrected according to the angle between the LED display LD and the imaging device 100. Therefore, it is possible to obtain image data (output image) in which the image quality unevenness of the background image area is reduced. Moreover, since the emission luminance of the LED display LD itself is not changed, even when imaging is performed simultaneously using multiple imaging devices arranged at different angles, it is possible to obtain image data in which the image quality unevenness of the background image area is reduced in each imaging device.
  • the angle between the LED display and the imaging device is calculated using the average value of the distance information for each block, but other distance information, such as distance information for the center position of each block, may be used instead of the average value.
  • image quality unevenness caused by the distance between the LED display and the imaging device 100 is corrected, rather than image quality unevenness caused by the angle between the LED display and the imaging device 100.
  • step S601 to step S603 show the process executed by the image processing unit 105 in accordance with a program in the second embodiment.
  • the processes from step S601 to step S603 are the same as those in the steps with the same reference numerals in the first embodiment (FIG. 6).
  • the image processing unit 105 reads out the average value of the distance information for each divided block in the image data (input image) from the frame memory 111. At this time, the image processing unit 105 normalizes the average value of the distance information for each block by setting the average value of the distance information for all blocks to 1. The image processing unit 105 stores the normalized average value of the distance information for each block in the frame memory 111 as the arrangement information of the LED display LD and the imaging device 100.
  • the image processing unit 105 reads out the image data of the correction target block and the average value of the normalized distance information from the frame memory 111.
  • the image processing unit 105 calculates a luminance correction value from the average value of the normalized distance information. In other words, it calculates a luminance correction value according to the distance.
  • the luminance of the image data is inversely proportional to the square of the distance between the LED display and the imaging device 100. For this reason, the image processing unit 105 sets the luminance correction value according to the distance to the reciprocal of the value obtained by squaring the average value of the normalized distance information.
  • step S1103 the image processing unit 105 multiplies the luminance value of the image data of the correction target block by a luminance correction value according to the distance calculated in step S1102.
  • the image processing unit 105 stores the image data multiplied by the luminance correction value in the frame memory 111.
  • step S1104 the image processing unit 105 determines whether or not the luminance value correction in steps S1102 and S1103 has been performed for all x horizontal by y vertical blocks, and ends this process if correction has been performed for all blocks. If there are any blocks that have not yet been corrected, the process of step S613 is performed.
  • the process of step S613 is the same as the process of the step of the same symbol in Example 1 ( Figure 6), but in this example, the process returns to step S1102.
  • the LED display is configured with LEDs of multiple colors, for example, three colors R (red), G (green), and B (blue), it is desirable to prepare brightness correction values for the angle or distance for each of the R, G, and B colors of the image data, and perform brightness value correction for each color.
  • a map of luminance correction values for all blocks may be created, and luminance value correction may be performed using the luminance correction value obtained by performing two-dimensional filtering processing such as low-pass filtering on this map.
  • the distance information is not limited to the process shown in FIG. 3 using the image sensor, but may be obtained using a distance measuring device that is provided in the image sensor 100 separately from the image sensor and that is capable of measuring the distance to the subject.
  • distance measuring devices include radar and LiDAR (Light Detection and Ranging).
  • an LED display was used as the background display.
  • this is not limited to LED displays.
  • the brightness value can be corrected according to at least one of the angle and distance.
  • the image processing unit 105 performs image processing to correct the brightness value of the image data according to the angle and distance between the background display LD and the imaging device 100.
  • image processing may be performed.
  • the background display LD is a VA (Vertical Alignment) panel or the like
  • VA Very Alignment
  • the image processing unit 105 may also add the above-mentioned map of brightness correction values as metadata to image data serving as an input image, and output this image data to the outside from output units such as the network module 108, the video terminal 109, and the recording medium 112. This allows an external device to perform brightness value correction of the image data by referring to the map of brightness correction values.
  • the image processing unit 105 as an information processing device is built into the imaging device 100.
  • a personal computer having the same functions as the image processing unit 105 (operating according to a program that realizes the same functions) may be provided as an information processing device separate from the imaging device.
  • the present invention can also be realized by a process in which a program for implementing one or more of the functions of the above-described embodiments is supplied to a system or device via a network or a storage medium, and one or more processors in a computer of the system or device read and execute the program.
  • the present invention can also be realized by a circuit (e.g., ASIC) that implements one or more of the functions.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

【課題】背景ディスプレイと撮像装置の配置にかかわらず、背景映像領域の画質むらが低減された画像データを得る。 【解決手段】情報処理装置１０５は、撮像装置により被写体ＯＢＪと背景ディスプレイＬＤに表示された背景映像とを撮像して得られる入力画像を取得し、入力画像における被写体領域と背景映像領域とを判別し、背景ディスプレイと撮像装置との間の角度および距離のうち少なくとも一方に関する配置情報を取得し、背景映像領域に対して配置情報に応じた画像処理を行う。

Description

情報処理装置および撮像装置
　本発明は、撮像に関する情報処理を行う情報処理装置に関する。
　映画やテレビで用いられる撮像手法として、被写体に比べて大型の背景ディスプレイに背景映像を表示して被写体と共に撮像するバーチャルプロダクションがある。ただし、背景ディスプレイに主として使用される表示素子としてのＬＥＤには視野角特性が存在する。このため、撮像装置を背景ディスプレイに正対させるように配置して撮像を行わないと、撮像により得られる画像データ内の背景映像領域に画質むら（輝度むら）が発生する。
　特許文献１には、撮像装置の位置情報からＬＥＤディスプレイと撮像装置との間の角度を算出し、該角度に応じた輝度補正値を用いてＬＥＤディスプレイの輝度を補正する方法が開示されている。
米国特許公開２０２２／００１４７２８号公報
　特許文献１の方法では、ＬＥＤディスプレイ自体の輝度を１つの撮像装置との間の角度に応じて変更する。このため、その１つの撮像装置による撮像では背景映像領域の画質むらが低減された画像データが得られる。しかしながら、この撮像装置とは別の撮像装置が異なる角度から同時に撮像を行う場合には、背景映像領域の画質むらが低減されていない画像データが得られるおそれがある。
　本発明は、背景ディスプレイと撮像装置の配置にかかわらず、背景映像領域の画質むらが低減された画像データが得られるようにした情報処理装置および撮像装置等を提供する。
　本発明の一側面としての情報処理装置は、撮像装置により被写体と背景ディスプレイに表示された背景映像とを撮像して得られる入力画像を取得する取得手段と、入力画像における被写体領域と背景映像領域とを判別する判別手段と、背景ディスプレイと撮像装置との間の角度および距離のうち少なくとも一方に関する配置情報を取得し、背景映像領域に対して配置情報に応じた画像処理を行う処理手段とを有することを特徴とする。なお、上記情報処理装置を有する撮像装置も、本発明の他の一側面を構成する。
　また本発明の他の一側面としての情報処理方法は、撮像装置により被写体と背景ディスプレイに表示された背景映像とを撮像して得られる入力画像を取得するステップと、入力画像における被写体領域と背景映像領域とを判別するステップと、背景ディスプレイと撮像装置との間の角度および距離のうち少なくとも一方に関する配置情報を取得し、背景映像領域に対して配置情報に応じた画像処理を行うステップとを有することを特徴とする。なお、上記情報処理方法に従う処理をコンピュータに実行させるプログラムも、本発明の他の一側面を構成する。
　本発明によれば、背景ディスプレイと撮像装置の配置にかかわらず、背景映像領域の画質むらが低減された画像を得ることができる。
実施例の撮像装置の構成を示すブロック図。 撮像素子の受光面の一部を示す図。 実施例において距離情報を算出する処理を示すフローチャート。 相関演算を示す図。 相関演算を示す別の図。 実施例１における処理を示すフローチャート。 実施例１における撮像の様子を示す図および画像データ内の被写体領域とＬＥＤディスプレイ領域を示す図。 実施例１における画像データの分割を示す図。 実施例１における補正対象ブロックと周辺ブロックを示す図。 実施例１における撮像位置と画像データ内の隣接ＬＥＤディスプレイ上の隣接ブロック２点を示す模式図。 実施例２における処理を示すフローチャート。
　以下、本発明の実施例について図面を参照しながら説明する。まず後述する具体的な実施例１～２の処理を実行する情報処理装置を搭載した撮像装置（デジタルカメラ）について説明する。図１は、撮像装置１００の構成を示している。撮像装置１００は、撮像による画像の取得、画像に対する処理および画像の記録を行う。
　内部バス１０１には、ＣＰＵ１０２、ＲＯＭ１０３、ＲＡＭ１０４、画像処理部１０５、レンズユニット１０６、撮像部１０７、ネットワークモジュール１０８、映像端子１０９、記録媒体Ｉ／Ｆ１１０、表示部１１４および物体検出部１１５が接続されている。内部バス１０１に接続された各部は、内部バス１０１を介して互いにデータのやり取りを行うことができる。
　レンズユニット１０６は、ズームレンズ、フォーカスレンズおよび絞り機構を含む光学系と、光学系を駆動するモータとを有する。レンズユニット１０６により形成される光学像は、撮像部１０７に含まれるＣＣＤセンサやＣＭＯＳセンサ等の撮像素子によりアナログ電気信号としての撮像信号に変換（すなわち撮像）される。撮像部１０７は、撮像素子から出力される撮像信号をデジタル信号（画像データ）に変換するＡ／Ｄ変換部も含む。撮像素子は、撮像面位相差センサであり、その詳細については後述する。
　コンピュータとしてのＣＰＵ１０２は、ＲＯＭ１０３に格納されるプログラムに従ってＲＡＭ１０４をワークメモリとして用いて撮像装置１００の各部を制御する。
　ＲＯＭ１０３は、不揮発性のメモリであり、ＣＰＵ１０２を動作させるためのプログラムや各種パラメータ等を記録している。ＲＡＭ１０４は、揮発性のメモリである。フレームメモリ１１１は、画像データを一時的に保存するメモリであり、必要な時に画像データを読み出すことができる。フレームメモリ１１１を使用することで、互いに異なるタイミングでの撮像により得られた画像の合成や撮像により得られた画像から特定の領域を切り出す等の処理を行うことができる。
　情報処理装置としての画像処理部１０５は、ＣＰＵ１０２による制御に基づいて、撮像部１０７からの画像データまたはフレームメモリ１１１や記録媒体１１２に格納された画像データに対して各種画像処理を行う。画像処理部１０５が行う画像処理には、画像データの画素補間、符号化処理、圧縮処理、デコード処理、拡大／縮小（リサイズ）処理、ノイズ低減処理、色変換処理等が含まれる。また、画像処理部１０５は、撮像素子の複数の画素における性能ばらつきを補正したり、欠陥画素を補正したり、ホワイトバランスを補正したり、輝度を補正したり、レンズ特性により発生する歪みや周辺光量落ちを補正したりする。さらに画像処理部１０５は、後述する距離情報を生成したり、後述する背景ディスプレイと撮像装置１００との間の角度や距離に応じて画像データの輝度値補正を行ったりする。なお、画像処理部１０５は画像処理を行う専用の画像処理コンピュータとして構成されてもよいし、画像処理部１０５の機能をＣＰＵ１０２が有してもよい。
　ＣＰＵ１０２は、画像処理部１０５から得られたレンズ制御用の演算結果に基づいてレンズユニット１０６の各モータを制御して、光学ズーム、フォーカシングおよび絞り調整を行う。またＣＰＵ１０２は、後述する姿勢検出部１１６により検出されたカメラ振れに応じて光学系の一部を構成するレンズを光軸に直交する方向に移動させることで像振れ補正を行ってもよい。
　操作部１１３は、ユーザによる操作を受け付けてＣＰＵ１０２や画像処理部１０５に該操作に対応する指示を出力する。操作部１１３は、スイッチ、ダイヤルおよびボタン等の操作部材を有する。操作部材には、電源スイッチ、モード切替えダイヤルおよびレリーズボタン等が含まれる。レリーズボタンは、ユーザにより半押し操作されることでＣＰＵ１０２にオートフォーカス（ＡＦ）や露光制御（ＡＥ）等の撮像準備動作の開始を指示する。またレリーズボタンは、ユーザにより全押し操作されることで、ＣＰＵ１０２に記録用画像データを取得するための撮像動作を開始させる。操作部１１３は、表示部１１４に設けられたタッチセンサであってもよい。
　表示手段としての表示部１１４は、画像処理部１０５で処理された画像や設定メニュー等を表示する。表示部１１４は、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electroluminescence）等の表示デバイスを有する。また表示部１１４には、前述したタッチセンサが設けられてもよい。
　ＣＰＵ１０２は、撮像装置１００の設定状態等をユーザに知らせるための文字情報やアイコン、また撮像装置１００の各種設定を行うための設定メニューの画像を生成し、これらを画像処理部１０５で処理された画像に重畳して表示部１１４に表示させる。
　映像端子１０９は、ＳＤＩ（Serial Digital Interface）やＨＤＭＩ（High Definition Multimedia Interface）（登録商標）、ＤｉｓｐｌａｙＰｏｒｔ（登録商標）等の映像インタフェース用端子である。ＣＰＵ１０２は、映像端子１０９を通じて外部モニタ等に映像（画像データ）を出力することができる。
　ネットワークモジュール１０８は、画像データや音声信号の入出力を行うためのインタフェースである。ＣＰＵ１０２は、ネットワークモジュール１０８を通じてインターネット等を介して外部機器と通信し、画像データおよび音声信号だけでなく、コマンド等のコントロール信号の送受信を行うこともできる。ネットワークモジュール１０８は、無線通信タイプであってもよいし、有線通信タイプでもよい。
　記録媒体１１２は、画像データや各種設定データを記録することが可能なＨＤＤ（Hard Disc Drive）やＳＳＤ（Solid State Drive）等であり、記録媒体Ｉ／Ｆ１１０に着脱可能に装着される。
　物体検出部１１５は、例えば、ニューラルネットワークを用いたディープラーニングに代表される人工知能を用いて物体を検出する。ディープラーニングによる物体検出では、ＣＰＵ１０２はＲＯＭ１０３に格納されたプログラムやネットワーク構造や重みパラメータ等を物体検出部１１５に送信する。ネットワーク構造には、ＳＳＤ（Single Shot Multibox Detector）やＹＯＬＯ（You Only Look Once）等が挙げられる。物体検出部１１５は、ＣＰＵ１０２から得られる各種パラメータに基づいて、画像データから物体を検出する処理を行い、処理結果をＲＡＭ１０４に送る。
　姿勢検出部１１６は、角速度センサや加速度センサ等を用いて撮像装置１００の姿勢や振れを検出する。これにより撮像装置１００の傾きや手振れ等によるカメラ振れを検出することができる。
　図２（Ａ）　は、赤（Ｒ）、青（Ｂ）および緑（Ｇｂ、Ｇｒ）の画素がベイヤー配列された撮像素子の一部を模式的に示している。図２（Ｂ）に示すように、各画素は２つの光電変換素子としてのフォトダイオードＡ、Ｂを有しており、該２つフォトダイオードＡ、Ｂには不図示の１つのマイクロレンズが設けられている。この構成により、２つフォトダイオードＡ、Ｂは、レンズユニット１０６の射出瞳のうち互いに異なる２つの領域からの光を受光してＡ信号とＢ信号を出力する。撮像部１０７は、撮像素子上の複数の画素のそれぞれから出力されるＡ信号とＢ信号をそれぞれ合成することで、位相差検出用の対の像信号（Ａ像信号とＢ像信号）が生成される。またＡ像信号とＢ像信号を加算することで、画像データを得るための撮像信号が生成される。
　撮像部１０７では、各画素からＡ信号とＢ信号を出力する以外に、互いに近接する複数の画素からのＡ信号とＢ信号のそれぞれを加算平均した値を出力することも可能である。加算平均した値を出力することで、撮像部１０７から信号を読み出す時間の短縮や内部バス１０１の帯域の削減ができる。
　ＣＰＵ１０２は、対の像信号に対する相関演算を行ってそれらの位相差を算出し、該位相差からデフォーカス量の情報を算出する。デフォーカス量は、レンズユニット１０６の合焦状態に対するデフォーカスの度合いを示す。ＣＰＵ１０２は、デフォーカス量が０を含む所定範囲内であれば合焦状態と判定し、デフォーカス量が正の場合と負の場合はそれぞれ前ピン状態と後ピン状態と判定する。ＣＰＵ１０２は、正または負のデフォーカス量に応じてレンズユニット１０６においてフォーカスレンズを駆動するモータを制御することで撮像面位相差ＡＦを行う。なお、ＣＰＵ１０２は算出した位相差の信頼度も算出する。さらにＣＰＵ１０２は、対の像信号間の視差とレンズユニット１０６の光学情報から三角測量の原理を用いて被写体までの距離を算出する。
　なお、図２（Ｂ）は画素ごとに２つのフォトダイオードが設けられている場合を示したが、画素ごとのフォトダイオードの数は３つ以上であってもよい。また撮像素子に互いに開口位置が異なる複数の画素を設け、該複数の画素を焦点検出における１画素として扱ってもよい。このように撮像素子は、位相差検出用の対の像信号が得られる構成であればよい。
　次に、図３～図５のフローチャートを用いて、画像処理部１０５で行う情報生成処理について説明する。画像処理部１０５は、取得手段、判別手段および処理手段として機能する。
　図３のフローチャートは、画像処理部１０５が、撮像部１０７において撮像が開始されることに応じて、プログラムに従って実行する距離算出処理を示す。まずステップＳ３０１では、画像処理部１０５は、撮像部１０７から出力された撮像信号（Ａ像信号＋Ｂ像信号）とＡ像信号との差を求めることでＢ像信号を算出（取得）する。なお、本ステップでＡ像信号とＢ像信号をそれぞれ撮像部１０７から取得してもよい。この場合、撮像信号としてＡ像信号とＢ像信号を加算した信号を取得することができる。また、ステレオカメラのようにレンズユニットと撮像素子を２つずつ備えている場合は、２つの撮像素子のうち一方からＡ像信号を取得し、他方からＢ像信号を取得してもよい。
　次にステップＳ３０２では、画像処理部１０５は、Ａ像信号とＢ像信号に対して光学的な要因によるシェーディングの補正を行う。
　次にステップＳ３０３では、画像処理部１０５は、Ａ像信号とＢ像信号のそれぞれに対してフィルタ処理を行う。フィルタ処理は、例えば、ＦＩＲ（Finite Impulse Response）フィルタを用いるハイパスフィルタ処理である。以下では、ハイパスフィルタ処理が行われたＡ像信号とＢ像信号を用いる場合について説明するが、フィルタ係数を変えたバンドパスフィルタやローパスフィルタを用いたフィルタ処理を行ってもよい。
　次にステップＳ３０４では、画像処理部１０５は、ステップＳ３０３でフィルタ処理を行ったＡ像信号とＢ像信号のそれぞれを微小ブロックに分割し、分割ブロックごとに相関演算を行う。微小ブロックのサイズや形状について特に制限はなく、近接するブロックの一部同士が重なってもよい。
　以下、Ａ像信号とＢ像信号の相関演算について説明する。着目画素におけるＡ像信号の信号列をＡ像信号列Ｅ（１）～Ｅ（ｍ）とし、着目画素におけるＢ像信号の信号列をＢ像信号列Ｆ（１）～Ｆ（ｍ）とする。Ａ像信号列Ｅ（１）～Ｅ（ｍ）に対して、Ｂ像信号列Ｆ（１）～Ｆ（ｍ）を相対的にずらしながら、以下の式（１）を用いてこれら対の像信号列間のずれ量ｋにおける相関量Ｃ（ｋ）が演算される。
Figure JPOXMLDOC01-appb-M000001
　式（１）において、Σ演算はｎについて総和を算出する演算を意味する。Σ演算において、ｎとｎ＋ｋがとる範囲は１からｍの範囲に限定される。ずれ量ｋは、整数値であり、対の像信号列の検出ピッチ（画素配置ピッチ）を単位とした相対的画素ずれ量である。ノイズが存在しない理想的な状態において、対の像信号列の相関が高い場合の式（１）の演算結果を図４に示す。
　図４に示すように、対の像信号列の相関が高いずれ量（ｋ＝ｋｊ＝０）において、相関量Ｃ（ｋ）が最小になる。離散的な相関量Ｃ（ｋ）が最小となるときのｋを、ｋｊと表記する。式（２）～（４）に示す３点内挿処理によって、連続的な相関量に対する最小値Ｃ（ｘ）を与える画素ずれ量（位相差）ｘが算出される。画素ずれ量ｘは実数値であり、単位をｐｉｘｅｌとする。
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
　式（４）のＳＬＯＰは、最小かつ極小となる相関量とそれに隣接する相関量における変化の傾きを表す。図４において、具体例として、
　Ｃ（ｋｊ）＝Ｃ（０）＝１０００
　Ｃ（ｋｊ－１）＝Ｃ（－１）＝１７００
　Ｃ（ｋｊ＋１）＝Ｃ（１）＝１８３０
とする。この例では、ｋｊ＝０である。式（２）～（４）より、
　ＳＬＯＰ＝８３０
　ｘ＝－０．０７８ｐｉｘｅｌ
となる。合焦状態では、対の像信号列の画素ずれ量ｘは０．００が理想値である。
　一方、ノイズが存在する微小ブロックに式（１）を適用した場合の演算結果を図５に示す。図５に示すように、ランダムに分布しているノイズの影響により、対の像信号列間の相関が低下する。相関量Ｃ（ｋ）の最小値は、図４に示す最小値に比べて大きくなり、相関量の曲線は全体的に平坦な形状となる（最大値と最小値との差分の絶対値が小さくなる）。
　図５において、具体例として、
　Ｃ（ｋｊ）＝Ｃ（０）＝１３００
　Ｃ（ｋｊ－１）＝Ｃ（－１）＝１４８０
　Ｃ（ｋｊ＋１）＝Ｃ（１）＝１８００
とする。この例では、ｋｊ＝０である。式（２）～（４）より、
　ＳＬＯＰ＝５００
　ｘ＝－０．３２ｐｉｘｅｌ
となる。
　図４に示すノイズが存在しない状態での演算結果と比べて、画素ずれ量ｘが理想値から離れている。
　対の像信号列間の相関が低い場合、相関量Ｃ（ｋ）の変化量が小さくなり、相関量の曲線は全体的に平坦な形状となるため、ＳＬＯＰの値が小さくなる。また、被写体像が低コントラストである場合にも、同様に対の像信号列間の相関が低くなり、相関量の曲線が平坦な形状となる。この性質に基づいて、算出された画素ずれ量ｘの信頼性をＳＬＯＰの値で判断することができる。すなわち、ＳＬＯＰの値が大きい場合には対の像信号列間の相関が高く、ＳＬＯＰの値が小さい場合には対の像信号列間に有意な相関が得られなかったと判断することができる。本実施例では、相関演算に式（１）を用いるため、対の像信号列間の相関が最も高いずれ量ｋにおいて相関量Ｃ（ｋ）が最小かつ極小となる。なお、別の方法として、対の像信号列間の相関が最も高いずれ量ｋにおいて相関量Ｃ（ｋ）が最大かつ極大となる相関演算法を用いてもよい。
　次にステップＳ３０５では、画像処理部１０５は、算出された画素ずれ量ｘの信頼度を算出する。信頼度は、ステップＳ３０４で算出した対の像信号の一致度を示すＣ（ｋｊ）とＳＬＯＰの値とで定義することができる。
　次にステップＳ３０６では、画像処理部１０５は、補間処理を行う。ステップＳ３０４で相関演算を行うことはできたが、ステップＳ３０５で算出した信頼度が低いために注目画素の画素ずれ量ｘを採用できない場合がある。その場合には、注目画素の周囲の画素で算出された画素ずれ量を用いて、注目画素の画素ずれ量を補間により取得する必要がある。補間の方法としては、周囲の画素で算出された画素ずれ量にメディアンフィルタを掛けてもよいし、画素ずれ量のデータを縮小した後に再度拡大する方法を用いてもよい。また、撮像信号から色データを抽出し、該色データを用いて画素ずれ量を補間してもよい。
　次にステップＳ３０７では、画像処理部１０５は、ステップＳ３０４で算出された又はステップＳ３０６で補間により取得された画素ずれ量ｘを参照してデフォーカス量を計算する。デフォーカス量（ＤＥＦ）は、以下の式（５）で求めることができる。
Figure JPOXMLDOC01-appb-M000005
　式（５）において、Ｐは検出ピッチと対の視差画像（Ａ像信号とＢ像信号）における２つの視点の投影中心間の距離（Ａ像信号を生成する撮像素子の重心とＢ像信号を生成する撮像素子の重心との間の距離）とによって決まる変換係数である。変換係数の単位はｍｍ／ｐｉｘｅｌである。
　次にステップＳ３０８では、画像処理部１０５は、ステップＳ３０７で算出したデフォーカス量から距離を算出する。被写体までの距離をＤａとし、レンズユニット１０６の焦点位置をＤｂ、焦点距離をＦとしたときに近似的に以下の式（６）が成り立つ。
Figure JPOXMLDOC01-appb-M000006
　したがって、被写体までの距離Ｄａは、
Figure JPOXMLDOC01-appb-M000007
となる。
　ＤＥＦ＝０のときのＤｂをＤｂ０とすると、式（７）は、
Figure JPOXMLDOC01-appb-M000008
となり、被写体までの絶対距離Ｄａ′を求めることができる。相対距離Ｄａ－Ｄａ′は、式（７）と式（８）より、
Figure JPOXMLDOC01-appb-M000009
で求めることができる。
　以上の図３で示した処理により、Ａ像信号とＢ像信号から画素ずれ量、デフォーカス量および被写体までの距離を取得することができる。
　このようにして取得される画素ずれ量やデフォーカス量は、撮像装置１００からの距離に応じて変化する。このため、画素ずれ量、デフォーカス量および距離はいずれも、撮像装置１００からの距離に関する情報である。以下の説明において、距離に関する情報を距離情報という。また距離に関する情報は、距離等のそれ自体に限らず、距離等に変換可能または対応付けられた情報であってもよい。
　次に、実施例１について説明する。図７（ａ）は、背景ディスプレイとしてのＬＥＤディスプレイＬＤの前に位置する被写体ＯＢＪを撮像装置１００により撮像する様子を示している。ＬＥＤディスプレイＬＤは、表示素子としてのＬＥＤが二次元方向に多数配置されて構成され、不図示の映像供給装置から供給される映像信号に応じた背景映像を表示する。撮像により得られる画像データには、背景映像を背景とした被写体ＯＢＪが写る。
　図７（ａ）では、撮像装置１００は、平面であるＬＥＤディスプレイＬＤの法線Ｎの方向（正対方向）とは異なる方向から被写体ＯＢＪおよびＬＥＤディスプレイＬＳを撮像している。なお、背景ディスプレイは、平面に限らず、曲面や球面であってもよい。撮像装置１００の撮像方向とＬＥＤディスプレイＬＤのディスプレイ面とのなす角度が９０°から大きく離れると、ＬＥＤディスプレイＬＤの視野角特性により、ＬＥＤディスプレイＬＤから撮像装置１００への入射光の輝度が低下する。この結果、撮像装置１００により得られる画像データのうち背景映像の領域に上記角度による画質むら（輝度むら）が生じる。このため、この画質むらを低減するための画像処理としての輝度値補正を画像データに対して行うことが望ましい。
　図６のフローチャートは、実施例１において撮像装置１００における画像処理部１０５がプログラムに従って実行する処理を示している。
　まずステップＳ６０１おいて、画像処理部１０５は、被写体ＯＢＪとＬＥＤディスプレイＬＤを撮像して得られた入力画像としての画像データと、被写体ＯＢＪとＬＥＤディスプレイＬＤまでの距離情報を取得してフレームメモリ１１１に格納する。
　次にステップＳ６０２では、画像処理部１０５は、フレームメモリ１１１から画像データと距離情報を読み出す。画像処理部１０５は、距離情報から、図７（ｂ）に示すように画像データ内の被写体が写っている被写体領域と、ＬＥＤディスプレイＬＤが写っているＬＥＤディスプレイ領域（背景映像領域）とを判定し、これらを分離する。具体的には、距離情報に対する閾値を設け、画像データのうち閾値以上の距離情報を有する領域をＬＥＤディスプレイ領域と判定し、閾値未満の距離情報を有する領域を被写体領域と判定する。閾値は、操作部１１３の操作を通じてユーザが任意に設定してもよいし、レンズユニット１０６の絞り値やフォーカス位置等に応じてＣＰＵ１０２が設定してもよい。画像処理部１０５は、画像データのうち被写体領域とＬＥＤディスプレイ領域にこれらを区別するためのフラグを付加して画像データをフレームメモリ１１１に格納する。
　次にステップＳ６０３では、画像処理部１０５は、フレームメモリ１１１から画像データと距離情報を読み出す。画像処理部１０５は、図８に示すように、画像データを横方向に複数のｘブロック、縦方向に複数のｙブロックに分割する。各ブロックは、正方形であってもよいし、他の形状であってもよい。
　画像処理部１０５は、分割したブロックごとに距離情報の平均値を算出する。この際、画像処理部１０５は、ステップＳ６０２で画像データに付加したフラグを参照し、ＬＥＤディスプレイ領域の距離情報のみの平均値を算出し、被写体領域の距離情報は平均値の算出に含めない。画像処理部１０５は、ブロックごとの距離情報の平均値をフレームメモリ１１１に格納する。
　次にステップＳ６０４では、画像処理部１０５は、フレームメモリ１１１から補正対象ブロックの画像データと距離情報の平均値および補正対象ブロックに左側にて隣接する隣接ブロックとしての左隣ブロックの画像データと距離情報の平均値を読み出す。補正対象ブロックは、例えば、全ブロックのうち左上ブロックを初期設定し、後述するステップＳ６１３にて１つずつラスター方向に移動させる。画像処理部１０５は、ＬＥＤディスプレイＬＤと撮像装置１００の配置関係を示す配置情報として、補正対象ブロックごとにＬＥＤディスプレイＬＤのディスプレイ面における補正対象ブロックに相当する領域と撮像装置１００の撮像方向（撮像光軸）とがなす角度を算出する。そして、該角度に応じて補正対象ブロックごとに輝度値を変更する輝度値補正を行うなお、ここにいう角度は、角度自体を示してもよいし、角度に変換可能または対応付けられた値であってもよく、角度に関する情報であればよい。また、上記角度を以下の説明では、ＬＥＤディスプレイＬＤ（ブロックに相当する領域）と撮像装置１００との間の角度という。
　まず画像処理部１０５は、図９（ａ）に示すように、補正対象ブロックと左隣ブロックのそれぞれの距離情報の平均値を用いて、ＬＥＤディスプレイＬＤにおける補正対象ブロックの左半分（隣接ブロック側）の部分に相当する領域と撮像装置１００との間の角度を算出する。
　ＬＥＤディスプレイＬＤと撮像装置１００との間の角度の算出方法について、図１０（ａ）～（ｃ）を用いて説明する。図１０（ａ）は、撮像装置１００とＬＥＤディスプレイとの水平面内での位置関係を示している。図１０（ａ）において、頂点Ａは撮像装置１００の撮像位置、頂点Ｂは補正対象ブロックの中心点に写ったＬＥＤディスプレイ上の点、頂点Ｃは左隣ブロックの中心点に写ったＬＥＤディスプレイ上の点を示している。頂点Ａから頂点Ｂまでの距離Ｌｃと頂点Ａから頂点Ｃまでの距離Ｌｂは、距離情報の平均値から既知となっている。
　頂点Ａは、レンズユニット１０６の画角での撮像により得られた画像データを水平方向にｘ個に分割したときの隣り合う２つのブロックのそれぞれの中心点と撮像装置１００の撮像位置とを結ぶ頂点である。このため、頂点Ａの角度ｄｅｇＡは、レンズユニット１０６の画角をｘで割った値となる。画像処理部１０５は、三角形ＡＢＣにおける２辺の長さ（距離Ｌｃ、Ｌｂ）および角度ｄｅｇＡを用いて、以下の式（１０）に示す余弦定理より、頂点Ｂから頂点Ｃまでの距離Ｌａを求めることができる。
Figure JPOXMLDOC01-appb-M000010
　こうして三角形ＡＢＣにおける３辺の長さ（距離Ｌａ、Ｌｂ、Ｌｃ）が求まると、以下の式（１１）に示す正弦定理より、頂点Ｂの角度ｄｅｇＢと頂点Ｃの角度ｄｅｇＣを求めることができる。
Figure JPOXMLDOC01-appb-M000011
　次に図１０（ｂ）に示すような頂点Ｂと頂点Ｃ間の距離Ｌａを２等分する位置を頂点Ｄとする三角形ＡＢＤを設定する。三角形ＡＢＤのうち２辺の長さ（距離Ｌｃ、Ｌａ／２）と頂点Ｂの角度ｄｅｇＢが既知であるので、式（１０）の余弦定理と式（１１）の正弦定理より、頂点Ｄの角度ｄｅｇＤを求めることができる。
　このように、補正対象ブロックの中心点と左隣ブロックの中心点の２点の距離情報の平均値を用いて、ＬＥＤディスプレイＬＤにおける補正対象ブロックの左半分の部分に相当する領域と撮像装置１００との間の角度である角度ｄｅｇＤを得ることができる。
　なお、図９（ｂ）に示すように補正対象ブロックとその右隣のブロックを用いてＬＥＤディスプレイＬＤと撮像装置１００との間の角度を算出する場合は、以下のようにすればよい。図１０（ａ）、（ｂ）における頂点Ｃを補正対象ブロックの中心点に写ったＬＥＤディスプレイ上の点とし、頂点Ｂを右隣ブロックの中心点に写ったＬＥＤディスプレイ上の点とする。また、図９（ｃ）、（ｄ）に示すように垂直方向に隣り合うブロックを用いて上記角度を算出する場合は、画像データを垂直方向にｙ個に分割したので、レンズユニット１０６の画角をｙで割った値を頂点Ａの角度ｄｅｇＡとすればよい。
　次にステップＳ６０５では、画像処理部１０５は、図９（ａ）に斜線で示す補正対象ブロックの左半分の部分の画像データの輝度値に、ステップＳ６０４で求めた角度に応じた輝度補正値を乗算する。予めＲＯＭ１０３には、角度を入力値とし、輝度補正用パラメータ（画像処理用パラメータ）としての輝度補正値を出力値とするＬＵＴ（ルックアップテーブル）が保持されている。画像処理部１０５は、ステップＳ６０４で求めた角度に対応する輝度補正値をＬＵＴから読み出す。輝度補正値のＬＵＴは、角度０°から１８０°までの輝度補正値を保持しており、角度が９０°のときの輝度補正値を１倍とし、角度が９０°から離れるほど輝度補正値が０に向かって小さくなる。この輝度補正値は、観察する位置が９０°から離れるほどＬＥＤの輝度が低下するというＬＥＤディスプレイＬＤの視野角特性とは逆方向に画像データの輝度値を変更する（増加させる）値である。なお、画像処理部１０５は、角度に対応する輝度補正値を計算式を用いる等して算出して取得してもよい。画像処理部１０５は、輝度補正値を乗算した画像データをフレームメモリ１１１に格納する。
　次にステップＳ６０６では、画像処理部１０５は、フレームメモリ１１１から補正対象ブロックの画像データと距離情報の平均値および補正対象ブロックに右側にて隣接する右隣ブロックの画像データと距離情報の平均値を読み出す。画像処理部１０５は、図９（ｂ）に示すように補正対象ブロックと右隣ブロックのそれぞれの距離情報の平均値を用いて、ＬＥＤディスプレイＬＤにおける補正対象ブロックの右半分の部分に相当する領域と撮像装置１００との間の角度を算出する。
　次にステップＳ６０７では、画像処理部１０５は、図９（ｂ）に斜線で示す補正対象ブロックの右半分の部分の画像データの輝度値に、ステップＳ６０６で求めた角度に応じた輝度補正値を乗算する。このときの輝度補正値は、ステップＳ６０５で用いたものと同じである。画像処理部１０５は、輝度補正値を乗算した画像データをフレームメモリ１１１に格納する。
　次にステップＳ６０８では、画像処理部１０５は、フレームメモリ１１１から補正対象ブロックの画像データと距離情報の平均値および補正対象ブロックに上側にて隣接する上隣ブロックの画像データと距離情報の平均値を読み出す。画像処理部１０５は、図９（ｃ）に示すように補正対象ブロックと上隣ブロックのそれぞれの距離情報の平均値を用いて、ＬＥＤディスプレイＬＤにおける補正対象ブロックの上半分の部分に相当する領域と撮像装置１００との間の角度を算出する。
　次にステップＳ６０９では、画像処理部１０５は、図９（ｃ）に斜線で示す補正対象ブロックの上半分の部分の画像データの輝度値に、ステップＳ６０８で求めた角度に応じた輝度補正値を乗算する。このときの輝度補正値は、ステップＳ６０５、Ｓ６０７で用いたものと同じであってもよいし、ＬＥＤディスプレイＬＤの垂直方向の視野角特性が水平方向とは異なる場合は垂直方向の視野角特性とは逆方向に輝度値を補正する値としてしてもよい。画像処理部１０５は、輝度補正値を乗算した画像データをフレームメモリ１１１に格納する。
　次にステップＳ６１０では、画像処理部１０５は、フレームメモリ１１１から補正対象ブロックの画像データと距離情報の平均値および補正対象ブロックに下側にて隣接する下隣ブロックの画像データと距離情報の平均値を読み出す。画像処理部１０５は、図９（ｄ）に示すように補正対象ブロックと下隣ブロックのそれぞれの距離情報の平均値を用いて、ＬＥＤディスプレイＬＤにおける補正対象ブロックの下半分の部分に相当する領域と撮像装置１００との間の角度を算出する。
　次にステップＳ６１１では、画像処理部１０５は、図９（ｄ）に斜線で示す補正対象ブロックの下半分の部分の画像データの輝度値に、ステップＳ６１０で求めた角度に応じた輝度補正値を乗算する。このときの輝度補正値は、ステップＳ６０９で用いたものと同じである。画像処理部１０５は、輝度補正値を乗算した画像データをフレームメモリ１１１に格納する。
　次にステップＳ６１２では、画像処理部１０５は、水平ｘ個×垂直ｙ個の全てのブロックに対してステップＳ６０４～Ｓ６１１での輝度値補正を行ったかを否かを判定し、全てのブロックに対して補正を行った場合は本処理を終了する。まだ未補正していないブロックがあれば、ステップＳ６１３の処理を行う。
　ステップＳ６１３では、画像処理部１０５は、補正対象ブロックをラスター方向に移動させる。そしてステップＳ６０４の処理に戻る。
　以上の処理を行うことで、ＬＥＤディスプレイＬＤと撮像装置１００との間の角度に応じて画像データ（入力画像）における背景映像領域の輝度値を補正することができる。したがって、背景映像領域の画質むらが低減された画像データ（出力画像）を得ることができる。しかも、ＬＥＤディスプレイＬＤ自体の発光輝度を変更しないので、互いに異なる角度で配置された複数の撮像装置で同時に撮像を行う場合でも、各撮像装置において背景映像領域の画質むらが低減された画像データを得ることができる。
　なお、本実施例では、各ブロックの距離情報の平均値を用いてＬＥＤディスプレイと撮像装置との間の角度を算出する場合について説明したが、該平均値に代えて各ブロックの中心位置の距離情報等、他の距離情報を用いてもよい。
　次に、実施例２について説明する。実施例２では、ＬＥＤディスプレイと撮像装置１００との間の角度による画質むらではなく、ＬＥＤディスプレイと撮像装置１００の距離による画質むらを補正する。
　図１１のフローチャートは、実施例２において画像処理部１０５がプログラムに従って実行する処理を示している。ステップＳ６０１からステップＳ６０３までの処理は、実施例１（図６）中の同符号のステップの処理と同じである。
　ステップＳ６０３の後とステップＳ１１０１では、画像処理部１０５は、フレームメモリ１１１から画像データ（入力画像）における分割されたブロックごとの距離情報の平均値を読み出す。この際、画像処理部１０５は、全ブロックの距離情報の平均値を１としてブロックごとの距離情報の平均値を正規化する。画像処理部１０５は、ＬＥＤディスプレイＬＤと撮像装置１００の配置情報として、ブロックごとの正規化された距離情報の平均値をフレームメモリ１１１に格納する。
　次にステップＳ１１０２では、画像処理部１０５は、フレームメモリ１１１から補正対象ブロックの画像データと正規化された距離情報の平均値を読み出す。画像処理部１０５は、正規化された距離情報の平均値から輝度補正値を算出する。すなわち、距離に応じた輝度補正値を算出する。本実施例において、画像データの輝度は、ＬＥＤディスプレイと撮像装置１００間の距離の２乗に反比例する。このため、画像処理部１０５は、距離に応じた輝度補正値を、正規化された距離情報の平均値を２乗した値の逆数とする。
　次にステップＳ１１０３では、画像処理部１０５は、補正対象ブロックの画像データの輝度値にステップＳ１１０２で求めた距離に応じた輝度補正値を乗算する。画像処理部１０５は、輝度補正値を乗算した画像データをフレームメモリ１１１に格納する。
　次にステップＳ１１０４では、画像処理部１０５は、水平ｘ個×垂直ｙ個の全てのブロックに対してステップＳ１１０２～Ｓ１１０３での輝度値補正を行ったかを否かを判定し、全てのブロックに対して補正を行った場合は本処理を終了する。まだ未補正していないブロックがあればステップＳ６１３の処理を行う。ステップＳ６１３の処理は、実施例１（図６）中の同符号のステップの処理と同じであるが、本実施例ではステップＳ１１０２の処理に戻る。
　以上の処理を行うことで、ＬＥＤディスプレイに対する撮像装置１００の距離に応じて、画像データ（入力画像）における背景映像領域の輝度補正を行うことができる。したがって、背景映像領域の画質むらが低減された画像データ（出力画像）を得ることができる。しかも、ＬＥＤディスプレイＬＤ自体の発光輝度を変更しないので、互いに異なる距離に配置された複数の撮像装置で同時に撮像を行う場合でも、各撮像装置において背景映像領域の画質むらが低減された画像データを得ることができる。
　なお、実施例１、２においてＬＥＤディスプレイが複数色、例えばＲ（赤）、Ｇ（緑）、Ｂ（青）の３色のＬＥＤで構成される場合は、画像データのＲ、Ｇ、Ｂの色ごとに角度または距離に対する輝度補正値を用意し、色ごとに輝度値補正を行うことが望ましい。
　また１つの補正対象ブロックごとに輝度補正値の取得と輝度値補正を行うのではなく、全ブロックの輝度補正値のマップを作成し、このマップにローパスフィルタ処理等の２次元フィルタリング処理を実施して得られる輝度補正値を用いて輝度値補正を行ってもよい。
　また上記実施例１、２では、距離情報は、撮像素子を用いた図３に示した処理に限らず、撮像素子とは別に撮像装置１００に設けられた、被写体までの距離を測定可能な測距装置を用いて取得してもよい。測距装置としては、レーダやＬｉＤＡＲ（Light Detection and Ranging）等が挙げられる。
　また上記実施例１、２では、背景ディスプレイとしてＬＥＤディスプレイを用いた。しかし、ＬＥＤディスプレイに限らず、角度や距離に応じて輝度が変化する視野角特性を有する液晶素子や有機ＥＬ等の各種表示素子を用いた背景ディスプレイを用いる場合にも角度および距離のうち少なくとも一方に応じて輝度値補正を行うことができる。
　また上記各実施例では、画像処理部１０５が背景ディスプレイＬＤと撮像装置１００との間の角度や距離に応じた画像データの輝度値補正を画像処理として行う場合について説明したが、角度や距離に応じた他の画像処理を行ってもよい。例えば、背景ディスプレイＬＤがＶＡ（Virtical Alignment）パネル等である場合に、背景ディスプレイＬＤと撮像装置１００との間の角度に応じて表示される色が損なわれてしまいやすいため、角度に応じた色補正処理を行うのが好ましい。
　また、画像処理部１０５は、上述した輝度補正値のマップを入力画像としての画像データにメタデータとして付加し、この画像データをネットワークモジュール１０８、映像端子１０９および記録媒体１１２といった出力部から外部に出力してもよい。これにより、外部の装置において、輝度補正値のマップを参照して画像データの輝度値補正を行うことができる。
　さらに実施例１、２では、情報処理装置としての画像処理部１０５が撮像装置１００に内蔵されている場合について説明した。しかし、画像処理部１０５と同様の機能を有する（同様の機能を実現するプログラムに従って動作する）パーソナルコンピュータが、撮像装置とは別の情報処理装置として設けられてもよい。
　（その他の実施例）
　本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
　以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

Claims (14)

  1. 　撮像装置により被写体と背景ディスプレイに表示された背景映像とを撮像して得られる入力画像を取得する取得手段と、
    　前記入力画像における被写体領域と背景映像領域とを判別する判別手段と、
    　前記背景ディスプレイと前記撮像装置との間の角度および距離のうち少なくとも一方に関する配置情報を取得し、前記背景映像領域に対して前記配置情報に応じた画像処理を行う処理手段とを有することを特徴とする情報処理装置。
  2. 　前記画像処理は、前記背景映像領域の輝度値を変更する処理であることを特徴とする請求項１に記載の情報処理装置。
  3. 　前記画像処理は、前記角度および前記距離のうち少なくとも一方に応じて前記背景ディスプレイから前記撮像装置への入射光の輝度が変化する場合に、該入射光の輝度の変化とは逆方向に前記背景映像領域の輝度値を変更する処理であることを特徴とする請求項２に記載の情報処理装置。
  4. 　前記処理手段は、前記配置情報に対応する画像処理用パラメータを予め保持または算出し、該画像処理用パラメータを用いて前記画像処理を行うことを特徴とする請求項１から３のいずれか一項に記載の情報処理装置。
  5. 　前記判別手段は、
    　前記撮像装置から前記被写体および前記背景ディスプレイまでの距離に関する情報を用いて前記被写体領域と前記背景映像領域とを判別することを特徴とする請求項１から４のいずれか一項に記載の情報処理装置。
  6. 　前記処理手段は、
    　前記背景映像領域を複数のブロックに分割し、
    　前記ブロックごとに前記配置情報を取得して前記画像処理を行うことを特徴とする請求項１から５のいずれか一項に記載の情報処理装置。
  7. 　前記処理手段は、
    　前記複数のブロックのうち対象ブロックと該対象ブロックに対する隣接ブロックのそれぞれの前記配置情報を取得し、
    　前記対象ブロックと前記隣接ブロックの前記配置情報に応じて、前記対象ブロックにおける前記隣接ブロック側の部分に対して前記画像処理を行うことを特徴とする請求項６に記載の情報処理装置。
  8. 　前記処理手段は、前記撮像装置から前記背景ディスプレイのまでの距離に関する情報を用いて前記角度に関する情報を取得することを特徴とする請求項１から７のいずれか一項に記載の情報処理装置。
  9. 　前記背景映像が複数の色を有する場合に、前記入力画像に対して前記色ごとに前記画像処理を行うことを特徴とする請求項１から８のいずれか一項に記載の情報処理装置。
  10. 　前記処理手段は、前記配置情報に対応する画像処理用パラメータを前記入力画像に付加して外部に出力することを特徴とする請求項１から９のいずれか一項に記載の情報処理装置。
  11. 　前記撮像装置に設けられた撮像素子の複数の画素はそれぞれ、前記光学系の瞳のうち互いに異なる領域からの光を受光する複数の光電変換素子を有し、
    　前記処理手段は、前記複数の画素の前記複数の光電変換素子から出力された信号を用いて生成された対の像信号の位相差から前記配置情報を取得することを特徴とする請求項１から１０のいずれか一項に記載の情報処理装置。
  12. 　請求項１から１１のいずれか一項に記載の情報処理装置と、
    　撮像素子とを有することを特徴とする撮像装置。
  13. 　撮像装置により被写体と背景ディスプレイに表示された背景映像とを撮像して得られる入力画像を取得するステップと、
    　前記入力画像における被写体領域と背景映像領域とを判別するステップと、
    　前記背景ディスプレイと前記撮像装置との間の角度および距離のうち少なくとも一方に関する配置情報を取得し、前記背景映像領域に対して前記配置情報に応じた画像処理を行うステップとを有することを特徴とする情報処理方法。
  14. 　コンピュータに、請求項１３に記載の情報処理方法に従う処理を実行させることを特徴とするプログラム。
PCT/JP2024/012563 2023-05-25 2024-03-28 情報処理装置および撮像装置 Ceased WO2024241702A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP24810710.4A EP4723659A1 (en) 2023-05-25 2024-03-28 Information processing device and imaging device
CN202480034250.9A CN121195512A (zh) 2023-05-25 2024-03-28 信息处理设备和摄像设备
US19/387,997 US20260075325A1 (en) 2023-05-25 2025-11-13 Information processing apparatus and image pickup apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2023-085973 2023-05-25
JP2023085973A JP2024168917A (ja) 2023-05-25 2023-05-25 情報処理装置および撮像装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US19/387,997 Continuation US20260075325A1 (en) 2023-05-25 2025-11-13 Information processing apparatus and image pickup apparatus

Publications (1)

Publication Number Publication Date
WO2024241702A1 true WO2024241702A1 (ja) 2024-11-28

Family

ID=93590107

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2024/012563 Ceased WO2024241702A1 (ja) 2023-05-25 2024-03-28 情報処理装置および撮像装置

Country Status (5)

Country Link
US (1) US20260075325A1 (ja)
EP (1) EP4723659A1 (ja)
JP (1) JP2024168917A (ja)
CN (1) CN121195512A (ja)
WO (1) WO2024241702A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2026060391A (ja) 2024-09-27 2026-04-08 セイコーエプソン株式会社 液体吐出装置、及び容量性負荷駆動回路

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010067223A (ja) * 2008-09-12 2010-03-25 Canon Inc 画像処理装置、画像処理方法、及び、画像処理プログラム
JP2011028177A (ja) * 2009-07-29 2011-02-10 Nikon Corp 撮像装置
WO2014119257A1 (ja) * 2013-01-29 2014-08-07 パナソニック株式会社 撮像システム
JP2015033020A (ja) * 2013-08-02 2015-02-16 キヤノン株式会社 撮像装置、撮像方法、プログラム、及び記録媒体
US20170150067A1 (en) * 2015-11-24 2017-05-25 Samsung Electronics Co., Ltd. Digital photographing apparatus and method of operating the same
US20220014728A1 (en) 2020-07-13 2022-01-13 Brompton Technology Ltd. System and Method for Realtime LED Viewing Angle Correction
JP2022140057A (ja) * 2021-03-12 2022-09-26 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010067223A (ja) * 2008-09-12 2010-03-25 Canon Inc 画像処理装置、画像処理方法、及び、画像処理プログラム
JP2011028177A (ja) * 2009-07-29 2011-02-10 Nikon Corp 撮像装置
WO2014119257A1 (ja) * 2013-01-29 2014-08-07 パナソニック株式会社 撮像システム
JP2015033020A (ja) * 2013-08-02 2015-02-16 キヤノン株式会社 撮像装置、撮像方法、プログラム、及び記録媒体
US20170150067A1 (en) * 2015-11-24 2017-05-25 Samsung Electronics Co., Ltd. Digital photographing apparatus and method of operating the same
US20220014728A1 (en) 2020-07-13 2022-01-13 Brompton Technology Ltd. System and Method for Realtime LED Viewing Angle Correction
JP2022140057A (ja) * 2021-03-12 2022-09-26 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Also Published As

Publication number Publication date
EP4723659A1 (en) 2026-04-08
CN121195512A (zh) 2025-12-23
US20260075325A1 (en) 2026-03-12
JP2024168917A (ja) 2024-12-05

Similar Documents

Publication Publication Date Title
JP5640143B2 (ja) 撮像装置及び撮像方法
CN102812714B (zh) 立体图像获取装置
JP4699995B2 (ja) 複眼撮像装置及び撮像方法
CN105872525B (zh) 图像处理装置和图像处理方法
US8786676B2 (en) Imaging device for generating stereoscopic image
CN103039066B (zh) 成像装置、图像处理装置以及图像处理方法
JP2014039125A (ja) 画像処理装置、画像処理装置を具備する撮像装置、画像処理方法、及びプログラム
CN102884802A (zh) 三维成像装置和视点图像恢复方法
WO2012036019A1 (ja) 単眼立体撮像装置、単眼立体撮像装置用シェーディング補正方法及び単眼立体撮像装置用プログラム
WO2012108099A1 (ja) 撮像装置および撮像方法
US10122990B2 (en) Imaging system and method of producing context and focus images
US20260075325A1 (en) Information processing apparatus and image pickup apparatus
TWI599809B (zh) 鏡頭模組陣列、影像感測裝置與數位縮放影像融合方法
JP2011211329A (ja) 撮像装置およびその制御方法，ならびに画像処理装置，その制御方法，および画像処理プログラム
WO2019181560A1 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム
JP2009047734A (ja) 撮像装置及び画像処理プログラム
US12273630B2 (en) Image processing apparatus, image processing method, and storage medium
JP2012124650A (ja) 撮像装置および撮像方法
JP5453328B2 (ja) 立体撮像システム、補正装置およびそのプログラム
JPWO2016076396A1 (ja) 撮像装置および撮像方法
JP2024175256A (ja) 情報処理装置および撮像装置
JP2024168751A (ja) 情報処理装置および撮像装置
JP5399986B2 (ja) 撮像装置、画像処理方法
JP2011182325A (ja) 撮像装置
JP2024060961A (ja) 画像処理装置、撮像装置、制御方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24810710

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2024810710

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2024810710

Country of ref document: EP

Effective date: 20260102

ENP Entry into the national phase

Ref document number: 2024810710

Country of ref document: EP

Effective date: 20260102

ENP Entry into the national phase

Ref document number: 2024810710

Country of ref document: EP

Effective date: 20260102

ENP Entry into the national phase

Ref document number: 2024810710

Country of ref document: EP

Effective date: 20260102

ENP Entry into the national phase

Ref document number: 2024810710

Country of ref document: EP

Effective date: 20260102

ENP Entry into the national phase

Ref document number: 2024810710

Country of ref document: EP

Effective date: 20260102

WWP Wipo information: published in national office

Ref document number: 2024810710

Country of ref document: EP