WO2012041217A1 - 多摄像机图像校正方法和设备 - Google Patents

多摄像机图像校正方法和设备 Download PDF

Info

Publication number
WO2012041217A1
WO2012041217A1 PCT/CN2011/080218 CN2011080218W WO2012041217A1 WO 2012041217 A1 WO2012041217 A1 WO 2012041217A1 CN 2011080218 W CN2011080218 W CN 2011080218W WO 2012041217 A1 WO2012041217 A1 WO 2012041217A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
camera
image information
correction
independent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2011/080218
Other languages
English (en)
French (fr)
Inventor
赵嵩
刘源
王静
赵光耀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Device Co Ltd
Original Assignee
Huawei Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Device Co Ltd filed Critical Huawei Device Co Ltd
Priority to EP11828113.8A priority Critical patent/EP2571261B1/en
Publication of WO2012041217A1 publication Critical patent/WO2012041217A1/zh
Priority to US13/728,380 priority patent/US9172871B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Definitions

  • Multi-photograph ⁇ jE method and i-book This application is filed on September 29, 2010 and submitted to the China Patent Office, application number 201010500209. 6.
  • Chinese patent application titled “Multi-camera image correction method and equipment” Priority is hereby incorporated by reference in its entirety.
  • Embodiments of the present invention relate to image technology, and in particular, to a multi-camera image correction method and apparatus. Background technique
  • a teleconferencing system such as the Telepresence system
  • multiple cameras are required to present the site from multiple angles so that participants can feel at the same meeting place, thus ensuring consistency in different meeting locations.
  • FIG. 1 is a schematic diagram of a layout of a conference room system in the prior art.
  • the system can employ three flat panel displays 1, 2, and 3, which are used to present a high-definition picture close to a human-sized size.
  • the three displays are placed in a folded manner, with the middle display 2 and the two sides of the display 1 and 3 abutting together, and the images of the three displays constitute a complete representation of the conference room scene.
  • three HD cameras 4, 5 and 6 are provided in the middle of the display 2. These three cameras are set up in a convergent manner. By adjusting the position of the three cameras, it is possible to make each camera's shooting range cover exactly one area of the conference table.
  • the camera 4 corresponds to the area of the seats 14, 15, the camera 5 corresponds to the area of the seats 16, 17, and the camera 6 corresponds to the area of the seats 18, 19. Therefore, the three images captured by the three cameras are approximately spliced into a panoramic view of the conference room scene. image. It can be seen that the image that can be seamlessly stitched can be obtained only at the intersection of the shooting angles of every two cameras. The area before the intersection point is the missing area that the camera cannot capture, and the area after the intersection point is the overlapping area. In order to make the images captured by the three cameras consistent in geometric position and color brightness, geometric correction and color correction of the images taken by the three cameras are required.
  • the prior art can place a template in an overlap region or detect geometric feature points of existing features in the overlap region to perform geometric correction and color correction of the image.
  • the prior art can only manually adjust the mechanical position of the camera and the brightness/color parameter of the camera to perform geometric correction and color correction of the image. For the latter, maintenance personnel must adjust on-site, so the adjustment efficiency is low, and it is difficult to ensure geometric correction accuracy and color correction accuracy.
  • Embodiments of the present invention provide a multi-camera image correction method and apparatus.
  • An embodiment of the present invention provides a multi-camera image correction method, including:
  • Correction processing is performed on the video data of the camera corresponding to the image correction parameter based on the image correction parameter.
  • An embodiment of the present invention provides a multi-camera image correction device, including:
  • the acquiring module is configured to acquire independent image information that is not overlapped by each camera or whose overlapping area is smaller than a threshold; and, according to each independent image information, acquire an image corresponding to each camera and capable of correcting adjacent independent images into continuous images Calibration parameter
  • a processing module configured to perform correction processing on the video data of the camera corresponding to the image correction parameter according to the image correction parameter acquired by the acquisition module.
  • the embodiment of the present invention for the case where there is no overlapping area or the overlapping area is small, it is not necessary to manually adjust the mechanical position of the camera and adjust the brightness/color parameter of the camera to perform geometric correction and color correction of the image. Instead, the images captured by the camera are processed offline and online by image processing methods such as image data acquisition and correction. Therefore, the embodiment of the invention saves the labor of the maintenance personnel, has high adjustment efficiency, and can be remotely maintained. In addition, through the data office The method of correcting the image effectively ensures the accuracy of correcting the image. DRAWINGS
  • FIG. 1 is a schematic layout diagram of a conference room system in the prior art
  • FIG. 1 is a flowchart of Embodiment 1 of a multi-camera image correction method according to the present invention
  • Embodiment 3 is a flowchart of Embodiment 2 of a multi-camera image correction method according to the present invention.
  • FIG. 4 is a schematic diagram of the second embodiment of the method shown in FIG. 3 after image correction is performed;
  • FIG. 5 is a schematic diagram of the image correction method after the second embodiment of the method shown in FIG. Three flow chart;
  • FIG. 7 is a schematic diagram of a scene when multiple cameras are corrected in the third embodiment of the method shown in FIG. 6.
  • FIG. 8 is a schematic diagram of a scene when a single camera is internally corrected in the third embodiment of the method shown in FIG. 6.
  • FIG. 10 is a schematic diagram of a corrected image between a plurality of cameras in the scene shown in FIG. 7;
  • FIG. 11 is a schematic diagram showing a gradation curve and a target curve of color component values corrected between a plurality of cameras in the scene shown in FIG. ;
  • FIG. 12 is another schematic diagram of a gradation curve and a target curve of color component values corrected between a plurality of cameras in the scene shown in FIG. 7;
  • FIG. 13 is a schematic structural diagram of Embodiment 1 of a multi-camera image correcting apparatus according to the present invention
  • FIG. 14 is a schematic structural diagram of Embodiment 2 of a multi-camera image correcting apparatus according to the present invention.
  • Embodiment 1 of a multi-camera image correction method is a flowchart of Embodiment 1 of a multi-camera image correction method according to the present invention.
  • the embodiment can adopt an image processing apparatus to photograph each camera.
  • the image is subjected to correction processing.
  • the image processing device in this embodiment may include an online processing device and an offline processing device.
  • the method of this embodiment may include: Step 201: Acquire independent image information that is collected by each camera and has no overlapping area or overlapping area smaller than a threshold.
  • the offline processing device may send an acquisition command to the image acquisition system of each camera, and receive independent image information collected and transmitted by the image acquisition system of each camera, so as to obtain a non-overlapping region or an overlapping region respectively collected by each camera is smaller than a threshold. Independent image information. Therefore, there is no overlap or a small overlap between the images acquired by each camera.
  • a person skilled in the art can set the threshold of the overlapping range of the overlapping area as needed, for example, the threshold can take 5°/ of the horizontal resolution of the total area. _ 10%.
  • Step 202 Acquire, according to the independent image information, image correction parameters corresponding to each camera and capable of correcting adjacent independent images into continuous images.
  • the image correction process may include luminance color correction of the image, geometric correction, and subsequent image correction processing. Therefore, the image correction parameter in the embodiment may be a color correction parameter for performing brightness color correction on the image, or a geometric correction parameter for geometrically correcting the image, and may also be other image correction parameters. Not limited.
  • the offline processing device may obtain geometric correction parameters and/or color correction parameters corresponding to the respective cameras according to the independent image information collected by each camera, and the obtained geometric correction parameters may correct adjacent independent images into geometric shapes.
  • the successively positioned images, the acquired color correction parameters can correct adjacent independent images to successive images of color brightness.
  • Step 203 Perform, according to the image correction parameter, a camera corresponding to the image correction parameter The video data is corrected.
  • the online processing device can perform the frame-by-frame real-time processing on the video data of the corresponding camera according to the image correction parameters, such as the geometric correction parameters and/or the color correction parameters.
  • the offline processing device and the online processing device in the embodiments of the present invention are only examples and are not limited.
  • the functionality of the online processing device can also be implemented by off-line processing of the device, and vice versa.
  • Whether the online processing device or the offline processing device is used for the image processing device in each embodiment of the present invention is an optimized selection according to the actual requirements of image processing. For example, for an image processing link with higher real-time requirements, an online processing device is preferably used; and for an image processing link with low real-time requirements and high quality requirements, a 10,000-line processing device is preferably used.
  • the online processing device can adopt digital signal processing (Digital Signal Processing, DSP: DSP), programmable logic device (Programable Logic Device). PLD), Field Programable Gate Array (FPGA) or Graphic Processing Unit (GPU):
  • DSP Digital Signal Processing
  • PLD programmable logic device
  • FPGA Field Programable Gate Array
  • GPU Graphic Processing Unit
  • the offline part does not require real-time performance, but the algorithm Complex, so offline processing equipment is more suitable for implementation with CPU-based computers.
  • the online processing device and the offline processing device are only logical entities.
  • the two devices can be physically separated into different devices and communicated through the data transmission interface.
  • the data transmission interface can adopt an interface mode such as Ethernet or USB, and the transmission protocol.
  • TCP File Transfer Protocol
  • HTTP HyperText Transfer Protocol
  • HTTP Custom Transmission Control Protocol/Internet Protocol
  • TCP/UDP or USB protocol; the two can also be located in the same physical device, for example, using PC as an online processing device and offline processing device, the CPU as an offline device computing parameter, and the GPU as an online processing device. Perform real-time image processing.
  • the embodiment saves the labor of the maintenance personnel, has high adjustment efficiency, and can be remotely maintained.
  • the image is corrected by data processing, which ensures the accuracy of correcting the image.
  • FIG. 3 is a flowchart of the second embodiment of the multi-camera image correction method of the present invention. As shown in FIG. 3, the embodiment can perform geometric correction processing on the image captured by the multi-camera.
  • the method in this embodiment may include:
  • Step 301 Send a position adjustment command to each camera to align the cameras with each other.
  • the geometric correction process is used to solve the stitching alignment problem of multiple camera images in geometric position, and to ensure the continuous consistency of multiple camera images in geometric position.
  • Multi-camera geometry correction can be divided into two P-segments: coarse correction P-segment and precise correction P-segment.
  • Step 301 is the rough correction phase.
  • step 301 by transmitting an adjustment command to a plurality of cameras, the positions of the plurality of cameras in the vertical direction and the horizontal direction are roughly aligned.
  • the adjustment of the camera can be omnidirectional movement of the camera's positioning screw or pan/tilt, lens zoom and zoom control.
  • step 301 can also be omitted.
  • the geometric relationship between the cameras is determined by fixing the position of the camera, so that the structural position adjustment of the camera is not required. Since the camera position adjustment cannot be performed, the positional accuracy of the fixed camera is required to be within the adjustable range of the next accurate correction.
  • Step 302 Send an acquisition command to an image acquisition system of each camera, and receive each camera Independent image information collected and transmitted by the image acquisition system.
  • Step 303 Perform joint correction processing on each independent image information, acquire each corrected image information corresponding to each independent image information and consecutive adjacent images, and acquire each geometric correction parameter according to each corrected image information and corresponding independent image information.
  • the joint correction processing is to select one image from each independent image information as reference image information, and perform correction processing on the reference image information; the reference image information after the correction processing is reference image information, and the remaining independent The image information is subjected to correction processing.
  • step 302 and step 303 are precise geometric corrections, which achieve precise alignment of the images of the plurality of cameras by image deformation.
  • Geometric transformation operations include: pan, rotate, scale, perspective, and more.
  • the offline processing device can instruct each camera to acquire one frame of image, and each frame image corresponds to a camera that needs to be corrected.
  • the image acquisition commands can be sent over the network and transmitted through the network to obtain the acquired independent image information.
  • the offline processing device can perform joint correction processing based on the acquired independent image information.
  • the universal line processing device can select an image of one camera as a reference, first correct the reference image, then correct other images, align the other images with the reference image, and finally obtain a A visually consistent wide viewing angle image.
  • FIG. 4 is a schematic diagram of the second embodiment of the method shown in FIG. 3 before image correction
  • FIG. 5 is a schematic diagram after image correction is performed by applying the second embodiment of the method shown in FIG. 3.
  • the middle image is taken.
  • Lb is the reference. From the edge of the desktop image of the middle image, it can be seen that the intermediate image lb has a small angle of rotation, which causes the overall image to be tilted. Therefore, the offline processing device can make a reverse rotation to make the edge of the desktop horizontal, and the intermediate image is corrected.
  • the image is shown in 2b.
  • the offline processing device can also transform the left and right images la and lc, and the desktop edges in the transformed images 2a and 2c are aligned with the desktop edges of the image 2b by geometric transformation operations such as rotation and translation, and are geometrically continuous. relationship.
  • auxiliary means In the actual calibration process, it is easier to assist the offline processing device by some auxiliary means. Make a judgment on how to adjust the image to improve the speed and accuracy of the correction. For example, when shooting an image, you can place some templates in the Telepresence scene, such as a checkerboard, so that the camera can capture a part of the template, so that the template can be used as a reference when performing image alignment.
  • some measurement functions can also be provided to measure the correction effect, such as providing distance detection function for measuring the alignment of desktop edges in multiple images, or providing area detection function measurement relative to each camera. Whether the size of an object in the same position is equal in the image, to detect whether the focal length setting of the camera is the same or the like.
  • the offline processing device can correct the independent image information of each camera by using different correction parameters, such as rotation transformation, until the satisfaction degree is reached, and then the offline processing device can obtain the geometric correction parameters of the independent image information.
  • the geometric correction parameter is the parameter required for the on-line processing device to perform image-by-frame image conversion.
  • Step 304 Perform correction processing on the video data of the camera corresponding to the geometric correction parameter according to the geometric correction parameter.
  • the online processing device can perform correction processing on the video data of the camera corresponding to the geometric correction parameter.
  • this embodiment provides a specific implementation of image transformation.
  • H is a 3x3 matrix with a degree of freedom of 8, which represents the transformation relationship between two imaging planes, called the homography transformation matrix.
  • X is the homogeneous representation of the image coordinates before the transformation
  • x' is the homogeneous representation of the transformed image coordinates.
  • the homography should be found at least by establishing 8 equations through 4 pairs of points.
  • Matrix H For the manual correction method, the user selects at least the coordinates of the four points on the image before the transformation and the coordinates of the four points on the transformed image. According to the coordinates of these four point pairs, we can use equation (5) to establish a system of equations including at least eight equations to solve the homography matrix H. After obtaining the homography matrix H, we can multiply the coordinates of the image by H to perform a perspective transformation to align the perspective-transformed images.
  • the perspective transformation can only ensure that one plane in the image obtains a better alignment effect. If the depth of field in the image is relatively large, it cannot be aligned on each depth of field. In the telpresence system, since the viewer is most sensitive to the position of the person, we only need to ensure that the splicing effect of the approximate plane of the face and the body is optimal, perpendicular to the edge of the desktop. In addition, people are also sensitive to cross-screen geometry, such as desktop edges, so these images are also precisely aligned during image correction.
  • S is an image scaling matrix
  • s x is the scaling factor in the X direction
  • R is the two-dimensional rotation matrix
  • T is the translation vector
  • X is the homogeneous representation of the image coordinates before the transformation
  • ⁇ ' is the homogeneous representation of the transformed image coordinates.
  • the online processing device does not directly use the above transformation parameters for image transformation, but uses the offline processing device to calculate the coordinates of each pixel point of the transformed image ( x ', the coordinates of the corresponding point on the original image ( ⁇ , using the above parameters). According to the difference value ( ⁇ - ⁇ ', - the mapping map of the image is obtained.
  • the offline processing device sends the image transformation mapping table to the online processing device, and the online processing device performs pixel-by-pixel mapping according to the image transformation mapping table, and the interpolation is transformed.
  • the interpolation method can be used in various ways, such as bilinear interpolation, cubic convolution interpolation, etc. For example, using bilinear interpolation, the interpolation formula is:
  • FIG. 6 is a flowchart of a third embodiment of a multi-camera image correction method according to the present invention. As shown in FIG. 6 , in this embodiment, a color correction process may be performed on an image captured by a multi-camera.
  • the method in this embodiment may include:
  • Step 601 Send an acquisition command for capturing a template image to an image acquisition system of each camera, and receive template image information at multiple exposure times collected and transmitted by each camera.
  • the main purpose of multi-camera brightness color correction is to eliminate the difference in brightness color of multiple camera images, and to ensure the consistency of brightness and color of multiple images.
  • the traditional multi-camera brightness color correction method is for the final digital image signal processing, but the brightness and color difference between multi-camera images is essentially the difference between the optical characteristics of different image sensors of multiple cameras and the difference of signal processing circuits. It is obvious that it is difficult to eliminate the image processing of this mixed difference.
  • the partition parallel output technology is adopted for the single block CCD, for example, the data of one frame image is used. Divided into 2 or 4 parallel outputs, each output uses a separate output circuit and analog to digital conversion chip. Due to the difference between the CCD output circuit and the analog-to-digital conversion chip and circuit, the multi-channel images output by the CCD in parallel also have micro-d and difference between the partitions, that is, the difference inside the single camera.
  • the offline processing device can perform correction processing on the luminance colors between the plurality of cameras and inside each camera.
  • FIG. 7 is a schematic diagram of a scene when multiple cameras are corrected in the third embodiment of the method shown in FIG. 6, as shown in FIG. 7, where 100 and 101 are respectively cameras to be corrected.
  • 200 is a calibration template, each of which is photographed by the cameras 100 and 01.
  • the calibration template 200 can be a whiteboard or a template having multiple gray levels.
  • FIG. 8 is a schematic diagram of a scene when a single camera is internally corrected in the third embodiment of the method shown in FIG. 6. As shown in FIG. 8, the calibration template is completely within the shooting range of the camera 100.
  • the illumination of the experimental environment is required to be uniform during shooting. This requirement can be measured by using a brightness meter on the surface of the template to ensure that the light box is hooked with a special illumination.
  • the experimental environment lighting is best With DC lamps, if AC lamps are used, the camera acquisition frequency and the light frequency should be synchronized to ensure that there is no flicker when shooting.
  • the camera is preferably in a defocused state during the experiment, or the lens is removed for shooting.
  • it is necessary to acquire an image of the camera in an all black environment, thereby obtaining the black level of the RGB component of the camera image sensor.
  • Step 602 Acquire color correction parameters corresponding to the respective cameras according to the template image information in the multiple exposure times.
  • the step 602 may be specifically: acquiring, according to the template image information of the multiple exposure times, adjacent images between multiple image partitions in each camera The grading of the color component values of the regions at each exposure time; interpolating the grading of the color component values at each exposure time for each image region, and obtaining a gradation curve of the color component values of the respective image regions at each exposure time; According to the classification curve of the target curve and the color component value, the color correction parameters of each image partition inside each camera are obtained.
  • the step 602 may be specifically: acquiring, according to the template image information of the multiple exposure times, each image area adjacent to each camera in each Grading of color component values at exposure time; interpolating the grading of color component values at each exposure time for each image region, obtaining a gradation curve of color component values of each camera at each exposure time; according to the target curve and The gradation curve of the color component values, and the color brightness correction parameters of each camera are obtained.
  • FIG. 9 is a schematic diagram of a corrected image inside a single camera in the scene shown in FIG. 8.
  • an offline processing device can command each camera. Capture a set of template image information for different exposure times. Since the exposure time of the camera is different, the brightness of the captured image also changes with the exposure time. For very long exposure times, you get an overexposed image that is nearly pure white, and for a short exposure time, you get an image that is nearly black.
  • the offline processing device can command the camera to the area adjacent to the image partition boundary,
  • A2, Bl, B2, Cl, C2, Dl, D2 are sampled. Since each image partition has vertical and horizontal boundaries, it is necessary to balance the vertical and horizontal boundaries in processing. For example, for the A partition, select the rectangular area as the sampling area, calculate the average of the color component values of the vertical and horizontal sampling areas A1 and A2, and then average the average of A1 and A2 to get the RGB value of the A partition.
  • ⁇ and A2 are the mean values of the RGB values of the sampled pixels in the vertical and horizontal regions, respectively, for calculating the RGB values before the A partition correction.
  • For the B, C, D partitions It can also be similarly obtained, and. This can get a series of RGB values of different image partitions under different exposure times. Due to the difference of partitions, the RGB values of different image partitions are different at a certain exposure time, the brightness color The purpose of the correction is to make the corrected RGB values of the image partitions consistent at different exposure times.
  • FIG. 10 is a schematic diagram of a corrected image between a plurality of cameras in the scene shown in FIG. 7, as shown in FIG. 10, a color correction method between a plurality of cameras and a color correction method of a plurality of image partitions in a single camera are similar.
  • the difference is that the edge data of the camera image needs to be taken when sampling the data, and then the data of each camera can be treated as data of one image partition. For example, for images A and B of two cameras, take the rectangular areas A1 and B1, and then calculate the RGB values before correction.
  • the offline processing device is to perform color correction processing for each image partition in a single camera and color correction processing between multiple cameras, color correction processing of each image partition in a single camera should be performed first. And performing color correction processing between the plurality of cameras on the basis of the corrected image data.
  • the offline processing device can In order to obtain the RGB color component level (Level) of each image under different exposure times EE w , E 2 , E w ..., the green component G is taken as an example, and its distribution curve is g A, G B , Where A and B are camera numbers.
  • the offline processing device can calculate a target curve G BASE by using G B , or directly select G A or G B as the target curve. The purpose of the calibration is to fit other curves to G as much as possible.
  • ⁇ ⁇ in Fig. 11 indicates the deviation of G A from the target curve G.
  • the value of each point in the point can be obtained by taking the mean of the corresponding points of G A and G B .
  • FIG. 12 is another schematic diagram of a gradation curve and a target curve of color component values corrected between a plurality of cameras in the scene shown in FIG. 7, as shown in FIG. 12, for multi-image partition correction of a single camera, an offline processing device You can also select a color component, such as the distribution of the G component as the pixel reference distribution curve. It can be calculated for the distribution of a certain camera or by the method of calculating the target curve G ⁇ described above. The abscissa and the ordinate in Fig.
  • the grading of the G component wherein the abscissa is the reference gradation level of the G component, that is, each value in 0_255, and the ordinate is the grading of the G component of other image partitions or cameras. It is thus possible to plot the distribution curves G A , G B of the G component classifications of different partitions or different cameras, while G BASE represents the 45 degree diagonal. Therefore, for A, the difference between the G component of the curve G A at each exposure time point and the G difference ⁇ ⁇ ⁇ , ⁇ ⁇ ' , AL i+2 ⁇ ⁇ ⁇ ⁇ ′′ is the difference that needs to be corrected.
  • G ⁇ G B Since the sum is known, the color correction parameter ⁇ can be calculated. Since the points collected by the experiment are limited and cannot be covered to each level between 0 and 255, the offline processing device can obtain the correction coefficient of each level by interpolation between each sampling point, and the interpolation algorithm can be adopted. Linear interpolation or other interpolation algorithms.
  • FIG. 11 and FIG. 12 only explain in detail the scheme for correcting a plurality of cameras, and the field The skilled person can also understand that the processing for correcting multiple image partitions in a single camera is similar, and will not be described here.
  • Step 603 Determine a color lookup table according to the color correction parameter, and perform correction processing on the video data according to the lookup table.
  • the universal line processing device can output one or more color lookup tables (Look Up Table, LUT) to the online processing device, which respectively records each image partition of the camera or The correspondence between the original level and the corrected level of each camera RGB 3 channels.
  • Table 1 is a color lookup table in the multi-camera image correction method of the present invention.
  • the very dark levels at the beginning are corrected to the black level values.
  • the offline processing device sends the lookup table to the online processing device, and the online processing device performs frame-by-frame luminance/color correction based on the lookup table.
  • the online processing device frame-by-frame correction process only needs to perform a table lookup operation according to the lookup table, and replace the original RGB value of each pixel with the corrected RGB value.
  • the camera can be geometrically corrected first, then the brightness color correction is performed.
  • This can be corrected by alternately using the schemes of the second embodiment and the third embodiment of the present invention.
  • the geometric correction can be performed by the method of the second embodiment, and then the brightness color correction is performed by the method of the third embodiment.
  • a relatively stable image source can be obtained by geometric correction, which is advantageous for the processing of the brightness color correction, and can avoid the change of the brightness or color of the corrected image edge caused by the rotation of the image during the geometric correction.
  • FIG. 13 is a schematic structural diagram of Embodiment 1 of a multi-camera image correcting device according to the present invention.
  • the device in this embodiment may include: an obtaining module 11 and a processing module 12, where the acquiring module 11 is configured to acquire each camera separately. The collected non-overlapping area or the overlapping area is smaller than the threshold independent image information; according to each independent image information, image correction parameters corresponding to each camera and capable of correcting adjacent independent images into continuous images are acquired; the processing module 12 is configured to The image correction parameter acquired by the ear block 11 is subjected to correction processing on the video data of the camera corresponding to the image correction parameter.
  • the obtaining module 11 may be an offline processing device, such as a CPU-based computer, and the processing module 12 may be an online processing device, such as a DSP, a PLD, an FPGA, or a GPU.
  • the device in this embodiment can perform the technical solution of the first embodiment of the method shown in FIG. 2, and the implementation principle and technical effects are similar, and details are not described herein again.
  • the obtaining module 11 specifically includes: a first acquiring unit.
  • the first acquisition unit 111 is configured to send an acquisition command to the image acquisition system of each camera, and receive independent image information collected and transmitted by the image acquisition system of each camera. Obtaining geometric correction parameters and/or color corrections corresponding to the respective cameras according to the independent image information received by the first obtaining unit 111
  • the processing unit 12 is specifically configured to perform correction processing on the video data of the corresponding camera according to the geometric correction parameter and/or the color correction parameter acquired by the second acquisition unit 112.
  • the second obtaining unit 112 is specifically configured to perform joint correction processing on each of the independent image information, and acquire each corrected image information corresponding to each independent image information and consecutive to the adjacent image, and according to Each of the corrected image information and the corresponding independent image information acquires each geometric correction parameter.
  • the device in this embodiment can perform the technical solution of the second embodiment of the method shown in FIG. 3, and the implementation principle and technical effects are similar, and details are not described herein again.
  • the first acquiring unit 111 is specifically configured to send an acquisition command of the template image to the image acquisition system of each camera, and receive template images of multiple exposure times collected and transmitted by each camera.
  • the second acquiring module 112 is configured to obtain, according to the template image information in the multiple exposure times, a grading of color component values of each image region adjacent to each camera at each exposure time; The gradation of the pixel color component values of each image area at each exposure time is interpolated to obtain a gradation curve of the pixel color component values of each camera at each exposure time; and the gradation curve according to the target curve and the pixel color component value is obtained.
  • Color brightness correction parameters of each camera or specifically, for acquiring color components of adjacent image regions between multiple image partitions in each camera at each exposure time according to template image information at the plurality of exposure times Grading of values; for each image area at each exposure time Color component values of hierarchical interpolation processing to acquire each image division classifier curve color component values in each exposure time; according to the hierarchical profile target curve and the color component values, acquires the color correction parameters of each camera within the portion of each image section.
  • the device in this embodiment can perform the technical solution of the third embodiment of the method shown in FIG. 6 in a corresponding manner, and the implementation principle and technical effects are similar, and details are not described herein again.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Description

多摄^ ^图^ jE方法和 i殳备 本申请要求于 2010 年 9 月 29 日提交中国专利局、 申请号为 201010500209. 6、发明名称为"多摄像机图像校正方法和设备"的中国专利申请 的优先权， 其全部内容通过引用结合在本申请中。
技术领域
本发明实施例涉及图像技术， 尤其涉及一种多摄像机图像校正方法和设 备。 背景技术
在远程会议系统中， 例如 Telepresence系统， 需要多台摄像机从多角度呈 现会场画面， 以使与会者能够感觉处于相同的会议地点， 从而确保不同会议 地点的感受一致性。
图 1为现有技术中会议室系统的布局示意图， 如图 1所示， 本系统可以 采用三台平板显示器 1、 2和 3 , 这三台显示器用于呈现接近真人大小尺寸的 高清画面。 三台显示器以折面的方式放置， 其中， 中间的显示器 2和两边的 显示器 1和 3紧靠在一起， 三台显示器的图像构成了会议室场景的一个完整 呈现。 在中间的显示器 2的位置， 设置有 3台高清摄像机 4、 5和 6。 这三台 摄像机以汇聚方式设置。 通过对三台摄像机的位置进行调节， 可以使每个摄 像机的拍摄范围正好覆盖会议桌的一个区域。 例如， 摄像机 4对应座位 14, 15的区域， 摄像机 5对应座位 16, 17的区域， 摄像机 6对应座位 18, 19的 区域， 因此， 三台摄像机采集的 3幅图像近似拼接成会议室场景的全景图像。 由此可知， 只有在每两台摄像机拍摄角相交的地方才能获得可以无缝拼接的 图像， 相交点之前的区域为摄像机无法拍到的缺失区域， 而相交点之后的区 域为重叠区域。 为了使三台摄像机拍摄的图像在几何位置上和颜色亮度上具 有一致， 需要对三台摄像机拍摄的图像进行几何校正和颜色校正。 对于有较 大重叠区域的情况来说， 现有技术可以在重叠区域放置模板或检测重叠区域 中已有特征物的几何特征点来进行图像的几何校正和颜色校正。 对于没有重 叠区域或者重叠区域很小的情况来说， 现有技术则只能采用手动方式调整摄 像机的机械位置和摄像机的亮度 /颜色参数来进行图像的几何校正和颜色校 正。 对于后者， 维护人员必须现场调整， 因此调整效率较低， 且很难保证几 何校正精度和颜色校正精度。 发明内容
本发明实施例提供一种多摄像机图像校正方法和设备。
本发明实施例提供一种多摄像机图像校正方法， 包括：
获取各摄像机分别采集的无重叠区域或者重叠区域小于阈值的独立图像 信息；
根据各独立图像信息， 获取与各摄像机分别对应的、 能够将相邻独立图 像校正成连续图像的图像校正参数；
根据所述图像校正参数， 对与该图像校正参数对应的摄像机的视频数据 进行校正处理。
本发明实施例提供一种多摄像机图像校正设备， 包括：
获取模块， 用于获取各摄像机分别采集的无重叠区域或者重叠区域小于 阈值的独立图像信息； 根据各独立图像信息， 获取与各摄像机分别对应的、 能够将相邻独立图像校正成连续图像的图像校正参数；
处理模块， 用于根据所述获取模块获取的图像校正参数， 对与该图像校 正参数对应的摄像机的视频数据进行校正处理。
本发明实施例中， 对于没有重叠区域或者重叠区域 4艮小的情况来说， 并 不需要采用手动方式调整摄像机的机械位置和调节摄像机的亮度 /颜色参数来 进行图像的几何校正和颜色校正， 而是通过图像数据采集和校正等图像处理 方法对摄像机拍摄的图像进行离线和在线处理。 因此， 本发明实施例节约了 维护人员的劳动力， 调整效率较高， 并且可以远程维护。 此外， 通过数据处 理方式对图像进行校正， 有效保证了对图像进行校正的精度。 附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案， 下面将对实 施例或现有技术描述中所需要使用的附图作一筒单地介绍， 显而易见地， 下 面描述中的附图是本发明的一些实施例， 对于本领域普通技术人员来讲， 在 不付出创造性劳动性的前提下， 还可以根据这些附图获得其他的附图。
图 1为现有技术中会议室系统的布局示意图；
图 为本发明多摄像机图像校正方法实施例一的流程图；
图 3为本发明多摄像机图像校正方法实施例二的流程图；
图 4为应用图 3所示方法实施例二进行图像校正之前的示意图； 图 5为应用图 3所示方法实施例二进行图像校正之后的示意图； 图 6为本发明多摄像机图像校正方法实施例三的流程图；
图 7为图 6所示方法实施例三中多个摄像机校正时的场景示意图； 图 8为图 6所示方法实施例三中单个摄像机内部校正时的场景示意图； 图 9为在图 8所示场景下单个摄像机内部的校正图像示意图；
图 10为在图 7所示场景下多个摄像机之间的校正图像示意图； 图 11为在图 7所示场景下多个摄像机之间校正的颜色分量值的分级曲线 和目标曲线的一种示意图；
图 12为在图 7所示场景下多个摄像机之间校正的颜色分量值的分级曲线 和目标曲线的另一种示意图；
图 13为本发明多摄像机图像校正设备实施例一的结构示意图； 图 14为本发明多摄像机图像校正设备实施例二的结构示意图。
具体实施方式
为使本发明实施例的目的、 技术方案和优点更加清楚， 下面将结合本发 明实施例中的附图， 对本发明实施例中的技术方案进行清楚、 完整地描述， 显然， 所描述的实施例是本发明一部分实施例， 而不是全部的实施例。 基于 本发明中的实施例， 本领域普通技术人员在没有作出创造性劳动前提下所获 得的所有其他实施例， 都属于本发明保护的范围。
图 2为本发明多摄像机图像校正方法实施例一的流程图， 如图 1所示， 对于没有重叠区域或者重叠区域很小的情况来说， 本实施例可以采用图像处 理设备对各摄像机拍摄的图像进行校正处理。 具体来说， 本实施例中的图像 处理设备可以包括在线处理设备和离线处理设备。 本实施例的方法可以包括： 步骤 201、获取各摄像机分别采集的无重叠区域或者重叠区域小于阈值的 独立图像信息。
具体来说， 离线处理设备可以向各摄像机的图像采集系统发送采集命令， 并接收各摄像机的图像采集系统采集并发送的独立图像信息， 从而获取各摄 像机分别采集的无重叠区域或者重叠区域小于阈值的独立图像信息。 因此， 各摄像机采集到的图像之间没有重叠或者存在小范围重叠。 本领域技术人员 可以根据需要设定上述重叠区域重叠范围的阈值， 例如该阈值可以取总区域 的水平分辨率的 5°/。_10%。
步骤 202、 根据所述独立图像信息， 获取与各摄像机分别对应的、 能够将 相邻独立图像校正成连续图像的图像校正参数。
一般来说， 图像校正处理可以包括图像的亮度颜色校正、 几何校正以及 后续的其它图像校正处理。 因此， 本实施例中的图像校正参数既可以是用于 对图像进行亮度颜色校正的颜色校正参数， 也可以是对图像进行几何校正的 几何校正参数， 还可以是其它图像校正参数， 本实施例并不限定。
在本实施例中， 离线处理设备可以根据各摄像机采集的独立图像信息， 获取与各摄像机分别对应的几何校正参数和 /或颜色校正参数， 获取的几何校 正参数可以将相邻独立图像校正成几何位置上连续的图像， 获取的颜色校正 参数可以将相邻独立图像校正成颜色亮度上连续的图像。
步骤 203、根据所述图像校正参数，对与该图像校正参数对应的摄像机的 视频数据进行校正处理。
在离线处理设备获取图像校正参数后， 在线处理设备即可根据图像校正 参数， 例如几何校正参数和 /或颜色校正参数， 对对应的摄像机的视频数据进 行逐帧实时处理。
需要说明的是， 本发明各实施例中的离线处理设备和在线处理设备， 都 只是示例而非限定。 在线处理设备的功能也可以通过离线处理设备来实现， 反之亦然。 本发明各实施例中对图像处理设备采用在线处理设备还是离线处 理设备， 是根据图像处理的实际要求的优化选择。 例如， 对于实时性要求较 高的图像处理环节， 优选的采用在线处理设备； 而对于实时性要求较低而质 量要求较高的图像处理环节， 优选的采用萬线处理设备。
由于在线处理部分算法相对筒单但对实时性要求很高， 因此在线处理设 备可以采用数字信号处理（Digital Signal Processing, 以下筒称： DSP), 可编程逻辑器件 ( Programable Logic Device, 以下筒称： PLD )、 现场可编 程门阵列 （Field Programable Gate Array, 以下筒称： FPGA )或图形处理 器（Graphic Processing Unit, 以下筒称： GPU) 等方式实现； 而离线部分 对实时性没有要求，但是算法复杂， 因此离线处理设备比较适合采用基于 CPU 的计算机进行实现。 在线处理设备和离线处理设备只是逻辑上的实体， 两者 可以在物理上分属不同的设备， 之间通过数据传输接口进行通信， 例如数据 传输接口可以采用以太网， USB等接口方式，传输协议可以采用文件传输协议 (File Transfer Protocol, 以下筒称： FTP)、 超文本传输协议（HyperText Transfer Protocol, 以下筒称： HTTP)、 自定义传输控制协议 /网间网协议 ( Transmission Control Protocol/Internet Protocol , 以下筒称： TCP/UDP ) 或是 USB协议等； 两者也可以位于同一物理设备中， 例如采用 PC作为在线处 理设备和离线处理设备， CPU作为离线设备计算参数， 采用 GPU作为在线处理 设备进行实时的图像处理。
本实施例中， 对于没有重叠区域或者重叠区域 4艮小的情况来说， 并不需 要采用手动方式调整摄像机的机械位置和调节摄像机的亮度 /颜色参数来进 行图像的几何校正和颜色校正， 而是通过图像数据采集和校正等图像处理方 法对摄像机拍摄的图像进行离线和在线处理。 因此， 本实施例节约了维护人 员的劳动力， 调整效率较高， 并且可以远程维护。 此外， 通过数据处理方式 对图像进行校正， 有效保证了对图像进行校正的精度。
下面分别针对几何校正和颜色校正的处理过程对本发明的技术方案进行 详细说明。
图 3为本发明多摄像机图像校正方法实施例二的流程图， 如图 3所示， 本实施例可以对多摄像机拍摄的图像进行几何校正处理， 本实施例的方法可 以包括：
步骤 301、 向各摄像机发送位置调节指令， 以使各摄像机之间相互对齐。 在 Te l epresence系统中， 几何校正处理过程用于解决多个摄像机图像在 几何位置上的拼接对齐问题， 保证多个摄像机图像在几何位置上的连续一致 性。
多摄像机的几何校正可以分为两个 P介段： 粗略校正 P介段和精确校正 P介段。 步骤 301 即为粗略校正阶段。 在步骤 301 中， 通过向多个摄像机发送调节指 令， 使得多个摄像机在垂直方向、 水平方向上的位置达到粗略对齐。 摄像机 的调节可以是对摄像机的定位螺丝或是云台等进行的全方位移动及镜头变 倍、 变焦控制。 在调节时， 可以先选择一个基准摄像机， 例如中间的摄像机， 调整基准摄像机使之达到理想效果， 然后再调节其余的摄像机， 使之与基准 摄像机近似对齐。
需要说明的是， 步骤 301 也可以省略。 例如通过固定摄像机的位置确定 摄像机之间的几何关系， 从而不需要进行摄像机的结构位置调节。 由于不能 进行摄像机位置调节， 因此要求固定摄像机机的位置精度在下一步精确校正 的可调范围内。
步骤 302、 向各摄像机的图像采集系统发送采集命令， 并接收各摄像机的 图像采集系统采集并发送的独立图像信息。
步骤 303、对各独立图像信息进行联合校正处理， 获取与各独立图像信息 分别对应且相邻图像连续的各校正图像信息， 并根据各校正图像信息和对应 的独立图像信息获取各几何校正参数。
所谓联合校正处理， 即为从各独立图像信息中选择一幅图像作为基准图 像信息， 并对该基准图像信息进行校正处理； 以该校正处理后的基准图像信 息为参考图像信息 , 对其余各独立图像信息进行校正处理。
在步骤 301进行粗略校正后， 步骤 302和步骤 303即为精确几何校正， 其通过图像变形的方法使多个摄像机的图像达到精确对齐。 几何变换操作包 括： 平移、 旋转、 缩放、 透视等。
举例来说， 离线处理设备可以命令各摄像机分别采集一帧图像， 每帧图 像对应于需要校正的一台摄像机。 图像采集命令可以通过网络发送， 并且通 过网络传输得到采集的独立图像信息。 离线处理设备可以根据采集的独立图 像信息进行联合校正处理。
在进行联合校正处理的具体操作时， 萬线处理设备可以选择一个摄像机 的图像作为基准， 先将基准图像校正好， 然后再对其它图像进行校正， 使其 它图像和基准图像对齐， 最后获得一个在视觉上连续一致的宽视角图像。
图 4为应用图 3所示方法实施例二进行图像校正之前的示意图， 图 5为 应用图 3所示方法实施例二进行图像校正之后的示意图， 如图 4和 5所示， 取中间的图像 lb为基准， 从中间图像的桌面边沿可以看出， 中间图像 lb存 在一个小角度的旋转， 导致整体图像倾斜， 因此离线处理设备可以做一个反 旋转使桌面边沿变为水平， 中间图像校正后的图像如 2b所示。 基准图像变换 完成后， 离线处理设备同样可以对左右图像 la和 l c进行变换， 通过旋转平 移等变换操作使变换后图像 2a和 2c中的桌面边沿与图像 2b的桌面边沿对齐 并且在几何上保持连续关系。
在实际校正过程中， 可以通过一些辅助手段协助离线处理设备更容易地 作出如何对图像进行调整的判断， 从而提高校正的速度和精度。 例如在拍摄 图像时可以在 Telepresence场景中放置一些模板， 如棋盘格， 使摄像机各拍 摄到该模板的一部分， 这样在进行图像对齐时可以将模板作为参照物。 另外 在实现几何校正时， 也可以提供一些测量功能用于衡量校正效果， 例如提供 距离检测功能用于测量多个图像中桌面边沿的对齐程度， 或是提供面积检测 功能测量相对每个摄像机都处于相同位置的一个物体在图像中的大小是否相 等， 用以检测摄像机的焦距设置是否相同等。
离线处理设备可以采用不同的校正参数对各摄像机的独立图像信息进行 校正， 例如旋转变换等， 直到达到满意程度为止， 然后离线处理设备即可得 到各独立图像信息的几何校正参数。 该几何校正参数即为用于在线处理设备 进行逐帧的图像变换所需的参数。
步骤 304、根据所述几何校正参数，对与该几何校正参数对应的摄像机的 视频数据进行校正处理。
在线处理设备在接收到几何校正参数后， 即可与该几何校正参数对应的 摄像机的视频数据进行校正处理。
为了更加清楚地说明联合校正处理的过程， 本实施例提供一种图像变换 的具体实现方式。
根据射影几何原理， 空间中的三维点投影到摄像机成像平面上的变换关 系为：
Figure imgf000010_0001
κ 0 fy v0
0 0 1 ( 2 ) 其中 为平面坐标的齐次表示； x为世界坐标系的齐次表示； 和 fy为水 平和垂直方向上的等效焦距； s为图像的畸变系数； u。，v。为图像主点坐标。 R 为摄像机的旋转矩阵， t为摄像机平移向量。 其中 K称为摄像机的内部参数， R和 t称为摄像机的外部参数。 对于两个摄像机拍摄的或一个摄像机在不同位 置拍摄的具有重叠区域的多个图像， 空间中某个平面上的点在两个图像上的 成像关系为：
Figure imgf000011_0001
其中 H为一个 3x3的矩阵， 自由度为 8 , 其代表了两个成像平面之间的变 换关系， 称之为单应性变换矩阵。 X为变换前图像坐标的齐次表示， x'为变换 后图像坐标的齐次表示。 对于接近纯旋转运动的摄像机系统或接近共光心摄 像机系统， H可以表示为：
H « Κ¾¾ XK 1 ( 4 ) 已知变换前和变换后图像上的一个点对坐标， 可以得到两个方程：
X, = hnx + h12y + h13 = h21x + h22y + h23
h31x + h32y + h33 h31x + h32y + h33 ( 5 ) 由于 H的自由度为 8 , 因此最少只要通过 4组点对建立 8个方程就可以求 出单应性矩阵 H。 对于手动校正的方法， 由用户至少选择变换前图像上的 4 个点的坐标， 以及该 4个点在变换后图像上的坐标。 根据这 4个点对的坐标 我们可以利用公式（ 5 )建立包括至少 8个方程的方程组， 求解出单应性矩阵 H。 在得到了单应性矩阵 H后， 我们可以对图像的坐标乘以 H进行透视变换， 使透视变换后的图像对齐。 需要注意的是， 透视变换只能保证图像中的一个 平面获得比较好的对齐效果， 如果图像中的景深范围比较大， 则无法在各个 景深上都进行对齐。在 Te l epresence系统中，由于观看者对人的位置最敏感， 因此我们只要保证垂直于桌面边沿， 人脸和身体所在的近似平面的拼接对齐 效果最佳即可。 另外， 人对跨屏幕的几何结构也比较敏感， 例如桌面边沿， 因此在图像校正时也要保证这些几何结构精确对齐。
由于求单应性矩阵 H比较复杂， 对于图像变化较小的情况， 也可以利用 仿射变换来模拟透视变换。 可以采用下面的变换公式：
x' = S[RIT]x ( 6 )
其中，
Figure imgf000012_0001
其中 S为一个图像缩放矩阵， sx为 X方向上的缩放因子， 为 Y方向上的 缩放因子， R为二维旋转矩阵， 为图像旋转角度， T为平移向量， 为 X方 向上的平移量， 为 Y方向上的平移量。 X为变换前图像坐标的齐次表示， χ' 为变换后图像坐标的齐次表示。
在线处理设备并不直接利用上述的变换参数进行图像变换， 而是利用离 线处理设备采用上述的参数计算出变换后图像每一像素点的坐标（x'， 在原 图像上对应点的坐标 (^， ， 根据差分值 (^- χ'， - 得到图像的变换映射表。 离线处理设备将图像变换映射表发送给在线处理设备， 在线处理设备根据图 像变换映射表执行逐像素映射， 插值得到变换后的图像。 插值方式可以采用 多种方式， 如双线性插值， 立方卷积插值等。 例如使用双线性插值方式， 插 值公式为：
I(i,j) I(i,j+1) 1-v
I(i + u, j +v) = [l-u u
I(i + l,j) I(i + l,j+l) v ( 7 )
其中 I为原始图像像素的 RGB值， i，j为整数像素坐标， u，v为小数像素坐 本实施例中， 对于没有重叠区域或者重叠区域 4艮小的情况来说， 并不需 要采用手动方式调整摄像机的机械位置来进行图像的几何校正， 而是通过图 像数据采集和校正等图像处理方法对摄像机拍摄的图像进行离线和在线处 理。 因此， 本实施例节约了维护人员的劳动力， 调整效率较高， 并且可以进 行远程维护。 此外， 通过数据处理方式对图像进行几何校正， 有效保证了对 图像进行校正的精度。 图 6为本发明多摄像机图像校正方法实施例三的流程图， 如图 6所示， 本实施例可以对多摄像机拍摄的图像进行颜色校正处理， 本实施例的方法可 以包括：
步骤 601、 向各摄像机的图像采集系统发送拍摄模板图像的采集命令， 并 接收各摄像机采集并发送的多个曝光时间下的模板图像信息。
在 Te l epresence系统中， 多摄像机的亮度颜色校正的主要目的是消除多 个摄像机图像在亮度颜色上的差异， 保证多个图像在亮度和颜色上的一致性。 传统的多摄像机亮度颜色校正方法都是针对最终的数字图像信号进行处理， 但多摄像机图像之间的亮度和颜色差异本质上是多摄像机的不同图像传感器 光学特性的差异和信号处理电路差异的混合， 很明显对于这种混合差异筒单 通过图像的处理是很难消除的。 此外， 目前不少使用高分辨率电荷耦合元件 ( Charge-coup l ed Dev i ce , 以下筒称： CCD )传感器的摄像机。 由于 CCD本 身的特性和制造工艺限制， 工作频率无法做得很高， 而又要输出高速大数据 量的视频流数据， 因此对单块 CCD采用了分区并行输出技术， 例如将一帧图 像的数据分为 2路或 4路并行输出， 每路输出采用单独的输出电路和模数转 换芯片。 由于 CCD输出电路和模数转换芯片及电路的差异， 导致了 CCD并行 输出的多路图像在分区间也存在微 d、差异， 即单个摄像机内部的差异。
因此， 在本实施例中， 离线处理设备可以对多个摄像机之间以及每个摄 像机内部的亮度颜色进行校正处理。
图 7为图 6所示方法实施例三中多个摄像机校正时的场景示意图，如图 7 所示， 其中 100和 101分别为待校正的摄像机。 200为校正模板， 其各有一部 分被摄像机 100和 1 01拍摄到。 校正模板 200可以是一个白板， 也可以是具 有多个灰度级别的模板。 图 8为图 6所示方法实施例三中单个摄像机内部校 正时的场景示意图， 如图 8所示， 校正模板完全处于摄像机 100的拍摄范围 内。 在拍摄时要求实验环境的光照均匀， 该要求可以采用亮度计在模板表面 进行测量来保证， 或是采用特殊的光照均勾的灯箱。 此外实验环境照明最好 采用直流灯具， 如果采用交流灯具， 则应该将摄像机采集频率和灯光频率进 行同步， 这样可以保证拍摄时不会产生闪烁现象。 实验时摄像机最好处于散 焦状态， 或是去掉镜头进行拍摄。 另外， 需要采集摄像机在全黑环境下的图 像， 从而得到摄像机图像传感器的 RGB分量的黑电平。
步骤 602、根据所述多个曝光时间下的模板图像信息， 获取与各摄像机分 别对应的颜色校正参数。
对于对每个摄像机内部各图像分区之间进行校正来说， 步骤 602 可以具 体为： 根据所述多个曝光时间下的模板图像信息， 获取每个摄像机内部多个 图像分区之间相邻的图像区域在各曝光时间下的颜色分量值的分级； 对每个 图像区域在各曝光时间下的颜色分量值的分级进行插值处理， 获取各图像分 区在各曝光时间下的颜色分量值的分级曲线； 根据目标曲线和颜色分量值的 分级曲线， 获取每个摄像机内部各图像分区的颜色校正参数。
对于对多个摄像机之间的相邻区域图像进行校正来说， 步骤 602 可以具 体为： 根据所述多个曝光时间下的模板图像信息， 获取各摄像机之间相邻的 每个图像区域在各曝光时间下的颜色分量值的分级； 对每个图像区域在各曝 光时间下的颜色分量值的分级进行插值处理， 获取各摄像机在各曝光时间下 的颜色分量值的分级曲线； 根据目标曲线和颜色分量值的分级曲线， 获取各 摄像机的颜色亮度校正参数。
图 9为在图 8所示场景下单个摄像机内部的校正图像示意图， 如图 9所 示， 以单摄像机 4 分区数据为例来说， 假设拍摄的是白色模板， 离线处理设 备可以命令每个摄像机拍摄获取不同曝光时间下的一组模板图像信息。 因为 摄像机的曝光时间不同， 因此拍摄得到的图像的亮度也随着曝光时间的变化 而变化。 对于很长的曝光时间， 会得到一个接近纯白的过度曝光的图像， 而 对于很短的曝光时间， 则会得到一个接近全黑的图像。
对于每个曝光时间的模板图像信息， 存在 4个图像分区 A、 B、 C、 D, 每 个图像分区的亮度颜色都会有差异。 而且由于图像传感器本身以及镜头等因 素的影响， 每个图像分区内部也是不均匀的。 为了使校正后各图像分区边界 处的差异最小，离线处理设备可以命令摄像机对图像分区边界临近的区域 Al、
A2、 Bl、 B2、 Cl、 C2、 Dl、 D2进行采样。 由于每个图像分区存在垂直边界和 水平边界， 因此在处理时需要兼顾垂直边界和水平边界的效果。 例如对于 A 分区， 选择矩形区域作为采样区域， 分别计算垂直和水平采样区域 A1 和 A2 的颜色分量值的均值， 然后再将 A1和 A2的均值取平均得到 A分区的 RGB值。
― c +C
A " ^ 2 ^ C G {R,G, B} 其中^和 A2分别为垂直区域和水平区域的采样像素 RGB值的均值， 为 计算得到 A分区校正前的 RGB值。对于 B、 C、 D分区也可以类似得到 、 和 。 这样就可以得到不同图像分区在不同曝光时间下的一系列的 RGB值。 由 于分区差异的存在， 不同图像分区在某一曝光时间下的 RGB值是不同的， 亮 度颜色校正的目的就是要使不同曝光时间下图像分区的校正后 RGB值都趋向 一致。
图 10为在图 7所示场景下多个摄像机之间的校正图像示意图， 如图 10 所示， 多个摄像机之间的颜色校正方法和单个摄像机内多个图像分区的颜色 校正方法是类似的， 不同的是在取采样数据时需要取摄像机图像的边缘数据， 然后可以将每个摄像机的数据当作一个图像分区的数据处理即可。 例如对于 两个摄像机的图像 A, B, 取采样矩形区域 A1和 B1 , 然后分别计算校正前 RGB 值。
需要注意的是， 如果离线处理设备既要进行单个摄像机内各图像分区的 颜色校正处理， 又要进行多个摄像机之间的颜色校正处理， 则应该先进行单 个摄像机内各图像分区的颜色校正处理， 在校正后的图像数据的基础上再进 行多个摄像机之间的颜色校正处理。
图 11为在图 7所示场景下多个摄像机之间校正的颜色分量值的分级曲线 和目标曲线的一种示意图， 如图 11所示， 通过上述的处理， 离线处理设备可 以获取不同曝光时间 E Ew , E 2 , Ew ... 下各图像的 RGB颜色分量分级 (Level ), 本实施例以绿色分量 G为例来说， 其分布曲线为 gA, GB , 其中 A 和 B是摄像机编号。 离线处理设备可以通过 和 GB计算得到一个目标曲线 GBASE, 也可以直接选择 GA或 GB作为目标曲线， 校正的目的就是使其它的曲线 尽量和 G 拟合。 图 11中的 ΔΙι即表示 GA相对于目标曲线 G 的偏差。对于计 算得到的目标曲线 , 中的每个点的值可以通过 GA和 GB对应点取均值 得到。
图 12为在图 7所示场景下多个摄像机之间校正的颜色分量值的分级曲线 和目标曲线的另一种示意图， 如图 12所示， 对于单个摄像机的多图像分区校 正， 离线处理设备也可以选择一个颜色分量， 例如 G分量的分布作为像素基 准分布曲线
Figure imgf000016_0001
, 可以为某一个摄像机的分布， 也可以采用上述计算目标 曲线 G ^的方法计算获取。 图 12中的横坐标和纵坐标均为 G分量的分级， 其 中横坐标为 G分量的基准分级 Level, 即 为 0_255中的各个取值， 纵坐标为 其它图像分区或摄像机的 G分量的分级， 由此可以绘出不同分区或是不同摄 像机的 G分量分级的分布曲线 GA, GB , 而 GBASE则表示为 45度对角线。 因此对于 A来说，曲线 GA在每个曝光时间点上的 G分量和 G 的差值 ΔΙι , ΔΙ^' , ALi+2 ? ΔΙ^'…即是需要校正的差异。 GA曲线中某一点校正后的值 6^可 以表示为 G^=k , 在理想条件下， G^ =GB 因为 和 是已知的， 因此 可以计算出颜色校正参数 ^。由于实验采集的点是有限的，无法覆盖到 0~255 之间的每个级别， 因此离线处理设备可以在每个采样点之间通过插值来得到 每个级别的校正系数 ^ , 插值算法可以采用线性插值或是其它的插值算法。
需要说明的是， 上述内容仅针对 G分量进行说明， 本领域技术人员可以 理解的是， 对于 R分量和 B分量也可以采用上述相同的方法进行处理。 另外， 上述图 11和图 12仅针对多个摄像机进行校正的方案进行详细说明， 本领域 技术人员同样可以理解的是， 针对单个摄像机内多个图像分区进行校正的处 理也是类似， 此处不再赘述。
步骤 603、根据所述颜色校正参数确定颜色查找表， 并根据所述查找表对 所述视频数据进行校正处理。
离线部分的校正算法完成之后， 萬线处理设备可以输出一个或多个颜色 查找表 ( Look Up Tab l e , 以下筒称： LUT )给在线处理设备， 该查找表分别 记录了摄像机每个图像分区或每个摄像机 RGB 3个通道的原始的级别和校正后 级别的对应关系。 表 1为本发明多摄像机图像校正方法中的一种颜色查找表。
表 1 :
Figure imgf000017_0001
在表 1 中， 开始的很暗的级别都校正到黑电平的值。 离线处理设备将查 找表发送给在线处理设备， 在线处理设备根据查找表进行逐帧的亮度 /颜色校 正。 在线处理设备逐帧校正处理过程只需要根据查找表进行查表操作， 将每 个像素原始的 RGB值替换为校正后的 RGB值即可。
本实施例中， 对于没有重叠区域或者重叠区域 4艮小的情况来说， 并不需 要采用手动方式调整摄像机的机械位置和摄像机的亮度 /颜色参数来进行图 像的颜色校正， 而是通过图像数据采集和校正等图像处理方法对摄像机拍摄 的图像进行离线和在线处理。 因此， 本实施例节约了维护人员的劳动力， 调 整效率较高， 而且可以远程维护此外， 通过数据处理方式对图像进行颜色校 正， 有效保证了对图像进行校正的精度。
可以理解的， 对于图像的处理也可以先对摄像机进行几何校正， 然后进 行亮度颜色校正等。 这样可以交替使用本发明实施例二和实施例三的方案进 行校正。 优选的， 可以先采用实施例二的方法进行几何校正， 然后采用实施 例三的方法进行亮度颜色校正。 这样可以先通过几何校正获得比较稳定的图 像源， 有利于亮度颜色校正的处理， 并且能够避免在几何校正时对图像的旋 转等操作而造成的对校正好的图像边缘亮度或颜色的改变。
图 1 3 为本发明多摄像机图像校正设备实施例一的结构示意图， 如图 1 3 所示， 本实施例的设备可以包括： 获取模块 11和处理模块 12 , 获取模块 11 用于获取各摄像机分别采集的无重叠区域或者重叠区域小于阈值的独立图像 信息； 根据各独立图像信息， 获取与各摄像机分别对应的、 能够将相邻独立 图像校正成连续图像的图像校正参数； 处理模块 12用于根据获耳 ^莫块 11获 取的所述图像校正参数， 对与该图像校正参数对应的摄像机的视频数据进行 校正处理。
本实施例中， 获取模块 11可以为离线处理设备， 例如基于 CPU的计算机 等， 而处理模块 12可以为在线处理设备， 例如采用 DSP , PLD、 FPGA或 GPU 等方式实现。 本实施例的设备可以对应地执行图 2 所示方法实施例一的技术 方案， 其实现原理和技术效果类似， 此处不再赘述。
图 14 为本发明多摄像机图像校正设备实施例二的结构示意图， 如图 14 所示， 本实施例在图 1 3所述设备的基础上， 进一步地， 获取模块 11具体包 括： 第一获取单元 111和第二获取单元 112 , 其中， 第一获取单元 111用于向 各摄像机的图像采集系统发送采集命令， 并接收各摄像机的图像采集系统采 集并发送的独立图像信息； 第二获取单元 112用于根据第一获取单元 111接 收的独立图像信息， 获取与各摄像机分别对应的几何校正参数和 /或颜色校正 参数； 处理单元 12具体用于根据第二获取单元 112获取的几何校正参数和 / 或颜色校正参数， 对对应的摄像机的视频数据进行校正处理。
对于对图像进行几何校正的情况来说， 第二获取单元 112 具体用于对各 独立图像信息进行联合校正处理， 获取与各独立图像信息分别对应且相邻图 像连续的各校正图像信息 , 并根据各校正图像信息和对应的独立图像信息获 取各几何校正参数。
在这种情况下， 本实施例的设备可以对应地执行图 3 所示方法实施例二 的技术方案， 其实现原理和技术效果类似， 此处不再赘述。
对于对图像进行颜色校正的情况来说， 第一获取单元 111 具体用于向各 摄像机的图像采集系统发送拍摄模板图像的采集命令， 并接收各摄像机采集 并发送的多个曝光时间下的模板图像信息； 所述第二获取模块 112 具体用于 根据所述多个曝光时间下的模板图像信息， 获取各摄像机之间相邻的每个图 像区域在各曝光时间下的颜色分量值的分级； 对每个图像区域在各曝光时间 下的像素颜色分量值的分级进行插值处理， 获取各摄像机在各曝光时间下的 像素颜色分量值的分级曲线； 根据目标曲线和像素颜色分量值的分级曲线， 获取各摄像机的颜色亮度校正参数； 或者， 具体用于根据所述多个曝光时间 下的模板图像信息， 获取每个摄像机内部多个图像分区之间相邻的图像区域 在各曝光时间下的颜色分量值的分级； 对每个图像区域在各曝光时间下的颜 色分量值的分级进行插值处理， 获取各图像分区在各曝光时间下的颜色分量 值的分级曲线； 根据目标曲线和颜色分量值的分级曲线， 获取每个摄像机内 部各图像分区的颜色校正参数。
在这种情况下， 本实施例的设备可以对应地执行图 6 所示方法实施例三 的技术方案， 其实现原理和技术效果类似， 此处不再赘述。
本领域普通技术人员可以理解： 实现上述方法实施例的全部或部分步骤 可以通过程序指令相关的硬件来完成， 前述的程序可以存储于一计算机可读 取存储介质中， 该程序在执行时， 执行包括上述方法实施例的步骤； 而前述 的存储介质包括： R0M、 RAM, 磁碟或者光盘等各种可以存储程序代码的介质。 最后应说明的是： 以上实施例仅用以说明本发明的技术方案， 而非对其 限制； 尽管参照前述实施例对本发明进行了详细的说明， 本领域的普通技术 人员应当理解： 其依然可以对前述各实施例所记载的技术方案进行修改， 或 者对其中部分技术特征进行等同替换； 而这些修改或者替换， 并不使相应技 术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

权利要求书
1、 一种多摄像机图像校正方法， 其特征在于， 包括：
获取各摄像机分别采集的无重叠区域或者重叠区域小于阈值的独立图像信 息；
根据各独立图像信息， 获取与各摄像机分别对应的、 能够将相邻独立图像 校正成连续图像的图像校正参数；
根据所述图像校正参数， 对与该图像校正参数对应的摄像机的视频数据进 行校正处理。
2、 根据权利要求 1所述的方法， 其特征在于， 所述获取无重叠区域的各摄 像机分别采集的独立图像信息， 包括：
向各摄像机的图像采集系统发送采集命令， 并接收各摄像机的图像采集系 统采集并发送的独立图像信息；
所述根据所述独立图像信息， 获取与各摄像机分别对应的图像校正参数， 包括：
根据所述独立图像信息， 获取与各摄像机分别对应的几何校正参数和 /或颜 色校正参数；
所述根据所述图像校正参数， 对与该图像校正参数对应的摄像机的视频数 据进行校正处理， 包括：
根据所述几何校正参数和 /或颜色校正参数， 对对应的摄像机的视频数据进 行校正处理。
3、 根据权利要求 2所述的方法， 其特征在于， 根据所述独立图像信息， 获 取与各摄像机分别对应的几何校正参数， 包括：
对各独立图像信息进行联合校正处理， 获取与各独立图像信息分别对应且 相邻图像连续的各校正图像信息， 并根据各校正图像信息和对应的独立图像信 息获取各几何校正参数。
4、 根据权利要求 3所述的方法， 其特征在于， 所述对各独立图像信息进行 联合校正处理， 包括：
从各独立图像信息中选择一幅图像作为基准图像信息， 并对该基准图像信 息进行校正处理；
以该校正处理后的基准图像信息为参考图像信息， 对其余各独立图像信息 进行校正处理。
5、 根据权利要求 4所述的方法， 其特征在于， 所述向各摄像机的图像采集 系统发送采集命令之前， 还包括：
向各摄像机发送位置调节指令， 以使各摄像机之间相互对齐。
6、 根据权利要求 2所述的方法， 其特征在于， 向各摄像机的图像采集系统 发送采集命令， 并接收各摄像机的图像采集系统采集并发送的独立图像信息， 包括：
向各摄像机的图像采集系统发送拍摄模板图像的采集命令， 并接收各摄像 机采集并发送的多个曝光时间下的模板图像信息；
根据所述独立图像信息， 获取与各摄像机分别对应的颜色校正参数， 包括： 根据所述多个曝光时间下的模板图像信息， 获取与各摄像机分别对应的颜 色校正参数。
7、 根据权利要求 6所述的方法， 其特征在于， 所述根据所述多个曝光时间 下的模板图像信息， 获取与各摄像机分别对应的颜色校正参数， 包括：
根据所述多个曝光时间下的模板图像信息， 获取各摄像机之间相邻的每个 图像区域在各曝光时间下的颜色分量值的分级；
对每个图像区域在各曝光时间下的像素颜色分量值的分级进行插值处理， 获取各摄像机在各曝光时间下的像素颜色分量值的分级曲线；
根据目标曲线和像素颜色分量值的分级曲线， 获取各摄像机的颜色亮度校 正参数。
8、 根据权利要求 6所述的方法， 其特征在于， 所述根据所述多个曝光时间 下的模板图像信息， 获取与各摄像机分别对应的颜色校正参数， 包括：
根据所述多个曝光时间下的模板图像信息， 获取每个摄像机内部多个图像 分区之间相邻的图像区域在各曝光时间下的颜色分量值的分级；
对每个图像区域在各曝光时间下的颜色分量值的分级进行插值处理， 获取 各图像分区在各曝光时间下的颜色分量值的分级曲线；
根据目标曲线和颜色分量值的分级曲线， 获取每个摄像机内部各图像分区 的颜色校正参数。
9、 根据权利要求 7或 8所述的方法， 其特征在于， 所述目标曲线包括： 所述颜色分量值的分级曲线中的任一条曲线、 所述颜色分量值的分级曲线 的平均曲线或者像素基准分布曲线。
10、 根据权利要求 6~8 中任一项所述的方法， 其特征在于， 根据所述颜色 校正参数， 对对应的摄像机的视频数据进行校正处理， 包括：
根据所述颜色校正参数确定颜色查找表， 并根据所述颜色查找表对所述视 频数据进行校正处理。
11、 一种多摄像机图像校正设备， 其特征在于， 包括：
获取模块， 用于获取各摄像机分别采集的无重叠区域或者重叠区域小于阈 值的独立图像信息； 根据各独立图像信息， 获取与各摄像机分别对应的、 能够 将相邻独立图像校正成连续图像的图像校正参数；
处理模块， 用于根据所述获取模块获取的图像校正参数， 对与该图像校正 参数对应的摄像机的视频数据进行校正处理。
12、 根据权利要求 11所述的设备， 其特征在于， 所述获取模块包括： 第一获取单元， 用于向各摄像机的图像采集系统发送采集命令， 并接收各 摄像机的图像采集系统采集并发送的独立图像信息；
第二获取单元， 用于根据所述第一获取单元接收的独立图像信息， 获取与 所述处理单元具体用于根据所述第二获取单元获取的几何校正参数和 /或颜 色校正参数， 对对应的摄像机的视频数据进行校正处理。
13、 根据权利要求 12所述的设备， 其特征在于， 所述第二获取单元具体用 于对各独立图像信息进行联合校正处理， 获取与各独立图像信息分别对应且相 邻图像连续的各校正图像信息， 并根据各校正图像信息和对应的独立图像信息 获取各几何校正参数。
14、 根据权利要求 12所述的设备， 其特征在于， 所述第一获取单元具体用 于向各摄像机的图像采集系统发送拍摄模板图像的采集命令， 并接收各摄像机 采集并发送的多个曝光时间下的模板图像信息；
所述第二获取模块具体用于根据所述多个曝光时间下的模板图像信息， 获 取各摄像机之间相邻的每个图像区域在各曝光时间下的颜色分量值的分级； 对 每个图像区域在各曝光时间下的像素颜色分量值的分级进行插值处理， 获取各 摄像机在各曝光时间下的像素颜色分量值的分级曲线； 根据目标曲线和像素颜 色分量值的分级曲线， 获取各摄像机的颜色亮度校正参数； 或者， 具体用于根 据所述多个曝光时间下的模板图像信息， 获取每个摄像机内部多个图像分区之 间相邻的图像区域在各曝光时间下的颜色分量值的分级； 对每个图像区域在各 曝光时间下的颜色分量值的分级进行插值处理， 获取各图像分区在各曝光时间 下的颜色分量值的分级曲线； 根据目标曲线和颜色分量值的分级曲线， 获取每 个摄像机内部各图像分区的颜色校正参数。
PCT/CN2011/080218 2010-09-29 2011-09-27 多摄像机图像校正方法和设备 Ceased WO2012041217A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP11828113.8A EP2571261B1 (en) 2010-09-29 2011-09-27 Method and device for multi-camera image calibration
US13/728,380 US9172871B2 (en) 2010-09-29 2012-12-27 Method and device for multi-camera image correction

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201010500209.6 2010-09-29
CN201010500209.6A CN102438153B (zh) 2010-09-29 2010-09-29 多摄像机图像校正方法和设备

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/728,380 Continuation US9172871B2 (en) 2010-09-29 2012-12-27 Method and device for multi-camera image correction

Publications (1)

Publication Number Publication Date
WO2012041217A1 true WO2012041217A1 (zh) 2012-04-05

Family

ID=45891955

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2011/080218 Ceased WO2012041217A1 (zh) 2010-09-29 2011-09-27 多摄像机图像校正方法和设备

Country Status (4)

Country Link
US (1) US9172871B2 (zh)
EP (1) EP2571261B1 (zh)
CN (1) CN102438153B (zh)
WO (1) WO2012041217A1 (zh)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103096018B (zh) 2011-11-08 2016-11-23 华为技术有限公司 传输信息的方法和终端
IL216515A (en) * 2011-11-22 2015-02-26 Israel Aerospace Ind Ltd A system and method for processing images from a camera set
CN102868859B (zh) * 2012-08-21 2015-11-18 中兴通讯股份有限公司 多个终端组网实现媒体拍摄的方法、系统、以及终端
CN103927728B (zh) * 2013-01-10 2016-12-28 联想(北京)有限公司 一种图像的处理方法和装置
US9282326B2 (en) 2013-10-28 2016-03-08 The Regents Of The University Of Michigan Interactive camera calibration tool
CN103685951A (zh) * 2013-12-06 2014-03-26 华为终端有限公司 一种图像处理方法、装置及终端
CN105225220B (zh) * 2014-06-27 2019-11-26 联想(北京)有限公司 一种确定电子设备间位置关系的方法及一种电子设备
US9596459B2 (en) * 2014-09-05 2017-03-14 Intel Corporation Multi-target camera calibration
CN104410768B (zh) * 2014-11-12 2018-08-10 广州三星通信技术研究有限公司 信息传输方法和装置
CN106034202B (zh) * 2015-03-10 2019-08-02 杭州海康威视数字技术股份有限公司 视频拼接摄像头的调整方法及其装置
CN105187708A (zh) * 2015-07-22 2015-12-23 北京元心科技有限公司 拍摄全景图的方法以及系统
CN105554449B (zh) * 2015-12-11 2018-04-27 浙江宇视科技有限公司 一种用于快速拼接摄像机图像的方法及装置
CN112954295B (zh) * 2016-09-01 2023-08-04 松下知识产权经营株式会社 多视点摄像系统、三维空间重构系统及三维空间识别系统
CN106412461B (zh) * 2016-09-14 2019-07-23 豪威科技(上海)有限公司 视频拼接方法
EP3382646A1 (en) 2017-03-29 2018-10-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus for providing calibration data, camera system and method for obtaining calibration data
TWI627603B (zh) * 2017-05-08 2018-06-21 偉詮電子股份有限公司 影像視角轉換方法及其系統
CN108259877B (zh) * 2018-03-07 2019-09-17 浙江大华技术股份有限公司 一种白平衡处理方法及装置
WO2019209067A1 (ko) * 2018-04-26 2019-10-31 주식회사 텐앤투 광각 영상 제공 시스템
CN108696748A (zh) * 2018-06-29 2018-10-23 上海与德科技有限公司 一种基于多摄像头模组的调测方法、系统及服务器
CN109040643B (zh) * 2018-07-18 2021-04-20 奇酷互联网络科技（深圳）有限公司 移动终端及远程合影的方法、装置
CN109089103A (zh) * 2018-10-24 2018-12-25 长沙智能驾驶研究院有限公司 双目相机姿态调整方法以及装置、计算机设备和存储介质
CN109474809B (zh) * 2018-11-07 2021-06-11 深圳六滴科技有限公司 色差校正方法、装置、系统、全景相机和存储介质
JP7383255B2 (ja) * 2019-08-22 2023-11-20 ナブテスコ株式会社 情報処理システム、情報処理方法、建設機械
CN110796136B (zh) * 2019-10-09 2023-06-27 陈浩能 标志与图像处理方法及相关装置
CN111726600A (zh) * 2020-06-30 2020-09-29 深圳市精锋医疗科技有限公司 立体内窥镜的图像处理方法、装置、存储介质
CN111787232B (zh) * 2020-08-03 2022-05-17 海能达通信股份有限公司 基于云台摄像机的图像处理方法、设备及存储介质
US11665330B2 (en) 2021-01-27 2023-05-30 Dell Products L.P. Dynamic-baseline imaging array with real-time spatial data capture and fusion
CN112634337B (zh) * 2021-03-11 2021-06-15 展讯通信（上海）有限公司 一种图像处理方法及装置
CN113099206A (zh) * 2021-04-01 2021-07-09 苏州科达科技股份有限公司 图像处理方法、装置、设备及存储介质
WO2024201278A1 (en) * 2023-03-28 2024-10-03 Alcon Inc. Correcting images for an ophthalmic imaging system
TWI902017B (zh) * 2023-09-25 2025-10-21 方舟智慧股份有限公司 矩陣式三維掃描定位系統及其取像方法
CN119071633B (zh) * 2023-09-28 2025-06-13 上海荣耀智慧科技开发有限公司 图像处理方法、电子设备和计算机可读存储介质
US20260017823A1 (en) * 2024-07-11 2026-01-15 Novatek Microelectronics Corp. Image calibration system and image calibration method for calibrating image capturing device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060209194A1 (en) * 2002-09-30 2006-09-21 Microsoft Corporation Foveated wide-angle imaging system and method for capturing and viewing wide-angle images in real time
CN101146231A (zh) * 2007-07-03 2008-03-19 浙江大学 根据多视角视频流生成全景视频的方法
CN101404725A (zh) * 2008-11-24 2009-04-08 深圳华为通信技术有限公司 摄像机、摄像机组、摄像机组的控制方法、装置及系统
WO2010074582A1 (en) * 2008-12-23 2010-07-01 Tandberg Telecom As Method, device and a computer program for processing images in a conference between a plurality of video conferencing terminals

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4463380A (en) * 1981-09-25 1984-07-31 Vought Corporation Image processing system
EP0427436B1 (en) * 1989-11-09 1996-12-27 Ikegami Tsushinki Co., Ltd. Registration and contour correction circuit and method for solid-state camera
US5187571A (en) * 1991-02-01 1993-02-16 Bell Communications Research, Inc. Television system for displaying multiple views of a remote location
US6205259B1 (en) * 1992-04-09 2001-03-20 Olympus Optical Co., Ltd. Image processing apparatus
US5311305A (en) * 1992-06-30 1994-05-10 At&T Bell Laboratories Technique for edge/corner detection/tracking in image frames
US5703961A (en) * 1994-12-29 1997-12-30 Worldscape L.L.C. Image transformation and synthesis methods
US6806903B1 (en) * 1997-01-27 2004-10-19 Minolta Co., Ltd. Image capturing apparatus having a γ-characteristic corrector and/or image geometric distortion correction
US6603885B1 (en) * 1998-04-30 2003-08-05 Fuji Photo Film Co., Ltd. Image processing method and apparatus
JP3745117B2 (ja) * 1998-05-08 2006-02-15 キヤノン株式会社 画像処理装置及び画像処理方法
US6340994B1 (en) * 1998-08-12 2002-01-22 Pixonics, Llc System and method for using temporal gamma and reverse super-resolution to process images for use in digital display systems
US6456340B1 (en) * 1998-08-12 2002-09-24 Pixonics, Llc Apparatus and method for performing image transforms in a digital display system
US6157396A (en) * 1999-02-16 2000-12-05 Pixonics Llc System and method for using bitstream information to process images for use in digital display systems
US7015954B1 (en) * 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
AU2001239926A1 (en) * 2000-02-25 2001-09-03 The Research Foundation Of State University Of New York Apparatus and method for volume processing and rendering
AU2001243648A1 (en) * 2000-03-14 2001-09-24 Joseph Robert Marchese Digital video system using networked cameras
US20020168091A1 (en) * 2001-05-11 2002-11-14 Miroslav Trajkovic Motion detection via image alignment
US6999613B2 (en) * 2001-12-28 2006-02-14 Koninklijke Philips Electronics N.V. Video monitoring and surveillance systems capable of handling asynchronously multiplexed video
US7215364B2 (en) * 2002-04-10 2007-05-08 Panx Imaging, Inc. Digital imaging system using overlapping images to formulate a seamless composite image and implemented using either a digital imaging sensor array
US7149367B2 (en) * 2002-06-28 2006-12-12 Microsoft Corp. User interface for a system and method for head size equalization in 360 degree panoramic images
JP4115220B2 (ja) 2002-09-19 2008-07-09 キヤノン株式会社 撮像装置
US20040210754A1 (en) * 2003-04-16 2004-10-21 Barron Dwight L. Shared security transform device, system and methods
US7680192B2 (en) * 2003-07-14 2010-03-16 Arecont Vision, Llc. Multi-sensor panoramic network camera
JP2005141527A (ja) * 2003-11-07 2005-06-02 Sony Corp 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
US7697026B2 (en) * 2004-03-16 2010-04-13 3Vr Security, Inc. Pipeline architecture for analyzing multiple video streams
US7576767B2 (en) * 2004-07-26 2009-08-18 Geo Semiconductors Inc. Panoramic vision system and method
EP1812968B1 (en) * 2004-08-25 2019-01-16 Callahan Cellular L.L.C. Apparatus for multiple camera devices and method of operating same
EP1850595B1 (en) * 2005-02-15 2016-07-13 Panasonic Intellectual Property Management Co., Ltd. Periphery supervising device, and periphery supervising method
JP4763469B2 (ja) 2005-03-07 2011-08-31 富士フイルム株式会社 固体撮像装置および画像入力装置、ならびにその画像補正方法
JP4468276B2 (ja) 2005-09-30 2010-05-26 富士フイルム株式会社 ディジタルカメラ
US7881563B2 (en) * 2006-02-15 2011-02-01 Nokia Corporation Distortion correction of images using hybrid interpolation technique
TW200740212A (en) * 2006-04-10 2007-10-16 Sony Taiwan Ltd A stitching accuracy improvement method with lens distortion correction
US8019180B2 (en) * 2006-10-31 2011-09-13 Hewlett-Packard Development Company, L.P. Constructing arbitrary-plane and multi-arbitrary-plane mosaic composite images from a multi-imager
CN101267494A (zh) * 2007-03-16 2008-09-17 群康科技(深圳)有限公司 数字影像装置颜色校正表生成方法和复合色测量分离方法
US7961936B2 (en) * 2007-03-30 2011-06-14 Intel Corporation Non-overlap region based automatic global alignment for ring camera image mosaic
US8253770B2 (en) * 2007-05-31 2012-08-28 Eastman Kodak Company Residential video communication system
US8233077B2 (en) * 2007-12-27 2012-07-31 Qualcomm Incorporated Method and apparatus with depth map generation
US8724013B2 (en) * 2007-12-27 2014-05-13 Qualcomm Incorporated Method and apparatus with fast camera auto focus
US8355042B2 (en) * 2008-10-16 2013-01-15 Spatial Cam Llc Controller in a camera for creating a panoramic image
JP4656216B2 (ja) * 2008-09-04 2011-03-23 ソニー株式会社 撮像装置、画像処理装置、画像処理方法、プログラム及び記録媒体
CN101820550B (zh) * 2009-02-26 2011-11-23 华为终端有限公司 多视点视频图像校正方法、装置及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060209194A1 (en) * 2002-09-30 2006-09-21 Microsoft Corporation Foveated wide-angle imaging system and method for capturing and viewing wide-angle images in real time
CN101146231A (zh) * 2007-07-03 2008-03-19 浙江大学 根据多视角视频流生成全景视频的方法
CN101404725A (zh) * 2008-11-24 2009-04-08 深圳华为通信技术有限公司 摄像机、摄像机组、摄像机组的控制方法、装置及系统
WO2010074582A1 (en) * 2008-12-23 2010-07-01 Tandberg Telecom As Method, device and a computer program for processing images in a conference between a plurality of video conferencing terminals

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2571261A4 *

Also Published As

Publication number Publication date
CN102438153B (zh) 2015-11-25
US20130113876A1 (en) 2013-05-09
EP2571261B1 (en) 2016-03-30
US9172871B2 (en) 2015-10-27
EP2571261A4 (en) 2013-08-28
CN102438153A (zh) 2012-05-02
EP2571261A1 (en) 2013-03-20

Similar Documents

Publication Publication Date Title
WO2012041217A1 (zh) 多摄像机图像校正方法和设备
JP4828779B2 (ja) 高速デジタルパンチルトズームビデオ
CN103763479B (zh) 实时高速高清全景视频的拼接装置及其方法
KR102328020B1 (ko) 하나의 룩업 테이블을 이용한 파노라마 영상 출력 시스템 및 방법
EP2059046B1 (en) Method and system for combining videos for display in real-time
CN105447850B (zh) 一种基于多视点图像的全景图拼接合成方法
JP5596972B2 (ja) 撮像装置の制御装置および制御方法
JP5224721B2 (ja) 映像投影システム
CN105308503A (zh) 利用短程相机校准显示系统的系统和方法
WO2012163259A1 (zh) 视频会议系统调整的方法及装置
CN107925751A (zh) 用于多视点降噪和高动态范围的系统和方法
TW201830333A (zh) 具接合功能的全景影像產生方法及裝置
WO2014036741A1 (zh) 图像处理方法和图像处理设备
JP2004109246A (ja) 投影システム
KR20140090775A (ko) 어안 렌즈를 사용하여 얻은 왜곡영상에 대한 보정방법 및 이를 구현하기 위한 영상 디스플레이 시스템
JP2004015205A (ja) マルチプロジェクションシステム及びマルチプロジェクションシステムにおける補正データ取得方法
JP4914171B2 (ja) 撮像装置の制御方法及びカメラシステム
Liu et al. Head-size equalization for better visual perception of video conferencing
JP2012222669A (ja) 画像処理装置およびその方法
KR101725024B1 (ko) 룩업테이블 기반의 실시간 360도 vr 동영상 제작 시스템 및 이를 이용한 360도 vr 동영상 제작 방법
CN115776558B (zh) 偏色校正方法、装置、设备、系统和可读存储介质
KR101704362B1 (ko) 룩업테이블 기반의 실시간 파노라마 영상 제작 시스템 및 이를 이용한 실시간 파노라마 영상 제작 방법
CN106067937A (zh) 镜头模块阵列、图像感测装置与数字缩放图像融合方法
US8019180B2 (en) Constructing arbitrary-plane and multi-arbitrary-plane mosaic composite images from a multi-imager
US8149260B2 (en) Methods and systems for producing seamless composite images without requiring overlap of source images

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11828113

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2011828113

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE