WO2012090434A1 - 映像信号処理装置及び映像信号処理方法 - Google Patents

映像信号処理装置及び映像信号処理方法 Download PDF

Info

Publication number
WO2012090434A1
WO2012090434A1 PCT/JP2011/007107 JP2011007107W WO2012090434A1 WO 2012090434 A1 WO2012090434 A1 WO 2012090434A1 JP 2011007107 W JP2011007107 W JP 2011007107W WO 2012090434 A1 WO2012090434 A1 WO 2012090434A1
Authority
WO
WIPO (PCT)
Prior art keywords
cut
image
distortion correction
coordinate conversion
conversion formula
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2011/007107
Other languages
English (en)
French (fr)
Inventor
親和 王
憲治 田部井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to US13/992,807 priority Critical patent/US9609181B2/en
Priority to EP11852336.4A priority patent/EP2661071B1/en
Publication of WO2012090434A1 publication Critical patent/WO2012090434A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/407—Control or modification of tonal gradation or of extreme levels, e.g. background level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Definitions

  • the present invention particularly relates to a technique for performing super-resolution processing on a captured image with nonlinear distortion captured by a camera having a special optical system such as an all-around camera.
  • Fig. 1 shows an image of super-resolution technology using a plurality of captured images.
  • a super-resolution image is formed by synthesizing a plurality of (N) low-resolution images. Specifically, first, alignment with subpixel (smaller than one pixel size) accuracy is performed on a plurality of low-resolution images of the same subject imaged by the camera. Next, a plurality of images after alignment are synthesized. Thus, the resolution of the synthesized image (super-resolution image) is improved by increasing the number of spatial sampling points and increasing the sampling frequency.
  • this alignment is performed by performing linear transformation such as translation, enlargement / reduction, inversion, rotation, and tilt between frames as shown in FIG. realizable.
  • the camera optical system is a special projection method (for example, an ultra-wide-angle lens, fisheye lens, all-around mirror, etc.), nonlinear distortion occurs in the captured image, so alignment by linear transformation alone is difficult. It is.
  • the distortion correction usually involves an interpolation process, and the aliasing high-frequency component included in the original image is lost due to the influence of the interpolation process, so that the super-resolution effect is reduced.
  • the pixel position of the image after distortion correction differs in units of subpixels. Therefore, in order to perform high-precision alignment by matching, the corresponding pixel Interpolation processing is required to generate Therefore, in this case as well, the aliasing high-frequency component included in the original image is lost, so that the super-resolution effect is reduced.
  • An object of the present invention is to provide a video signal processing device and a video signal processing method.
  • One aspect of the video signal processing apparatus of the present invention is a video signal processing apparatus that obtains a super-resolution image by using a plurality of frame images having different nonlinear distortions depending on a cut-out position, and includes a cut-out area of each frame image.
  • a first coordinate conversion equation calculation unit that obtains a first coordinate conversion equation for correcting nonlinear distortion for each frame; and the first coordinate conversion corresponding to each cutout region with respect to each cutout region.
  • the distortion correction is performed using the equation, and each clipping image after distortion correction is subjected to interpolation processing, and each clipping image is extracted using the distortion correction / interpolation processing unit and each clipping image after the distortion correction and interpolation processing.
  • a second coordinate conversion equation calculation unit that obtains a second coordinate conversion equation for performing alignment between cut-out images based on a matching result between images; and For each frame image, A pixel coordinate conversion unit for rearranging pixel coordinates using the first and second coordinate conversion formulas corresponding to a region, and a rearranged cutout for a plurality of frames obtained by the pixel coordinate conversion unit A combining unit that combines the images.
  • One aspect of the video signal processing method of the present invention is a video signal processing method for obtaining a super-resolution image by using a plurality of frame images having different nonlinear distortions depending on the cut-out position, and cutting out each frame image
  • a first coordinate transformation formula calculation step for obtaining a first coordinate transformation formula for correcting non-linear distortion of the region for each frame; and for each cutout region, the first coordinate transformation formula calculation step corresponding to each cutout region While performing distortion correction using a coordinate conversion formula, and performing interpolation processing on each cut-out image after distortion correction, using each distortion-corrected and interpolation processing step, and each cut-out image after the distortion correction and interpolation processing,
  • a second coordinate conversion formula calculating step for obtaining a second coordinate conversion formula for performing alignment between the cut-out images, and before the interpolation processing is performed,
  • Each frame A pixel coordinate conversion step for rearranging pixel coordinates using the first and second coordinate conversion formulas corresponding to each cut-out area for an image
  • an image subjected to distortion correction processing and interpolation processing is used for coordinate calculation for alignment between frame images, and pixels of the original image before interpolation processing are used at the time of actual composition. Since the values are directly used, the folded high-frequency components are not lost in the plurality of aligned cut-out images used for synthesis. As a result, a composite image (super-resolution image) in which high-frequency components remain is obtained, and a high super-resolution effect can be obtained.
  • FIGS. 5A and 5B are diagrams illustrating an image of distortion correction and alignment processing
  • FIG. 5A is a diagram illustrating a cut-out area of each frame
  • FIG. 5B is a diagram illustrating a cut-out image after distortion correction and interpolation processing
  • FIG. Figure showing an image 6A and 6B are diagrams illustrating an image of pixel rearrangement and composition processing.
  • FIG. 6A is a diagram illustrating a cut-out area of each frame
  • FIG. 6B is a diagram illustrating a cut-out image after rearrangement
  • FIG. 6C is a cut-out image after composition.
  • Figure The flowchart which shows the processing procedure regarding the template image The flowchart which shows the process sequence regarding cut-out images other than a template image
  • a diagram summarizing the characteristic processing flow of the present invention Diagram showing the image of general super-resolution processing
  • FIG. 3 shows the configuration of the video signal processing apparatus according to the present embodiment.
  • the video signal processing apparatus 100 is configured to obtain a super-resolution image by using a plurality of frame images having different nonlinear distortions depending on the cut-out position in the frame.
  • the cut area determination unit 121 determines a cut area to be cut out from the input image S1.
  • the cutout region is a region of interest in the frame image and is a region including a super-resolution processing target such as a person. This cut-out area may be determined by tracking the target, for example. The method for determining the cutout area will be described in detail later.
  • the input image S1 is input to the cutout area determination unit 121 and the cutout area is automatically determined by tracking.
  • the cutout area may be an area designated by the user. .
  • the position information of the cut region determined by the cut region determination unit 121 is output to the distortion correction conversion formula calculation unit 123.
  • the projection method storage unit 122 stores parameters corresponding to the projection method of the special optical system.
  • This distortion parameter may be paraphrased as an optical parameter of a camera that captures the input image S1. That is, in a special projection method such as an omnidirectional camera, the degree of distortion differs depending on the position in one frame, so the projection method storage unit 122 calculates the degree of distortion corresponding to the position in one frame.
  • the parameter is stored.
  • the distortion correction conversion formula calculation unit 123 reads out the position information of the cutout area from the cutout area determination unit 121 and the optical parameters from the projection method storage unit 122, and uses the position information of the cutout area and the optical parameters to perform distortion. A conversion formula for correction is calculated. Thus, the distortion correction conversion equation calculation unit 123 obtains a first coordinate conversion formula C n for correcting the nonlinear distortion of the cut-out area of each frame image in each frame.
  • C n represents a distortion correction conversion formula (first coordinate conversion formula) corresponding to the cut-out region of the nth frame.
  • C n is a coordinate conversion formula calculated from the projection formula.
  • Distortion correction and interpolation processing unit 101 inputs the image S1 of a plurality of frames, and inputs the distortion correction conversion formula C n from the distortion correction conversion equation calculation unit 123.
  • Distortion correction and interpolation processing unit 101 to the cut-out area of the image S1 of the plurality of frames input, performs distortion correction using a distortion correction conversion expression C n.
  • the distortion correction / interpolation processing unit 101 performs an interpolation process on the extracted image after distortion correction. That is, the distortion correction / interpolation processing unit 101 performs distortion correction on each frame image using the distortion correction conversion formula (first coordinate conversion formula) C n corresponding to the cut-out area, and after distortion correction. Interpolation processing is performed on each cut-out image.
  • the subsequent alignment unit 102 After an image that can be aligned by the subsequent alignment unit 102 is obtained.
  • interpolation processing is required to create a pixel at the corresponding position. Therefore, the distortion correction / interpolation processing unit 101 performs distortion correction in addition to distortion correction. Interpolation processing is performed.
  • the distortion correction / interpolation processing unit 101 outputs one frame image to the template storage unit 103 after performing distortion correction and interpolation processing among the input images S1 for a plurality of frames, and the remaining frame images.
  • the alignment processing unit 102 is sequentially output to the alignment processing unit 102 after performing distortion correction and interpolation processing.
  • What is stored in the template storage unit 103 is, for example, a cut-out image after performing distortion correction and interpolation processing from the first frame among a plurality of frame images.
  • the alignment processing unit 102 performs alignment processing by performing matching processing between the template image stored in the template storage unit 103 and the cut-out images sequentially input from the distortion correction / interpolation processing unit 101. Specifically, the alignment processing unit 102 and the alignment conversion formula calculation unit 104 cooperate to perform pattern matching processing, and finally, the alignment conversion formula calculation unit 104 performs an operation between cut-out images.
  • An alignment conversion formula (second coordinate conversion formula) H n for performing alignment is obtained.
  • This alignment calculation formula H n is sent to the image conversion formula calculation unit 105.
  • H n represents an alignment conversion formula (second coordinate conversion formula) corresponding to a cut-out image cut out from the n-th frame.
  • H n is a transformation matrix.
  • the image conversion formula calculation unit 105 receives the distortion correction conversion formula C n corresponding to the cut-out area of each frame image from the distortion correction conversion formula calculation unit 123 and also aligns each cut-out image from the alignment conversion formula calculation unit 104.
  • the conversion formula H n is input, and the distortion correction conversion formula C n and the alignment conversion formula H n for each frame image are integrated, and are sent to the pixel coordinate conversion unit 111 as an integrated coordinate conversion formula.
  • the pixel coordinate conversion unit 111 receives the image S1 for a plurality of frames and is a conversion formula in which a distortion correction conversion formula (first coordinate conversion formula) and a registration conversion formula (second coordinate conversion formula) are integrated. Is input from the image conversion formula calculation unit 105. Then, the pixel coordinate conversion unit 111 converts the pixel coordinates of each cutout area using an image conversion formula corresponding to each frame image.
  • the pixel coordinate conversion unit 111 uses the image conversion formulas (first and second coordinate conversion formulas) corresponding to the cut-out region for each frame image before the interpolation processing is performed, to thereby calculate the pixel coordinates. Rearrange. As a result, it is possible to obtain cut-out images for a plurality of frames in which pixel coordinates are rearranged, that is, distortion is corrected and alignment is performed. Since the cut out images rearranged for a plurality of frames are not subjected to interpolation processing, the folded high frequency components are not lost.
  • the image composition unit 112 synthesizes a plurality of frames of cut-out images obtained by the pixel coordinate conversion unit 111. As a result, a composite image (super-resolution image) with improved resolution is obtained.
  • the image interpolation unit 113 performs an interpolation process on the composite image.
  • the pixel position of each cut-out image combined by the image combining unit 112 varies depending on the degree of distortion or the like (because it is arranged with pixel precision below the decimal point)
  • the pixel position of the combined image is also a specified position.
  • the image interpolation unit 113 generates a pixel at a specified position by interpolation.
  • This method is a method of setting the same cutout region in a plurality of frames # 1 to #n. This method is based on the assumption that the moving speed of a target such as a human is not so high and the target will be within the same cutout region in a plurality of adjacent frames. Note that the cutout area in this method is set wider than the cutout areas of ⁇ Method 2> and ⁇ Method 3> described later.
  • This method can be called a target tracking method.
  • the target is tracked for each frame, and the cut-out area in each claim # 1 to #n is changed according to the movement of the target.
  • This method can be called an inter-frame matching method.
  • This method is to change the cutout area according to the matching result while keeping the cutout areas of the adjacent frames the same. For example, the same cutout area is set for frames # 1 and # 2, and the same cutout area is set for frames # 2 and # 3.
  • the cut-out areas of frames # 2 and # 3 are almost the same as the cut-out area of the subject (person) according to the matching result between the image of the cut-out area of frames # 1 and # 2 and the template image. It is set to be located in the center.
  • FIG. 5 shows an image of distortion correction and alignment processing
  • FIG. 6 shows an image of pixel rearrangement and synthesis processing.
  • the cutout area determination unit 121 determines cutout areas P0, P1,... Of each frame # 0, # 1, # 2,.
  • the distortion correction / interpolation processing unit 101 applies distortion correction and interpolation processing to the cutout areas P0, P1,... Of each frame # 0, # 1, # 2,. Are formed as shown in FIG.
  • an image P0-1 obtained by performing distortion correction and interpolation processing on the cutout area P0 of frame # 0 is a template image, and cutout areas P1,.
  • the images P1-1,... That have been subjected to the distortion correction and interpolation processing are cut out images P1-1,.
  • the distortion correction conversion expressions for the cut regions P0, P1,... Of the frames # 0, # 1, # 2,... are respectively represented as C 0 , C 1 , C 2 ,.
  • the coordinates are expressed as (X 0 , Y 0 ) and the coordinates of the pixel after distortion correction are expressed as (x, y)
  • the distortion correction for the cut-out area Pn of the nth frame can be expressed by the following nonlinear arithmetic expression. it can.
  • C nx represents a distortion conversion equation regarding the x component of the cut region Pn of the nth frame
  • C ny represents a distortion conversion equation regarding the y component of the cut region Pn of the nth frame.
  • the cutout images P1-1,... are aligned with the template image P0-1. That is, an alignment conversion formula for aligning each cut-out image P1-1,... With the template image P0-1 is calculated.
  • the conversion can be expressed by the following linear arithmetic expression.
  • the cut-out image P1-1 is set as a cut-out image P1-2 aligned with the template image P0-1.
  • the pixel coordinate conversion unit 111 applies an image conversion formula (formula (1)) to the cut regions P0, P1, P2,... Of the input frames # 0, # 1, # 2,. ) And formula (2) are used to perform pixel rearrangement, and cut-out images P0-3, P1-3, P2-3,... After rearrangement as shown in FIG. obtain.
  • an image conversion formula (formula (1)) to the cut regions P0, P1, P2,... Of the input frames # 0, # 1, # 2,. )
  • formula (2) are used to perform pixel rearrangement, and cut-out images P0-3, P1-3, P2-3,... After rearrangement as shown in FIG. obtain.
  • the rearranged clipped images P0-3, P1-3, P2-3,... are combined into one image by the image combining unit 112, and the combined image is interpolated by the image interpolation unit 113.
  • a super-resolution image Px as shown in 6C is obtained.
  • FIG. 7 shows a processing procedure (template processing procedure) related to the template image.
  • the video signal processing apparatus 100 When the video signal processing apparatus 100 starts template processing in step ST10, the video signal processing apparatus 100 inputs an input image S1 including a template image in step ST11.
  • the cutout area determination unit 121 determines a cutout area.
  • the distortion correction conversion formula calculation unit 123 calculates a distortion correction conversion formula for the template image.
  • the distortion correction / interpolation processing unit 101 performs distortion correction and interpolation processing on the template image.
  • the template image after distortion correction and interpolation processing is stored in the template storage unit 103.
  • the image conversion formula calculation unit 105 calculates an image conversion formula for the template image.
  • the image conversion formula of the template image does not have an alignment conversion formula, and is composed only of a distortion correction conversion formula.
  • the pixel coordinate conversion unit 111 performs pixel coordinate conversion (pixel rearrangement) using an image conversion formula on the template image.
  • the template process ends.
  • FIG. 8 shows a processing procedure (non-template processing procedure) related to a cut-out image other than the template image.
  • step ST20 When the video signal processing apparatus 100 starts non-template processing in step ST20, first, a frame image is input in step ST21.
  • the cutout area determination unit 121 determines a cutout area.
  • the distortion correction conversion equation calculation unit 123 calculates a distortion correction conversion equation for each cutout region.
  • the distortion correction / interpolation processing unit 101 performs distortion correction using a distortion correction conversion formula and interpolation processing on each cut-out area.
  • step ST25 the alignment processing unit 102 aligns each cut-out image that has been subjected to distortion correction and interpolation processing, and the template image.
  • step ST26 it is determined whether or not the alignment is successful. If the alignment is successful (step ST26; Yes), the process proceeds to step ST27.
  • step ST27 the alignment conversion formula calculation unit 104 calculates a final alignment conversion formula.
  • step ST26 If the alignment is not successful in step ST26, this means that there is no target that can be matched with the template image in the cut-out image (for example, in the cut-out image relative to the target in the template image). The contents of the target have changed greatly and pattern matching is not possible.) If the target is given up, the process proceeds to step ST30.
  • step ST28 the image conversion formula calculation unit 105 calculates an image conversion formula obtained by integrating the distortion correction conversion formula and the alignment conversion formula.
  • step ST29 the pixel coordinate conversion unit 111 performs pixel coordinate conversion using an integrated image conversion formula for each input image. Thereby, a cut-out image in which pixel coordinates are rearranged is obtained.
  • step ST30 it is determined whether or not the current processing target is the final frame. If it is the final frame (step ST30; Yes), the process proceeds to step ST31, and if it is not the final frame (step ST30; No), step ST21. Return to. In this manner, the processes of steps ST21 to ST30 are sequentially repeated on the cut image of each frame until the predetermined final frame is reached.
  • the video signal processing apparatus 100 moves to step ST31 when the cut-out image having undergone pixel coordinate conversion for a plurality of frames from the first frame to the last frame is formed.
  • the image synthesizing unit 112 synthesizes cut-out images for a plurality of frames subjected to pixel coordinate conversion, and the image interpolating unit 113 performs an interpolation process on the synthesized image.
  • the non-template processing is terminated.
  • the correction conversion formula calculation unit 123, the distortion correction / interpolation processing unit 101 that performs distortion correction and interpolation processing on each cut-out area, and the position for performing alignment between the cut-out images after distortion correction and interpolation processing An alignment conversion equation calculation unit 104 that obtains an alignment conversion equation (second coordinate conversion equation), and a distortion correction conversion equation and alignment conversion corresponding to the cut-out area for each frame image before the interpolation processing is performed.
  • a pixel coordinate conversion unit 111 that rearranges pixel coordinates using an equation, and an image synthesis unit 112 that synthesizes a plurality of rearranged cut-out images obtained by the pixel coordinate conversion unit 111.
  • FIG. 9 shows a characteristic processing flow of the present invention.
  • FIG. 10 shows an image of general super-resolution processing.
  • the image subjected to distortion correction, interpolation, and alignment processing is synthesized.
  • distortion correction, interpolation, and alignment processing are performed to obtain a coordinate conversion formula
  • an actual super-resolution image uses the coordinate conversion formula.
  • the coordinate conversion (rearrangement of pixels) and composition performed, the pixel values of the original image are directly used (that is, without using the interpolated pixels).
  • a composite image (super-resolution image) in which high-frequency components remain is obtained.
  • the video signal processing apparatus 100 of the above-described embodiment can be configured by a computer such as a personal computer including a memory and a CPU.
  • the function of each component constituting the video signal processing apparatus 100 can be realized by the CPU reading and executing the computer program stored in the memory.
  • the present invention is suitable for a video signal processing apparatus and method for performing super-resolution processing on a captured image having nonlinear distortion captured by a camera having a special optical system such as an omnidirectional camera.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Studio Devices (AREA)

Abstract

　全周囲カメラのような特殊な光学系で撮像された歪みのある画像に対しても、高い超解像効果を得ることができる映像信号処理装置及び方法。歪補正変換式算出部１２３は、各切出し領域の非線形歪みを補正するための歪補正変換式を算出する。歪補正・補間処理部１０１は、各切出し領域に対して歪補正及び補間処理を行う。位置合せ変換式算出部１０４は、歪補正及び補間処理後の各切出し画像間での位置合せを行うための位置合せ変換式を算出する。画素座標変換部１１１は、補間処理が行われる前の、各フレーム画像に対して、切出し領域に対応する歪補正変換式及び位置合せ変換式を用いて、画素座標の再配置を行う。画像合成部１１２は、画素座標変換部１１１により得られた複数フレーム分の再配置された切出し画像を合成する。

Description

映像信号処理装置及び映像信号処理方法
　本発明は、特に全周囲カメラのように特殊な光学系を有するカメラで撮像された非線形歪みのある撮像画像に対して、超解像処理を行う技術に関する。
　従来、撮像画像の解像度を上げる所謂超解像技術として、複数枚の撮像画像を合成することで解像度を上げる技術が多数提案されている（例えば、特許文献１及び２参照）。
　図１に、複数枚の撮像画像を用いた超解像技術のイメージを示す。図に示すように、複数枚（Ｎ枚）の低解像度画像を合成することで、超解像画像が形成される。具体的には、先ず、カメラで撮像した同じ被写体に対する複数枚の低解像度画像に対して、サブピクセル（１ピクセルのサイズより小さい）精度の位置合せを行う。次に、位置合せ後の複数枚画像を合成する。これにより、合成後の画像（超解像画像）は、空間標本点が増え、標本化周波数が上がることにより、解像度が向上する。
特開２００８－０９１９７９号公報 特開２００８－１１７４１６号公報
　ところで、上述したように、複数枚の画像を用いた超解像技術においては、被写体の位置合わせが必要である。
　この位置合わせは、カメラ光学系の射影方式が透視射影方式であれば、図２に示すように、フレーム間で、平行移動、拡大・縮小、反転、回転、傾斜などの線形変換を行うことで実現できる。
　しかし、カメラ光学系が特殊射影方式（例えば超広角レンズ、魚眼レンズ、全周囲ミラーなど）の場合には、撮影された画像には非線形的な歪みが発生するので、線形変換のみによる位置合せは困難である。
　このような特殊射影方式で撮影した複数枚の画像を用いて超解像処理を行うためには、特殊射影画像から透視射影画像への変換、すなわち歪補正を行った後に、合成のための位置合せを行うことになる。
　しかしながら、通常、歪補正は補間処理を伴い、この補間処理の影響により、元画像に含まれている折り返し高周波成分が失われてしまうため、超解像の効果が小さくなる。因みに、補間処理を伴わない歪補正を行う場合であっても、歪補正後の画像の画素位置は、サブピクセル単位で異なるので、マッチングによる高精度の位置合せを行うためには、対応する画素を生成するための補間処理が必要となる。よって、やはりこの場合も、元画像に含まれている折り返し高周波成分が失われてしまうため、超解像の効果が小さくなる。
　本発明は、以上の点を考慮してなされたものであり、全周囲カメラのような特殊な光学系で撮像された歪みのある画像に対しても、高い超解像効果を得ることができる映像信号処理装置及び映像信号処理方法を提供することを目的とする。
　本発明の映像信号処理装置の一つの態様は、切出し位置によって非線形歪みが異なるフレーム画像を、複数枚用いて、超解像画像を得る映像信号処理装置であって、各フレーム画像の切出し領域の非線形歪みを補正するための第１の座標変換式を各フレーム毎に得る第１の座標変換式算出部と、前記各切出し領域に対して、前記各切出し領域に対応する前記第１の座標変換式を用いて歪補正を行うと共に、歪補正後の各切出し画像に対して、補間処理を行う、歪補正・補間処理部と、前記歪補正及び補間処理後の各切出し画像を用い、各切出し画像間でのマッチング結果を基に、切出し画像間での位置合せを行うための第２の座標変換式を得る第２の座標変換式算出部と、前記補間処理が行われる前の、前記各フレーム画像に対して、各切出し領域に対応する前記第１及び第２の座標変換式を用いて、画素座標の再配置を行う画素座標変換部と、前記画素座標変換部により得られた複数フレーム分の再配置された切出し画像を合成する合成部と、を具備する。
　本発明の映像信号処理方法の一つの態様は、切出し位置に応じて非線形歪みが異なるフレーム画像を、複数枚用いて、超解像画像を得る映像信号処理方法であって、各フレーム画像の切出し領域の非線形歪みを補正するための第１の座標変換式を各フレーム毎に得る第１の座標変換式算出ステップと、前記各切出し領域に対して、前記各切出し領域に対応する前記第１の座標変換式を用いて歪補正を行うと共に、歪補正後の各切出し画像に対して、補間処理を行う、歪補正・補間処理ステップと、前記歪補正及び補間処理後の各切出し画像を用い、各切出し画像間でのマッチング結果を基に、切出し画像間での位置合せを行うための第２の座標変換式を得る第２の座標変換式算出ステップと、前記補間処理が行われる前の、前記各フレーム画像に対して、各切出し領域に対応する前記第１及び第２の座標変換式を用いて、画素座標の再配置を行う画素座標変換ステップと、前記画素座標変換ステップで得られた複数フレーム分の再配置された切出し画像を合成する合成ステップと、を含む。
　本発明によれば、フレーム画像間での位置合わせのための座標算出には、歪補正処理及び補間処理を施した画像を用い、実際の合成時には、補間処理を行う前の、元画像の画素値を直接用いるので、合成に用いられる位置合せされた複数の切出し画像は、折り返し高周波成分が失われていない。この結果、高周波成分が残った合成画像（超解像画像）が得られ、高い超解像効果を得ることができる。
複数枚の撮像画像を用いた超解像技術のイメージを示す図 フレーム間での線形変換のイメージを示す図 実施の形態の映像信号処理装置の構成を示すブロック図 切出し領域の決定方式の説明に供する図 歪補正及び位置合せ処理のイメージを示す図であり、図５Ａは各フレームの切出し領域を示す図、図５Ｂは歪補正及び補間処理後の切出し画像を示す図、図５Ｃは位置合せ後の切出し画像を示す図 画素の再配置及び合成処理のイメージを示す図であり、図６Ａは各フレームの切出し領域を示す図、図６Ｂは再配置後の切出し画像を示す図、図６Ｃは合成後の切出し画像を示す図 テンプレート画像に関する処理手順を示すフローチャート テンプレート画像以外の切出し画像に関する処理手順を示すフローチャート 本発明の特徴的な処理の流れをまとめた図 一般的な超解像処理のイメージを示す図
　以下、本発明の実施の形態について、図面を参照して詳細に説明する。
　［１］全体構成
　図３に、本実施の形態の映像信号処理装置の構成を示す。映像信号処理装置１００は、フレーム中での切出し位置に応じて非線形歪みが異なるフレーム画像を、複数枚用いて、超解像画像を得るようになっている。
　切出し領域決定部１２１は、入力画像Ｓ１から切り出す切出し領域を決定する。切出し領域とは、フレーム画像中の注目領域であり、人物等の超解像処理ターゲットを含む領域である。この切出し領域の決定は、例えば、ターゲットをトラッキングすることで行えばよい。切出し領域の決定方法については、後で詳しく説明する。なお、図３の例は、切出し領域決定部１２１に入力画像Ｓ１を入力し、トラッキングにより自動的に切出し領域を決定する構成であるが、切出し領域はユーザにより指定された領域であってもよい。切出し領域決定部１２１によって決定された切出し領域の位置情報は、歪補正変換式算出部１２３に出力される。
　射影方式格納部１２２には、特殊光学系の射影方式に対応するパラメータが格納されている。この歪みのパラメータとは、入力画像Ｓ１を撮像するカメラの光学パラメータと言い換えてもよい。つまり、全周囲カメラ等の特殊射影方式では、１フレーム内の位置に応じて歪みの度合いが異なるので、射影方式格納部１２２には、１フレーム内の位置に応じた歪み度合いを算出するためのパラメータが格納されている。
　歪補正変換式算出部１２３は、切出し領域決定部１２１からの切出し領域の位置情報と射影方式格納部１２２からの光学パラメータとを読み出し、この切出し領域の位置情報と光学パラメータとを用いて、歪補正のための変換式を算出する。このように、歪補正変換式算出部１２３は、各フレーム画像の切出し領域の非線形歪みを補正するための第１の座標変換式Ｃｎを各フレーム毎に得る。ここで、Ｃｎは第ｎ番目のフレームの切出し領域に対応する歪補正変換式（第１の座標変換式）を表す。本実施の形態の場合、Ｃｎは射影式から算出された座標変換式である。
　歪補正・補間処理部１０１は、複数フレーム分の画像Ｓ１を入力すると共に、歪補正変換式算出部１２３から歪補正変換式Ｃｎを入力する。歪補正・補間処理部１０１は、入力した複数フレームの画像Ｓ１の切り出し領域に対して、歪補正変換式Ｃｎを用いて歪補正を行う。さらに、歪補正・補間処理部１０１は、歪補正後の切出し画像に対して補間処理を施す。つまり、歪補正・補間処理部１０１は、各フレーム画像に対して、切出し領域に対応する歪補正変換式（第１の座標変換式）Ｃｎを用いて歪補正を行うと共に、歪補正後の各切出し画像に対して、補間処理を行う。これにより、続く位置合せ部１０２での位置合せが可能な画像とされる。因みに、それぞれ異なる歪補正を行った画像間でパターンマッチングを行うためには、対応した位置の画素を作るために補間処理が必要になるので、歪補正・補間処理部１０１では、歪補正に加えて補間処理を行うようになっている。
　ここで、歪補正・補間処理部１０１は、入力した複数フレーム分の画像Ｓ１のうち、１枚のフレーム画像は歪補正及び補間処理を施した後にテンプレート格納部１０３に出力し、残りのフレーム画像は歪補正及び補間処理を施した後に順次位置合せ処理部１０２に出力する。テンプレート格納部１０３に格納されるのは、複数フレーム画像のうち、例えば最初のフレームから歪み補正及び補間処理を施した後の切出し画像である。
　位置合せ処理部１０２は、テンプレート格納部１０３に格納されたテンプレート画像と、歪補正・補間処理部１０１から順次入力される切出し画像との、マッチング処理を行うことにより、位置合せ処理を行う。具体的には、位置合せ処理部１０２と位置合せ変換式算出部１０４とが協働して、パターンマッチング処理を行い、最終的に、位置合せ変換式算出部１０４にて、切出し画像間での位置合せを行うための位置合せ変換式（第２の座標変換式）Ｈｎが得られる。この位置合せ算出式Ｈｎは、画像変換式算出部１０５に送出される。ここで、Ｈｎは第ｎ番目のフレームから切り出した切出し画像に対応する位置合せ変換式（第２の座標変換式）を表す。本実施の形態の場合、Ｈｎは変換行列である。
　画像変換式算出部１０５は、歪補正変換式算出部１２３から各フレーム画像の切出し領域に対応する歪補正変換式Ｃｎを入力すると共に、位置合せ変換式算出部１０４から各切出し画像の位置合せ変換式Ｈｎを入力し、各フレーム画像に関する、歪補正変換式Ｃｎと位置合せ変換式Ｈｎとを統合し、それを統合された座標変換式として画素座標変換部１１１に送出する。
　画素座標変換部１１１は、複数フレーム分の画像Ｓ１を入力すると共に、歪補正変換式（第１の座標変換式）と位置合せ変換式（第２の座標変換式）とが統合された変換式を画像変換式算出部１０５から入力する。そして、画素座標変換部１１１は、各フレーム画像に対応する画像変換式を用いて、各切出し領域の画素座標を変換する。
　これにより、画素座標変換部１１１は、補間処理が行われる前の、各フレーム画像に対して、切出し領域に対応する画像変換式（第１及び第２の座標変換式）を用いて、画素座標の再配置を行う。この結果、画素座標が再配置された、つまり、歪みが補正されかつ位置合せがなされた、複数フレーム分の切出し画像が得られる。この複数フレーム分の再配置された切出し画像は、補間処理が行われていないので、折り返し高周波成分が失われていない。
　画像合成部１１２は、画素座標変換部１１１により得られた複数フレーム分の切出し画像を合成する。これにより、解像度が向上された合成画像（超解像画像）が得られる。
　画像補間部１１３は、合成画像に対して補間処理を行う。ここで、画像合成部１１２で合成される各切出し画像の画素位置は、歪みの度合いなどに応じてバラバラなので（小数点以下の画素精度で配置されるので）、合成画像の画素位置も規定の位置にあるとは限らない。そこで、画像補間部１１３は、規定の位置の画素を補間により生成する。
　［２］切出し領域決定部での処理
　次に、切出し領域決定部１２１での領域切出について説明する。本実施の形態では、図４に示すように、＜方式１＞、＜方式２＞、＜方式３＞の３つの領域切出の方式を提示する。
　＜方式１＞
　この方式は、複数フレーム＃１～＃ｎで同一の切出領域を設定する方式である。この方式は、人間等のターゲットの移動速度はあまり大きくなく、隣接する複数フレームでは、ターゲットは同一の切出領域内に収まっているであろうという仮定に基づく。なお、この方式での切出領域は、後述する＜方式２＞及び＜方式３＞の切出領域よりも広く設定される。
　＜方式２＞
　この方式は、ターゲットトラッキング方式と呼ぶことができるものである。この方式は、ターゲットをフレーム毎にトラッキングし、ターゲットの移動に応じて各クレーム＃１～＃ｎでの切出領域を変更するものである。
　＜方式３＞
　この方式は、フレーム間マッチング方式と呼ぶことができるものである。この方式は、隣接フレームの切出領域は同一としつつ、マッチング結果に応じて切出領域を変更するものである。例えば、フレーム＃１と＃２では同一の切出領域を設定し、フレーム＃２と＃３では同一の切出領域を設定する。ここで、フレーム＃２と＃３の切出領域は、フレーム＃１と＃２の切出領域の画像と、テンプレート画像と、のマッチング結果に応じて、被写体（人物）が切出領域のほぼ中央に位置するように設定される。
　［３］歪補正、補間、位置合せ、画素の再配置、及び、合成の処理イメージ
　次に、図５及び図６を用いて、映像信号処理装置１００によって行われる処理イメージを説明する。図５は、歪補正及び位置合せ処理のイメージを示し、図６は、画素の再配置及び合成処理のイメージを示す。
　先ず、図５を用いて、歪補正・補間処理部１０１で行われる歪補正と、位置合せ処理部１０２で行われる位置合せ処理と、について説明する。先ず、図５Ａに示すように、切出し領域決定部１２１によって、各フレーム＃０，＃１，＃２，…の切出し領域Ｐ０，Ｐ１，…が決定される。次に、歪補正・補間処理部１０１によって、各フレーム＃０，＃１，＃２，…の切出し領域Ｐ０，Ｐ１，…に対して、歪補正及び補間処理が施されることにより、図５Ｂに示す位置合せ用の画像Ｐ０－１，Ｐ１－１，…が形成される。
　図５Ｂに示すように、フレーム＃０の切出し領域Ｐ０に歪補正及び補間処理が施された画像Ｐ０－１はテンプレート画像とされ、フレーム＃１，＃２，………の切出し領域Ｐ１，…に歪補正及び補間処理が施された画像Ｐ１－１，…は位置合せのための切出し画像Ｐ１－１，…とされる。
　ここで、各フレーム＃０，＃１，＃２，…の切出し領域Ｐ０，Ｐ１，…に対する歪補正変換式をそれぞれ、Ｃ０，Ｃ１，Ｃ２，…と表し、歪補正前の画素の座標を（Ｘ０，Ｙ０）と表し、歪補正後の画素の座標を（ｘ，ｙ）と表すと、第ｎフレームの切出し領域Ｐｎに対する歪補正は、次の非線形演算式で表すことができる。
Figure JPOXMLDOC01-appb-M000001
 　なお、式（１）において、Ｃｎｘは第ｎフレームの切出し領域Ｐｎのｘ成分に関する歪変換式を表し、Ｃｎｙは第ｎフレームの切出し領域Ｐｎのｙ成分に関する歪変換式を表す。
　次に、テンプレート画像Ｐ０－１を基準として、このテンプレート画像Ｐ０－１に対する各切出し画像Ｐ１－１，…の位置合せが行われる。つまり、各切出し画像Ｐ１－１，…をテンプレート画像Ｐ０－１に位置合せするための位置合せ変換式が算出される。
　ここで、各フレーム＃１，＃２，…の歪補正及び補間処理後の切出し画像Ｐ１－１，Ｐ２－１，…に対する位置合せ変換式（変換行列）をそれぞれ、Ｈ１，Ｈ２，…と表し、位置合せ前の画素の座標を（ｘ，ｙ）と表し、位置合せ後の画素の座標を（ｘ’，ｙ’）と表すと、第ｎフレームの切出し画像Ｐｎ－１に対する位置合せ変換は、次の線形演算式で表すことができる。
Figure JPOXMLDOC01-appb-M000002
 　図５Ｃに示すように、式（２）の線形演算式を用いることで、切出し画像Ｐ１－１が、テンプレート画像Ｐ０－１と位置合せされた切出し画像Ｐ１－２とされる。
　次に、図６を用いて、画素座標変換部１１１で行われる画素座標変換処理、及び、画像合成部１１２と画像補間部１１３とで行われる合成補間処理について説明する。
　画素座標変換部１１１は、図６Ａに示すような、入力された各フレーム＃０，＃１，＃２，…の切出し領域Ｐ０，Ｐ１，Ｐ２，…に対して、画像変換式（式（１）と式（２）とを統合した式）を用いた画素再配置を行うことで、図６Ｂに示すような、再配置後の切出し画像Ｐ０－３，Ｐ１－３，Ｐ２－３，…を得る。
　次に、画像合成部１１２によって再配置後の切出し画像Ｐ０－３，Ｐ１－３，Ｐ２－３，…を１枚の画像に合成し、画像補間部１１３によって合成画像を補間することで、図６Ｃに示すような、超解像画像Ｐｘが得られる。
　［４］動作
　次に、本実施の形態の映像信号処理装置１００の動作を、フローチャートを用いて説明する。
　図７に、テンプレート画像に関する処理手順（テンプレート処理手順）を示す。
　映像信号処理装置１００は、ステップＳＴ１０でテンプレート処理を開始すると、ステップＳＴ１１でテンプレート画像が含まれる入力画像Ｓ１を入力する。ステップＳＴ１２では、切出し領域決定部１２１が切出し領域を決定する。ステップＳＴ１３では、歪補正変換式算出部１２３がテンプレート画像の歪補正変換式を算出する。ステップＳＴ１４では、歪補正・補間処理部１０１がテンプレート画像に対して歪補正及び補間処理を施す。ステップＳＴ１５では、歪補正及び補間処理後のテンプレート画像がテンプレート格納部１０３に格納される。ステップＳＴ１６では、画像変換式算出部１０５がテンプレート画像の画像変換式を算出する。なお、テンプレート画像の画像変換式は、位置合せ変換式が無く、歪補正変換式のみで構成される。ステップＳＴ１７では、画素座標変換部１１１によって、テンプレート画像に対して画像変換式を用いた画素座標変換（画素の再配置）が行われる。そして、続くステップＳＴ１８でテンプレート処理を終了する。
　図８に、テンプレート画像以外の切出し画像に関する処理手順（非テンプレート処理手順）を示す。
　映像信号処理装置１００は、ステップＳＴ２０で非テンプレート処理を開始すると、先ず、ステップＳＴ２１でフレーム画像を入力する。ステップＳＴ２２では、切出し領域決定部１２１が切出し領域を決定する。ステップＳＴ２３では、歪補正変換式算出部１２３が各切出し領域の歪補正変換式を算出する。ステップＳＴ２４では、歪補正・補間処理部１０１が各切出し領域に対して、歪補正変換式を用いた歪補正と、補間処理と、を施す。ステップＳＴ２５では、位置合わせ処理部１０２が、歪補正及び補間処理が施された各切出し画像と、テンプレート画像と、の位置合わせを行う。ステップＳＴ２６では、位置合わせが成功したか否か判断し、位置合わせが成功した場合には（ステップＳＴ２６；Ｙｅｓ）、ステップＳＴ２７に移る。ステップＳＴ２７では、位置合わせ変換式算出部１０４が、最終的な位置合せ変換式を算出する。
　なお、ステップＳＴ２６で位置合せが成功しない場合、このことは、切出し画像内にはテンプレート画像とマッチングがとれるターゲットは存在しないことを意味するので（例えばテンプレート画像中のターゲットに対して切出し画像中のターゲットの内容が大きく変化しており、パターンマッチングができない状態である）、位置合せを諦めてステップＳＴ３０に移る。
　ステップＳＴ２８では、画像変換式算出部１０５が、歪補正変換式と位置合せ変換式とを統合した画像変換式を算出する。ステップＳＴ２９では、画素座標変換部１１１が、各入力画像に対して、統合された画像変換式を用いた画素座標変換を行う。これにより、画素座標が再配置された切出し画像を得る。ステップＳＴ３０では、現在の処理対象が最終フレームであるか否か判断し、最終フレームの場合には（ステップＳＴ３０；Ｙｅｓ）ステップＳＴ３１に移り、最終フレームでない場合には（ステップＳＴ３０；Ｎｏ）ステップＳＴ２１に戻る。このように、予め決められた最終フレームになるまで、各フレームの切出し画像に対して順次、ステップＳＴ２１－ＳＴ３０の処理が繰り返される。
　映像信号処理装置１００は、最初のフレームから最終フレームまでの複数フレーム分の画素座標変換された切出し画像が形成されると、ステップＳＴ３１に移る。ステップＳＴ３１では、画像合成部１１２が、画素座標変換された複数フレーム分の切出し画像を合成し、画像補間部１１３が、合成後の画像に対して補間処理を施す。そして、ステップＳＴ３２で非テンプレート処理を終了する。
　［５］効果
　以上説明したように、本実施の形態によれば、各フレーム画像の切出し領域の非線形歪みを補正するための歪補正変換式（第１の座標変換式）をフレーム毎に得る歪補正変換式算出部１２３と、各切出し領域に対して歪補正及び補間処理を行う歪補正・補間処理部１０１と、歪補正及び補間処理後の各切出し画像間での位置合せを行うための位置合せ変換式（第２の座標変換式）を得る位置合せ変換式算出部１０４と、補間処理が行われる前の、各フレーム画像に対して、切出し領域に対応する歪補正変換式及び位置合せ変換式を用いて、画素座標の再配置を行う画素座標変換部１１１と、画素座標変換部１１１により得られた複数フレーム分の再配置された切出し画像を合成する画像合成部１１２と、を有する。
　これにより、実際の合成時には、補間処理を行う前の、元画像の画素値を直接用いるので、合成に用いられる位置合せされた複数の切出し画像は、折り返し高周波成分が失われていない。この結果、高周波成分が残った合成画像（超解像画像）が得られ、高い超解像効果を得ることができる。
　図９は、本発明の特徴的な処理の流れを示したものである。一方、図１０は、一般的な超解像処理のイメージを示したものである。
　図１０に示す一般的な超解像処理においては、歪補正、補間及び位置合せ処理された画像を合成する。これに対して、図９に示す本発明の超解像処理においては、歪補正、補間及び位置合せ処理は座標変換式を求めるために行われ、実際の超解像画像は座標変換式を用いた座標変換（画素の再配置）及び合成により、元の画像の画素値を直接用いて（すなわち補間処理した画素を用いずに）行われる。この結果、本発明では、高周波成分が残った合成画像（超解像画像）が得られる。
　なお、上述の実施の形態の映像信号処理装置１００は、メモリ・ＣＰＵを含むパソコン等のコンピュータによって構成することができる。そして、映像信号処理装置１００を構成する各構成要素の機能は、メモリ上に記憶されたコンピュータプログラムをＣＰＵが読み出して実行処理することで実現できる。
　２０１０年１２月２７日出願の特願２０１０－２８９９１１の日本出願に含まれる明細書、図面及び要約書の開示内容は、すべて本願に援用される。
　本発明は、例えば全周囲カメラのように特殊な光学系を有するカメラで撮像された非線形歪みのある撮像画像に対して超解像処理を行う映像信号処理装置及び方法に好適である。
　１００　映像信号処理装置
　１０１　歪補正・補間処理部
　１０２　位置合せ処理部
　１０３　テンプレート格納部
　１０４　位置合せ変換式算出部
　１０５　画像変換式算出部
　１１１　画素座標変換部
　１１２　画像合成部
　１１３　画像補間部
　１２１　切出し領域決定部
　１２２　射影方式格納部
　１２３　歪補正変換式算出部
　Ｓ１　入力画像
　Ｃｎ　歪補正変換式
　Ｈｎ　位置合せ変換式

Claims (4)

  1. 　切出し位置に応じて非線形歪みが異なるフレーム画像を、複数枚用いて、超解像画像を得る映像信号処理装置であって、
    　各フレーム画像の切出し領域の非線形歪みを補正するための第１の座標変換式を各フレームで得る第１の座標変換式算出部と、
    　前記各フレーム画像の切出し領域に対して、当該切出し領域に対応する前記第１の座標変換式を用いて歪補正を行うと共に、歪補正後の各切出し画像に対して、補間処理を行う、歪補正・補間処理部と、
    　前記歪補正及び補間処理後の各切出し画像を用い、各切出し画像間でのマッチング結果を基に、切出し画像間での位置合せを行うための第２の座標変換式を得る第２の座標変換式算出部と、
    　前記歪補正及び補間処理が行われる前の、前記各フレーム画像に対して、当該各フレーム画像の切出し領域に対応する前記第１の座標変換式及び切出し画像に対応する前記第２の座標変換式を用いて、画素座標の再配置を行う画素座標変換部と、
    　前記画素座標変換部により得られた複数フレーム分の再配置された切出し画像を合成する合成部と、
    　を具備する映像信号処理装置。
  2. 　前記合成部により得られた合成画像に対して補間処理を施す補間処理部を、さらに具備する、
    　請求項１に記載の映像信号処理装置。
  3. 　非線形歪みのある画像を撮影するカメラと、
    　撮影された画像を処理する請求項１または２記載の映像信号処理装置と、
    　を有するカメラシステム。
  4. 　切出し位置に応じて非線形歪みが異なるフレーム画像を、複数枚用いて、超解像画像を得る映像信号処理方法であって、
    　各フレーム画像の切出し領域の非線形歪みを補正するための第１の座標変換式を各フレームで得る第１の座標変換式算出ステップと、
    　前記各フレーム画像の切出し領域に対して、当該切出し領域に対応する前記第１の座標変換式を用いて歪補正を行うと共に、歪補正後の各切出し画像に対して、補間処理を行う、歪補正・補間処理ステップと、
    　前記歪補正及び補間処理後の各切出し画像を用い、各切出し画像間でのマッチング結果を基に、切出し画像間での位置合せを行うための第２の座標変換式を得る第２の座標変換式算出ステップと、
    　前記歪補正及び補間処理が行われる前の、前記各フレーム画像に対して、当該各フレーム画像の切出し領域に対応する前記第１の座標変換式及び切出し画像に対応する前記第２の座標変換式を用いて、画素座標の再配置を行う画素座標変換ステップと、
    　前記画素座標変換ステップで得られた複数フレーム分の再配置された切出し画像を合成する合成ステップと、
    　を含む映像信号処理方法。
PCT/JP2011/007107 2010-12-27 2011-12-20 映像信号処理装置及び映像信号処理方法 Ceased WO2012090434A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US13/992,807 US9609181B2 (en) 2010-12-27 2011-12-20 Image signal processor and method for synthesizing super-resolution images from non-linear distorted images
EP11852336.4A EP2661071B1 (en) 2010-12-27 2011-12-20 Image signal processor and image signal processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010289911A JP5654867B2 (ja) 2010-12-27 2010-12-27 映像信号処理装置及び映像信号処理方法
JP2010-289911 2010-12-27

Publications (1)

Publication Number Publication Date
WO2012090434A1 true WO2012090434A1 (ja) 2012-07-05

Family

ID=46382575

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/007107 Ceased WO2012090434A1 (ja) 2010-12-27 2011-12-20 映像信号処理装置及び映像信号処理方法

Country Status (4)

Country Link
US (1) US9609181B2 (ja)
EP (1) EP2661071B1 (ja)
JP (1) JP5654867B2 (ja)
WO (1) WO2012090434A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118334063A (zh) * 2024-06-13 2024-07-12 中国科学院长春光学精密机械与物理研究所 一种基于核相关滤波的地基望远镜稳像方法

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5962428B2 (ja) * 2012-10-22 2016-08-03 セイコーエプソン株式会社 画像処理装置の調整方法、調整装置、画像処理装置、及び表示モジュール
JP6274744B2 (ja) * 2013-05-02 2018-02-07 キヤノン株式会社 画像処理装置および画像処理方法
WO2014192487A1 (ja) 2013-05-29 2014-12-04 日本電気株式会社 多眼撮像システム、取得画像の合成処理方法、及びプログラム
US9185291B1 (en) 2013-06-13 2015-11-10 Corephotonics Ltd. Dual aperture zoom digital camera
CN108535839B (zh) 2013-07-04 2022-02-08 核心光电有限公司 小型长焦透镜套件
CN108989649B (zh) 2013-08-01 2021-03-19 核心光电有限公司 具有自动聚焦的纤薄多孔径成像系统及其使用方法
JP6160357B2 (ja) * 2013-08-15 2017-07-12 株式会社リコー 画像処理装置、画像処理方法、および画像通信システム
US9392188B2 (en) 2014-08-10 2016-07-12 Corephotonics Ltd. Zoom dual-aperture camera with folded lens
JP2018022932A (ja) * 2014-12-08 2018-02-08 株式会社ジャパンディスプレイ 表示システム及び表示装置
CN112327463B (zh) 2015-01-03 2022-10-14 核心光电有限公司 微型长焦镜头模块和使用该镜头模块的相机
KR102088603B1 (ko) 2015-04-16 2020-03-13 코어포토닉스 리미티드 소형 접이식 카메라의 오토 포커스 및 광학 이미지 안정화
US10853680B2 (en) 2015-07-14 2020-12-01 Panasonic Intellectual Property Management Co., Ltd. Identification medium recognition device and identification medium recognition method
EP4425424A3 (en) 2015-08-13 2024-11-20 Corephotonics Ltd. Dual aperture zoom camera with video support and switching / non-switching dynamic control
JP2017146704A (ja) * 2016-02-16 2017-08-24 沖電気工業株式会社 情報処理装置、情報処理方法およびプログラム
US10488631B2 (en) 2016-05-30 2019-11-26 Corephotonics Ltd. Rotational ball-guided voice coil motor
KR20240036133A (ko) 2016-06-19 2024-03-19 코어포토닉스 리미티드 듀얼 애퍼처 카메라 시스템에서의 프레임 동기화
KR102903119B1 (ko) 2016-07-07 2025-12-22 코어포토닉스 리미티드 폴디드 옵틱용 선형 볼 가이드 보이스 코일 모터
WO2018122650A1 (en) 2016-12-28 2018-07-05 Corephotonics Ltd. Folded camera structure with an extended light-folding-element scanning range
US10884321B2 (en) 2017-01-12 2021-01-05 Corephotonics Ltd. Compact folded camera
CN114137791A (zh) 2017-03-15 2022-03-04 核心光电有限公司 具有全景扫瞄范围的照相装置及移动装置
JP6936958B2 (ja) * 2017-11-08 2021-09-22 オムロン株式会社 データ生成装置、データ生成方法及びデータ生成プログラム
KR102456315B1 (ko) 2017-11-23 2022-10-18 코어포토닉스 리미티드 컴팩트 폴디드 카메라 구조
EP3848749A1 (en) 2018-02-05 2021-07-14 Corephotonics Ltd. Reduced height penalty for folded camera
US11640047B2 (en) 2018-02-12 2023-05-02 Corephotonics Ltd. Folded camera with optical image stabilization
JP7076131B2 (ja) * 2018-03-23 2022-05-27 カムイ・イノベーション株式会社 多眼カメラシステム、多眼撮影用カメラヘッド、画像処理装置、多眼撮影用プログラムおよび多眼撮影方法
KR102795759B1 (ko) 2018-04-23 2025-04-11 코어포토닉스 리미티드 연장된 2 자유도 회전 범위를 갖는 광학 경로 폴딩 요소
US11635596B2 (en) 2018-08-22 2023-04-25 Corephotonics Ltd. Two-state zoom folded camera
WO2020144528A1 (en) 2019-01-07 2020-07-16 Corephotonics Ltd. Rotation mechanism with sliding joint
KR102365748B1 (ko) 2019-07-31 2022-02-23 코어포토닉스 리미티드 카메라 패닝 또는 모션에서 배경 블러링을 생성하는 시스템 및 방법
KR20220092962A (ko) * 2019-11-08 2022-07-04 오피 솔루션즈, 엘엘씨 적응적 크롭핑을 위한 방법들 및 시스템들
EP4045959B1 (en) 2019-12-03 2025-02-05 Corephotonics Ltd. Actuators for providing an extended two-degree of freedom rotation range
US11949976B2 (en) 2019-12-09 2024-04-02 Corephotonics Ltd. Systems and methods for obtaining a smart panoramic image
KR102811003B1 (ko) 2020-02-22 2025-05-20 코어포토닉스 리미티드 매크로 촬영을 위한 분할 스크린 기능
EP4097773A4 (en) 2020-04-26 2023-11-01 Corephotonics Ltd. TEMPERATURE CONTROL FOR HALL BAR SENSOR CORRECTION
CN117372248A (zh) 2020-05-17 2024-01-09 核心光电有限公司 全视场参考图像的图像拼接
KR20250156831A (ko) 2020-05-30 2025-11-03 코어포토닉스 리미티드 슈퍼 매크로 이미지를 얻기 위한 시스템 및 방법
CN119355935A (zh) * 2020-07-15 2025-01-24 核心光电有限公司 用于校正扫描折叠相机和包含这样的扫描折叠相机的多相机中的视点像差的方法
US11637977B2 (en) 2020-07-15 2023-04-25 Corephotonics Ltd. Image sensors and sensing methods to obtain time-of-flight and phase detection information
CN114270145B (zh) 2020-07-31 2024-05-17 核心光电有限公司 用于大行程线性位置感测的霍尔传感器-磁体几何结构
KR102598070B1 (ko) 2020-08-12 2023-11-02 코어포토닉스 리미티드 스캐닝 폴디드 카메라의 광학 이미지 안정화
KR102442980B1 (ko) 2020-12-31 2022-09-13 이화여자대학교 산학협력단 Erp 기반 다시점 360도 영상의 초해상화 방법 및 영상처리장치
TWI888016B (zh) 2021-03-11 2025-06-21 以色列商核心光電有限公司 彈出式照相機系統
EP4726455A2 (en) 2021-06-08 2026-04-15 Corephotonics Ltd. Systems and cameras for tilting a focal plane of a super-macro image
US12250461B2 (en) * 2021-07-02 2025-03-11 Genesys Logic, Inc. Image controller, image processing system and image correcting method
KR102940165B1 (ko) 2021-07-21 2026-03-16 코어포토닉스 리미티드 팝-아웃 모바일 카메라 및 액추에이터
EP4500266A1 (en) 2022-03-24 2025-02-05 Corephotonics Ltd. Slim compact lens optical image stabilization
CN117612046B (zh) * 2024-01-23 2024-04-26 青岛云世纪信息科技有限公司 一种基于ai和gis交互实现目标区域地物识别的方法和系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0918685A (ja) * 1995-06-29 1997-01-17 Ricoh Co Ltd 画像合成方法
JP2008091979A (ja) * 2006-09-29 2008-04-17 Hitachi Ltd 画像高画質化装置、及びその方法、並びに画像表示装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5696848A (en) * 1995-03-09 1997-12-09 Eastman Kodak Company System for creating a high resolution image from a sequence of lower resolution motion images
US7015954B1 (en) * 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
JP3428589B2 (ja) * 2001-03-30 2003-07-22 ミノルタ株式会社 画像処理プログラムが格納された記録媒体、画像処理プログラム、画像処理装置
US6833843B2 (en) * 2001-12-03 2004-12-21 Tempest Microsystems Panoramic imaging and display system with canonical magnifier
US7202888B2 (en) * 2002-11-19 2007-04-10 Hewlett-Packard Development Company, L.P. Electronic imaging device resolution enhancement
JP2008117416A (ja) 2003-01-14 2008-05-22 Tokyo Institute Of Technology 画像のサブピクセルマッチングにおける多パラメータ高精度同時推定方法
US7576767B2 (en) * 2004-07-26 2009-08-18 Geo Semiconductors Inc. Panoramic vision system and method
US7643064B1 (en) * 2005-06-21 2010-01-05 Hewlett-Packard Development Company, L.P. Predictive video device system
JP4600209B2 (ja) * 2005-08-18 2010-12-15 ソニー株式会社 画像処理方法、画像処理装置、プログラムおよび記録媒体
US8503817B2 (en) * 2006-03-01 2013-08-06 Panasonic Corporation Apparatus, method and imaging apparatus for correcting distortion of image data using interpolation
JP2007293457A (ja) * 2006-04-21 2007-11-08 Yamaha Corp 画像処理装置
WO2008026518A1 (en) * 2006-08-31 2008-03-06 Panasonic Corporation Image processing device, image processing method, and image processing program
US8306121B2 (en) * 2008-03-17 2012-11-06 Ati Technologies Ulc Method and apparatus for super-resolution of images
CN102037489B (zh) * 2008-05-21 2013-08-21 Tp视觉控股有限公司 图像分辨率增强
TWI441514B (zh) * 2008-11-12 2014-06-11 Avisonic Technology Corp 魚眼影像校正及減輕透視變形的影像處理方法及相關影像處理裝置
US8233747B2 (en) * 2009-04-03 2012-07-31 Sony Corporation Method and apparatus for forming super resolution images from raw data representative of color filter array images
US8724000B2 (en) * 2010-08-27 2014-05-13 Adobe Systems Incorporated Methods and apparatus for super-resolution in integral photography
US8896703B2 (en) * 2011-03-31 2014-11-25 Fotonation Limited Superresolution enhancment of peripheral regions in nonlinear lens geometries

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0918685A (ja) * 1995-06-29 1997-01-17 Ricoh Co Ltd 画像合成方法
JP2008091979A (ja) * 2006-09-29 2008-04-17 Hitachi Ltd 画像高画質化装置、及びその方法、並びに画像表示装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2661071A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118334063A (zh) * 2024-06-13 2024-07-12 中国科学院长春光学精密机械与物理研究所 一种基于核相关滤波的地基望远镜稳像方法

Also Published As

Publication number Publication date
US9609181B2 (en) 2017-03-28
EP2661071B1 (en) 2019-03-20
EP2661071A4 (en) 2015-01-21
US20130258048A1 (en) 2013-10-03
JP5654867B2 (ja) 2015-01-14
JP2012138771A (ja) 2012-07-19
EP2661071A1 (en) 2013-11-06

Similar Documents

Publication Publication Date Title
JP5654867B2 (ja) 映像信号処理装置及び映像信号処理方法
JP3930898B2 (ja) 画像合成装置および画像合成方法
CN113436113B (zh) 防抖动的图像处理方法、装置、电子设备和存储介质
JP5906493B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
US8217956B1 (en) Method and apparatus for rendering spherical panoramas
JP6518115B2 (ja) 画像処理装置、撮像装置、画像処理装置の制御方法、及びプログラム
JP2007164258A (ja) 画像合成処理装置及び方法
WO2005024723A1 (ja) 画像合成システム、画像合成方法及びプログラム
TWI459325B (zh) 數位影像處理裝置及其處理方法
JP6513941B2 (ja) 画像処理方法、画像処理装置及びプログラム
WO2018066027A1 (ja) 画像処理装置、撮像システム、画像処理方法および画像処理プログラム
JP2007266667A (ja) カメラ付き携帯機器、その制御方法及びその撮影支援方法
WO2008102898A1 (ja) 画質改善処理装置、画質改善処理方法及び画質改善処理プログラム
JP2005045513A (ja) 画像処理装置及び歪補正方法
JP4714038B2 (ja) 画像の高解像度化方法及び装置
JP6711670B2 (ja) 情報処理装置、画像表示装置、画像表示システム、および情報処理方法
JP4017578B2 (ja) 手ぶれ補正装置、手ぶれ補正方法および手ぶれ補正プログラムを記録した記録媒体
JP4624802B2 (ja) 内視鏡装置、及びそのプログラム
KR102480209B1 (ko) 다중 카메라의 영상 합성 방법 및 다중 카메라의 영상 합성 장치
JP2013069012A (ja) 多眼撮像装置
WO2017154417A1 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2008003683A (ja) 画像生成装置及びその方法並びに記録媒体
JP2014072797A (ja) 撮像装置およびその制御方法
JP2020038730A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2015201714A (ja) 撮像装置、画像処理方法及び制御プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11852336

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2011852336

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13992807

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE