WO2011052276A1 - 画像処理装置、画像処理方法、画像処理プログラム、画像処理プログラムを記録した記録媒体 - Google Patents

画像処理装置、画像処理方法、画像処理プログラム、画像処理プログラムを記録した記録媒体 Download PDF

Info

Publication number
WO2011052276A1
WO2011052276A1 PCT/JP2010/063220 JP2010063220W WO2011052276A1 WO 2011052276 A1 WO2011052276 A1 WO 2011052276A1 JP 2010063220 W JP2010063220 W JP 2010063220W WO 2011052276 A1 WO2011052276 A1 WO 2011052276A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
line segment
quadrilateral
unit
virtual line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2010/063220
Other languages
English (en)
French (fr)
Inventor
晶 藤原
名古　和行
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to CN2010800487099A priority Critical patent/CN102648622A/zh
Priority to EP10826411.0A priority patent/EP2495949A4/en
Priority to US13/504,424 priority patent/US8731321B2/en
Publication of WO2011052276A1 publication Critical patent/WO2011052276A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations

Definitions

  • the present invention relates to an image processing apparatus, and more particularly to an image processing apparatus that corrects image distortion.
  • Patent Document 1 Japanese Patent Application Laid-Open No. 8-163427
  • Patent Document 2 the original aspect ratio of the subject image and the projection parameters are calculated from the distorted subject image in the captured image. Then, the distortion of the captured image is corrected using them.
  • Patent Document 3 distortion of a captured image (document image) is detected using a line segment detected from a document image. It is corrected.
  • An object of the present invention is to provide an image processing apparatus capable of correcting distortion of an image of a subject without manually adjusting a correction degree.
  • an image processing apparatus generates a line segment image obtained by extracting a contour line segment that is a line segment included in the contour of the subject image from a captured image obtained by capturing the subject.
  • an image correction unit that corrects the perspective transformation distortion of the captured image.
  • An image processing method is an image processing method in an image processing apparatus for solving the above-described problem, and is a line segment included in an outline of an image of a subject from a captured image obtained by capturing the subject.
  • a line segment image generation step for generating a line segment image obtained by extracting a contour line segment, and inserting at least one virtual line segment that is a virtual line segment into the line segment image generated in the line segment image generation step
  • a quadrilateral specifying step of selecting four line segments from the set of virtual line segments and the contour line segments, and specifying a quadrilateral surrounded by four straight lines each including the four line segments, and the four sides
  • an image correction step of correcting the perspective transformation distortion of the captured image based on the quadrilateral specified in the shape specifying step.
  • the line segment image generation unit extracts the contour of the subject image from the captured image obtained by capturing the subject. Then, the line segment image generation unit generates a line segment image indicating the contour line segment by extracting a contour line segment that is a line segment included in the extracted contour (a straight line segment separated by two points).
  • the subject includes two sets of line segments that are substantially parallel to each other at the outer edge, and the angle between the sets of line segments that are substantially perpendicular to each other (for example, a subject having a rectangular or square surface). Assumed. Further, it is assumed that the subject image included in the captured image has at least two sides.
  • the quadrilateral identifying unit inserts at least one virtual line segment into the generated line segment image, selects four line segments from the set of the inserted virtual line segment and the outline segment included in the line segment image, A quadrilateral surrounded by four straight lines each including the four line segments is specified.
  • the image correcting unit corrects the perspective transformation distortion of the captured image based on the quadrilateral identified by the quadrilateral identifying unit.
  • the image correction unit may cause the quadrangle to have the same aspect ratio as the aspect ratio of the image of the subject corresponding to the quadrangle so that the four corners of the quadrangle specified by the quadrangle specifying unit are perpendicular to each other.
  • the perspective transformation distortion of the captured image is corrected by correcting the quadrilateral.
  • the perspective transformation distortion of the captured image can be corrected appropriately.
  • the image processing apparatus generates a line segment image that generates a line segment image obtained by extracting a contour line segment that is a line segment included in the contour of the subject image from a captured image obtained by capturing the subject.
  • At least one virtual line segment that is a virtual line segment is inserted into the line segment image generated by the generation unit and the line segment image generation unit, and four lines are collected from the set of the inserted virtual line segment and the contour line segment.
  • a quadrilateral specifying unit that selects a line segment and specifies a quadrilateral surrounded by four straight lines each including the four line segments, and a quadrilateral specified by the quadrilateral specifying unit, And an image correcting unit that corrects the perspective transformation distortion.
  • An image processing method is an image processing method in an image processing apparatus, and extracts a line segment image, which is a line segment included in the outline of the subject image, from a captured image obtained by imaging the subject.
  • a line image generating step for generating a line segment, and at least one virtual line segment that is a virtual line segment is inserted into the line segment image generated in the line segment image generating step, and the inserted virtual line segment and the contour line segment are inserted
  • an image correction step for correcting the perspective transformation distortion of the captured image.
  • the perspective transformation distortion of the captured image can be appropriately corrected.
  • FIG. 1 is a block diagram illustrating a configuration of an image processing apparatus according to an embodiment of the present invention. It is a figure for demonstrating the function of the digital camera which concerns on one Embodiment of this invention. It is a block diagram which shows the structure of the digital camera which concerns on one Embodiment of this invention.
  • (A) is a figure which shows an example of a captured image
  • (b) is a figure which shows the edge image produced
  • (A) is a figure which shows an example of the edge image which the outline extraction part produced
  • (b) is a figure which shows the line segment image produced
  • (A) is a graph showing the positions of point A and point B in the xy coordinate system of the edge image, and (b) converts (x, y) coordinates in the xy coordinate system into coordinates ( ⁇ , ⁇ ) in the polar coordinate system. It is a graph which shows the curve corresponding to the point A and the point B when doing. It is a figure which shows the vote in Hough conversion.
  • It is a flowchart which shows an example of the flow of a process in the line segment extraction part with which the said image processing apparatus is provided.
  • (A) And (b) is a figure which shows the specific example of the quadrilateral candidate from which evaluation value differs. It is a figure for demonstrating the significance of making the evaluation value of a virtual line segment small. It is a figure which shows the example of a display in the monitor of a captured image and a quadrilateral candidate. It is a figure which shows an example of an operation button. It is a figure which shows the positional relationship of the object in perspective transformation.
  • (A) is a figure which shows an example of the image after correction
  • (b) is a figure which shows an example of the quadrilateral contained in the image before correction
  • FIG. 1 It is a flowchart which shows an example of the flow of a process in the quadrangle candidate calculation part with which the image processing apparatus concerning another embodiment of this invention is provided.
  • A is a figure which shows an example of the display screen of a monitor when selecting a virtual line segment
  • (b) is a figure which shows the display screen of a monitor when the rightmost virtual line segment is selected. It is a figure which shows an example of the operation button for inputting the insertion position of a virtual line segment.
  • (A) And (b) is a figure for demonstrating the insertion position determination process in an insertion position determination part. It is a figure which shows the structure of the computer which concerns on another embodiment of this invention.
  • the image processing apparatus of the present invention is not limited to a digital camera, but is an apparatus (for example, a scanner, a printer, a mobile phone) that acquires captured image data from a built-in imaging apparatus or an external apparatus and processes the captured image data. ) As long as it is any device.
  • an apparatus for example, a scanner, a printer, a mobile phone
  • FIG. 2 is a diagram for explaining functions of the digital camera 100 according to the present embodiment.
  • the digital camera 100 captures the white plate 110 from an oblique direction
  • the white plate image 112 in the captured image 111 is distorted.
  • a subject such as a schedule board
  • a part of the subject image may not fit in the captured image.
  • an image including a white plate image 114 without distortion such as the corrected image 113 is obtained.
  • an image without distortion can be obtained even when a part of the subject image does not fit in the captured image.
  • FIG. 3 is a diagram illustrating the configuration of the digital camera 100.
  • a digital camera 100 includes an optical system 1, an image sensor 2, a memory 3, a card reader / writer 4, a CPU (central processing unit) 5, an operation button 6, a monitor (display unit) 7, and an image processing device. 10 is provided.
  • the optical system 1 includes a lens (not shown) for forming an image of a subject on the imaging surface of the image sensor 2 and a lens driving mechanism (not shown) for adjusting the focus of the lens.
  • the optical system 1 outputs focal length information indicating the focal length when the captured image is captured to the CPU 5.
  • the image sensor 2 is an image pickup element having an image pickup surface in which a plurality of sensors are arranged in a matrix, and converts an optical image of a subject formed on the image pickup surface through the optical system 1 into an image signal.
  • a charge coupled device (CCD) image sensor or a complementary metal-oxide-semiconductor (CMOS) image sensor can be used.
  • the image sensor 2 stores the generated captured image in the memory 3.
  • the memory 3 is a storage unit for storing a captured image, a corrected captured image (corrected image), and the like, and is, for example, a semiconductor memory.
  • the card reader / writer 4 reads and writes captured images and corrected images with respect to the memory card 30.
  • the CPU 5 is a main control unit of the digital camera 100 and images the subject by controlling the optical system 1 and the image sensor 2 and stores the captured image in the memory 3 and displays it on the monitor 7. At the same time, the CPU 5 associates the captured image with the focal length when the captured image is captured and inputs the image to the image processing apparatus 10. Thereafter, the CPU 5 receives the corrected image without distortion from the image processing apparatus 10, stores it in the memory 3, and displays the corrected image on the monitor 7. Further, the CPU 5 controls the card reader / writer 4 to output the corrected image to the memory card 30.
  • the focal length may be embedded in the captured image data when the image is taken.
  • information called Exif is embedded in the captured image data of the digital camera together with the data of the captured image itself, and the focal length may be stored in Exif.
  • the monitor 7 is a display unit that displays a captured image, a corrected image, and the like, and is, for example, a liquid crystal display.
  • the operation button 6 is an instruction input unit that receives an instruction from a user who operates the digital camera 100.
  • the operation button 6 may be realized as a soft key displayed on the monitor 7 functioning as a touch panel.
  • FIG. 1 is a block diagram illustrating a configuration of the image processing apparatus 10.
  • the image processing apparatus 10 includes a focal length input unit 11, an image input unit 12, a contour extraction unit (line segment image generation unit) 13, a line segment extraction unit (line segment image generation unit) 14, four sides
  • a shape candidate calculation unit (quadron identification unit, ranking unit) 15, a quadrangle selection unit 16, an image correction unit 17, and an image output unit 18 are provided.
  • the focal length input unit 11 receives the focal length information indicating the focal length when the captured image is captured as an input from the CPU 5, and outputs the received focal length information to the image correction unit 17.
  • the image input unit 12 receives the captured image generated by the image sensor 2 as an input from the CPU 5, and outputs the received captured image to the contour extraction unit 13.
  • the contour extraction unit 13 generates an edge image 42 by extracting the contour of the subject image from the captured image 41 received from the image input unit 12, as shown in FIGS. 4A and 4B.
  • FIG. 4A is a diagram illustrating an example of a captured image
  • FIG. 4B is a diagram illustrating an edge image generated from the captured image illustrated in FIG.
  • an edge image is an image showing a sequence of points where the luminance value changes abruptly (discontinuously) in an image to be processed (that is, a captured image), and an image of a subject included in the image. It is an image which shows the curve or line segment which shows a boundary.
  • the line segment extracting unit 14 extracts a contour line segment that is a line segment included in the contour of the image of the subject from the edge image generated by the contour extracting unit 13, and generates a line segment image indicating the contour line segment.
  • the contour extraction unit 13 and the line segment extraction unit 14 generate a line segment image by extracting a contour line segment that is a line segment included in the contour of the image of the subject from the captured image obtained by capturing the subject. Functions as an image generation unit.
  • the quadrangle candidate calculation unit 15 inserts at least one virtual line segment, which is a virtual line segment, into the line segment image generated by the line segment extraction unit 14, and is included in the inserted virtual line segment and line segment image.
  • Four line segments are selected from the set of contour line segments, and a quadrilateral (quadron candidate) surrounded by four straight lines each including the four line segments is specified.
  • the quadrilateral candidate calculating unit 15 inserts a virtual line segment along at least one side (in parallel with one side) of the four sides forming the outer edge of the line segment image or overlapping the one side.
  • the number of virtual line segments to be inserted is at least one, but in order to reliably compensate for the missing portion of the image of the subject, a virtual line segment is inserted into each of the four sides forming the outer edge of the line segment image (that is, It is preferable to insert four virtual line segments).
  • the quadrilateral candidate calculation unit 15 inserts one virtual line segment for each of the four sides forming the outer edge of the line segment image.
  • the quadrilateral selection unit 16 displays the ranked quadrilateral candidates on the monitor 7 according to the ranking, and allows the user to select a quadrilateral (correction quadrilateral) to be used for correcting the captured image from the plurality of quadrilateral candidates, Information specifying the correction quadrilateral is received from the user.
  • the image output unit 18 outputs the captured image (corrected image) corrected by the image correction unit 17 to the CPU 5. This corrected image is displayed on the monitor 7 and stored in the memory 3.
  • the contour extraction unit 13 When the contour extraction unit 13 receives the captured image from the image input unit 12, the contour extraction unit 13 generates an edge image indicating the contour of the image of the subject from the received captured image (step S2). The contour extracting unit 13 outputs the generated edge image to the line segment extracting unit 14.
  • the line segment extraction unit 14 extracts a contour line segment included in the contour of the image of the subject from the received edge image, and generates a line segment image indicating the contour line segment (step S3).
  • the line segment extraction unit 14 outputs the generated line segment image to the quadrilateral candidate calculation unit 15.
  • the quadrilateral candidate calculation unit 15 uses a plurality of quadrilaterals with reference to the lengths of the outline and virtual line segments that each quadrilateral candidate has.
  • the shape candidates are ranked (step S6).
  • the quadrilateral candidate calculation unit 15 outputs information indicating the ranked quadrilateral candidates to the quadrangle selection unit 16.
  • the quadrangle candidate calculation unit 15 outputs correction quadrilateral specifying information for specifying the quadrilateral candidate to the image correction unit 17.
  • the image output unit 18 outputs the captured image corrected by the image correction unit 17 to the CPU 5 (step S10).
  • FIG. 6 is a flowchart illustrating an example of a processing flow in the contour extraction unit 13.
  • the contour extraction unit 13 generates a luminance image from the captured image received from the image input unit 12 (step S11).
  • a luminance image is an image obtained by extracting only luminance value information from a captured image, and is a monochrome grayscale image that does not include color information.
  • the R (red), G (green), and B (blue) values (luminance values) of the coordinates (x, y) of the captured image are r (x, y), g (x, y), and b (x), respectively. , Y), and the brightness value l (x, y) of the coordinates (x, y) of the brightness image is expressed by the following equation (1).
  • c1, c2, and c3 are coefficients.
  • c1, c2, and c3 are all 1/3, and averages of R, G, and B values are taken.
  • the contour extraction unit 13 generates an edge image from the luminance image (step S12).
  • a method for generating an edge image there is a method using an image processing filter such as Sobel or Prewitt.
  • Sobel filter calculates an edge intensity value from a primary differential value that is a change amount of a luminance value in the x and y directions.
  • the value e (x, y) of the coordinate (x, y) of the edge image is expressed by the following equations (2a), (2b), (2c) using the value l (x, y) of the coordinate (x, y) of the luminance image. ).
  • ⁇ x ⁇ 1 ⁇ l (x ⁇ 1, y ⁇ 1) ⁇ 2 ⁇ l (x ⁇ 1, y) ⁇ 1 ⁇ l (x ⁇ 1, y + 1) + 1 ⁇ l (x + 1, y ⁇ 1) + 2 ⁇ l (X + 1, y) + 1 ⁇ l (x + 1, y + 1)
  • ⁇ y ⁇ 1 ⁇ l (x ⁇ 1, y ⁇ 1) ⁇ 2 ⁇ l (x, y ⁇ 1) ⁇ 1 ⁇ l (x + 1, y ⁇ 1) + 1 ⁇ l (x ⁇ 1, y + 1) + 2 ⁇ l (X, y + 1) + 1 ⁇ l (x + 1, y + 1)
  • e (x, y) ( ⁇ x ⁇ ⁇ x + ⁇ y ⁇ ⁇ y) 1/2
  • e (x, y) is set to 0 when the edge value e (x, y) is smaller than a predetermined threshold in order to remove noise
  • FIG. 7A is a diagram illustrating an example of an edge image generated by the contour extracting unit 13
  • FIG. 7B is a diagram illustrating a line segment image generated from the edge image illustrated in FIG. FIG.
  • Hough transform is used for line segment extraction.
  • the Hough transform is to convert the coordinates (x, y) of the edge image into the coordinates ( ⁇ , ⁇ ) of the polar coordinate system, and the coordinates (x, y) are converted to ( ⁇ , ⁇ ) by the following equation (3). To do.
  • FIG. 8 (a) and FIG. 8 (b) Expression (3) is shown in FIG. 8 (a) and FIG. 8 (b).
  • 8A is a graph showing the positions of the points A and B in the xy coordinate system of the edge image
  • FIG. 8B is a graph showing the (x, y) coordinates of the xy coordinate system in the polar coordinate system. It is a graph which shows the curve corresponding to the point A and the point B when it converts into coordinate ((rho), (theta)).
  • the points A and B in the edge image each correspond to one curve in the polar coordinate system, and the straight line passing through the points A and B in the edge image corresponds to the intersection of two curves in the polar coordinate system.
  • FIG. 10 is a flowchart showing an example of the processing flow in the line segment extraction unit 14.
  • the line segment extraction unit 14 confirms whether there is an edge point that is not used for voting in the Hough transform (step S21).
  • An edge point refers to a pixel whose edge value e is not 0 in the edge image.
  • the line segment extraction unit 14 randomly selects an edge point from the edge point (step S22).
  • the line segment extraction unit 14 votes the coordinates on the curve of the polar coordinate system for the selected edge point (step S23).
  • the line segment extraction unit 14 confirms whether or not the vote number that is the maximum vote number in the previous step S23 is equal to or greater than a predetermined threshold (step S24).
  • the line segment extraction unit 14 considers the maximum number of votes and calculates a corresponding straight line, and converts the calculated straight line into a plurality of line segments (step). S25). Specifically, the coordinates on the straight line are scanned in the edge image, and the portion where the edge points are connected is extracted as a line segment (contour line segment). However, extremely short line segments are not extracted as noise.
  • the line segment extraction unit 14 removes the edge points on the extracted line segment by setting the value to 0 as being used for the straight line detection (step S26), and repeats the processing from step S21 onward.
  • step S24 the line segment extracting unit 14 repeats the processes in and after step S21.
  • step S21 the line segment extraction unit 14 creates a line segment image with the extracted line segment (step S27), and ends the process.
  • the quadrilateral candidate calculation unit 15 calculates a plurality of quadrilaterals composed of line segments included in the line segment image as quadrilateral candidates used for correcting the captured image. However, in consideration of the case where the subject image does not fit in the captured image, a virtual line segment is inserted at the end of the line segment image.
  • FIG. 11 is a diagram illustrating a line segment image 44 into which virtual line segments 45, 46, 47, and 48 are inserted. In the figure, four virtual line segments are inserted along the four sides forming the outer edge of the line segment image 44.
  • the length of the virtual line segment may be substantially the same as the long side or the short side of the line segment image, or may be shorter than that, and is not particularly limited.
  • the virtual line segment is preferably inserted in parallel to the outer edge side of the line segment image, but since the angle of the virtual line segment can be changed as in the embodiment described later, It is not always necessary to insert.
  • the quadrilateral candidate calculation unit 15 ends the process because the quadrilateral cannot be formed.
  • the quadrangle candidate calculation unit 15 selects four lines from the set of line segments including the virtual line segment (step S33). At this time, a combination not selected so far is selected. It is confirmed whether the four sides constituting the quadrilateral can be calculated for the selected four line segments (step S34).
  • FIG. 13 is a diagram illustrating straight lines that form four sides of a quadrilateral candidate.
  • the number of intersections generated from the four straight lines is six at the maximum as shown in FIG.
  • the four sides constituting the quadrilateral cannot be calculated. If the number of intersections is 4 or more, a quadrilateral having four sides of four lines obtained by selecting any four points from the intersections and dividing the straight line by the selected four points is expressed as follows. If all the conditions are met, the candidate is a quadrilateral. If there is a condition that does not satisfy even one, the four sides constituting the quadrilateral candidate cannot be calculated.
  • FIG. 14 is a diagram for explaining a method for determining whether or not a quadrilateral is a convex shape.
  • the sign of the outer product (v1 ⁇ v2) of the vectors v1 and v2 is the sign of sin ⁇ with respect to the angle ⁇ when v1 is rotated clockwise so as to overlap v2.
  • FIGS. 15A to 15D are diagrams showing examples of captured images when the image of the subject does not fit in the captured image.
  • a quadrilateral that shows a part of the contour of the subject image Can be calculated.
  • FIG. 15 (d) shows a case where one of the four sides forming the contour of the subject image does not fit. The case where the two sides do not fit is shown.
  • quadrilateral candidate calculation unit 15 stores the calculated four sides as a quadrilateral candidate (step S35).
  • the quadrilateral candidate calculation unit 15 executes the processes in and after step S36.
  • step S35 the quadrangle candidate calculation unit 15 confirms whether all line segment combinations have been selected (step S36).
  • quadrilateral candidate calculation unit 15 orders the quadrilateral candidates in a reasonable order (step S37).
  • the user of a digital camera seems to image the subject as large as possible.
  • a line segment other than the line segment forming the contour of the image of the subject is a part of the sides of the quadrilateral candidate.
  • the lengths of the line segments (contour line segment and virtual line segment) respectively corresponding to the four sides forming the quadrilateral candidate are used as evaluation values, and the quadrilateral candidates are ordered in descending order of the evaluation values. Since the virtual line segment is not an original line segment, the evaluation value may be decreased by multiplying the length included in the quadrilateral by a certain ratio of 1 or less.
  • the quadrilateral candidate calculation unit 15 uses a value positively correlated with the length of the contour line segment and the virtual line segment as the evaluation value of the quadrilateral candidate, and the evaluation value for the unit length of the virtual line segment is the contour line. It is smaller than the evaluation value for the unit length of minutes.
  • FIG. 16 is a diagram for explaining evaluation values of quadrilateral candidates.
  • FIGS. 17A and 17B are diagrams illustrating specific examples of quadrilateral candidates having different evaluation values.
  • a quadrilateral indicated by a thick broken line represents a quadrilateral candidate.
  • the sum of the lengths of line segments a, b, c, and d is an evaluation value.
  • the length of the line segment part forming the side of the quadrilateral candidate is determined. Use the evaluation value.
  • the quadrilateral candidate corresponding to the four sides forming the contour of the image of the subject has a long side, and the evaluation value increases because the line segment included in each side is long.
  • the side of the quadrilateral candidate from a part of a character in the white board is used.
  • the evaluation value is small because the line segment included in the side is short.
  • the contour line segment that forms the contour of the image of the subject is extracted from the captured image.
  • a line segment that does not form the contour of the subject image may be extracted as the contour line segment.
  • the evaluation value is a value for lowering the priority of the quadrilateral candidate calculated based on the line segment that should not be extracted as the contour line segment.
  • step S33 if the quadrilateral candidate calculation unit 15 has not selected all the line segment combinations (NO in step S36), the process from step S33 is repeated.
  • a ranking unit that ranks the quadrilaterals may be provided.
  • the ranking unit determines a plurality of identified quadrilaterals based on the lengths of the contour line segments and virtual line segments of each quadrilateral candidate for the plurality of quadrilateral candidates identified by the quadrilateral candidate calculating unit 15. Ranking.
  • FIG. 18 is a diagram for explaining the significance of reducing the evaluation value of the virtual line segment.
  • the quadrilateral to be detected in FIG. 18 is a quadrilateral surrounded by straight lines each including line segments s1, s2, s3, and s4.
  • the line segment s2 is shorter than the side of the subject, but if the subject is slightly warped or the subject side itself is not a strict straight line due to lens distortion or the like, the extracted line segment is shorter than the actual side. Become.
  • the virtual line segment can be used only when the subject image does not fit in the captured image. It is possible to increase the possibility that a quadrilateral including a character is ranked higher than a quadrilateral candidate.
  • FIG. 19 is a diagram illustrating a display example of the captured image and the quadrangle candidate on the monitor 7.
  • the quadrilateral selection unit 16 displays a captured image 81 and a quadrilateral candidate 82 on the monitor 7 as shown in FIG.
  • the quadrilateral selection unit 16 uses the selected quadrilateral candidate for correcting the captured image.
  • the correction quadrilateral is output to the image correction unit 17.
  • the quadrilateral selection unit 16 first displays the quadrilateral candidate with the highest evaluation value.
  • An example of the operation button 6 is shown in FIG. Each time the next candidate display button 61 is pressed, the next quadrilateral candidate is displayed in descending order of the evaluation value. Each time the previous candidate display button 62 is pressed, the next quadrilateral candidate is displayed in ascending order of evaluation values.
  • the decision button 63 is pressed when correcting the image with the displayed quadrilateral candidate. That is, the button is pressed when the quadrilateral candidate displayed at that time is specified as a correction quadrilateral. By this operation, correction quadrilateral specifying information is input.
  • the image correcting unit 17 calculates the aspect ratio of the subject according to the perspective transformation principle described below, and corrects the distorted quadrilateral on the captured image to a rectangle.
  • FIG. 21 is a diagram illustrating the positional relationship of objects in perspective transformation.
  • the positional relationship of objects in perspective transformation is shown in FIG. 21 in a three-dimensional vector space with the center of the lens as the origin O.
  • the imaging surface 51 is perpendicular to the optical axis 52 of the optical system 1 and the distance from the lens center to the imaging surface 51 is the focal length d.
  • the imaging surface 51 means an imaging surface in the image sensor 2.
  • the positional relationship shown in FIG. 21 is generally used from the viewpoint of easy understanding. It is.
  • the rectangular vertices of the subject 53 are defined as q 1 , q 2 , q 3 , and q 4, and the vertices of the distorted quadrilateral 51 a on the imaging surface 51 are defined as p 1 , p 2 , p 3 , and p 4 .
  • p i (1 ⁇ i ⁇ 4) is defined by the following equation (4).
  • ⁇ represents an inner product of vectors.
  • Expression (6a) is a condition for forming a parallelogram
  • Expression (6b) is a condition for allowing adjacent edges to be orthogonal.
  • the following formula (7) is obtained from the formula (5) and the formula (6a).
  • Equation (12) is a simultaneous equation with respect to k 1 and k 2 , and the following equation (13) is obtained by solving this.
  • the focal length may be given from the outside. That is, the focal length indicated by the focal length information received from the CPU 5 by the focal length input unit 11 may be used.
  • the aspect ratio of the subject 53 is expressed by the following equation (16).
  • a distance magnification t i (1 ⁇ i ⁇ 4) from the imaging surface 51 is determined for each vertex of the subject 53.
  • FIGS. 22A and 22B The correspondence between the corrected pixel value and the distorted quadrilateral pixel before correction is shown in FIGS. 22A and 22B.
  • FIG. 22A is a diagram illustrating an example of an image after correction
  • FIG. 22B is a diagram illustrating an example of a quadrilateral included in the image before correction.
  • the pixel values that divide the upper and lower sides of the rectangle 54 as the corrected image into m: (1-m) and the left and right sides into n: (1-n) are the four sides for correction included in the pre-correction image.
  • the upper side of form 55 is internally divided into t 2 ⁇ m: t 1 ⁇ (1-m)
  • the lower side is internally divided into t 4 ⁇ m: t 3 ⁇ (1-m)
  • the left side is t 3 ⁇ n:
  • a corrected image is calculated by using an interpolation method such as bilinear interpolation or bicubic interpolation.
  • Bilinear interpolation is a method in which the weighted average pixel value of four pixels around the position calculated according to the internal ratio in the quadrilateral included in the pre-correction image is used as the pixel value of the post-correction image.
  • Bicubic interpolation is a method for calculating pixel values of a corrected image using 16 neighboring pixels.
  • FIG. 23 is a flowchart illustrating an example of a processing flow in the image correction unit 17.
  • the image correction unit 17 checks whether or not the focal length can be calculated from the correction quadrilateral selected by the user in accordance with the perspective transformation principle (step S41).
  • the image correcting unit 17 calculates the aspect ratio of the corrected image using the calculated focal length (step S42).
  • the image correction unit 17 calculates the aspect ratio of the corrected image using the focal length input in the focal length input unit 11 (step S43).
  • the image correction unit 17 creates a corrected image according to the perspective transformation principle using the aspect ratio of the corrected image and the distance magnification (step S44).
  • contour extraction unit 13, the line segment extraction unit 14, the quadrilateral candidate calculation unit 15, and the quadrilateral selection unit 16 can reduce the processing cost by performing the above-described processing on the image obtained by reducing the captured image.
  • the quadrangle candidate calculation unit 15 shapes the quadrangle candidate. Specifically, the quadrilateral candidate calculation unit 15 determines the position of the side including the virtual line segment so that the side including the virtual line segment included in the quadrilateral candidate identified by itself is parallel to the opposite side ( Change the (tilt). Therefore, in the present embodiment, the quadrangle candidate calculation unit 15 also has a function as a quadrilateral shaping unit. The image correction unit 17 corrects the perspective transformation distortion of the captured image based on the quadrangle candidate shaped by the quadrangle candidate calculation unit 15.
  • FIG. 24 is a flowchart showing an example of a processing flow in the quadrangle candidate calculation unit 15 provided in the image processing apparatus 10 according to the present embodiment.
  • the quadrangle candidate calculation unit 15 executes side correction processing (step S55) between step S34 and step S35 shown in FIG.
  • Steps S51 to S54 shown in FIG. 24 are the same as steps S31 to S34, and steps S56 to S58 are the same as steps S35 to S37.
  • the image correction unit 17 corrects the quadrangle candidate so that the side including the virtual line segment is parallel to the opposite side.
  • a quadrilateral necessary for correction can be obtained even when the digital camera is rotated with respect to the subject.
  • FIG. 25A is a diagram showing a quadrilateral candidate before the side position is corrected
  • FIG. 25B is a diagram showing the quadrilateral candidate after the side position is corrected.
  • a quadrilateral indicated by a thick broken line is a quadrilateral candidate.
  • FIG. 26 is a flowchart illustrating an example of the flow of edge correction processing.
  • the quadrangle candidate calculation unit 15 checks whether or not the number of virtual line segments among the four line segments constituting the quadrangle is 1 (step S61).
  • the quadrangle candidate calculation unit 15 adds both ends of the sides including the virtual line segments so that the sides including the virtual line segments are parallel to the opposite sides. The position of either one of the vertices is corrected (step S62).
  • any position of the vertices at both ends of the side including the virtual line segment may be corrected, but it is preferable to correct the position of the vertex having the larger area of the generated quadrilateral. This is because the area of the subject image included in the corrected image becomes larger.
  • the vertex after the position correction does not fit in the line segment image.
  • a virtual image (virtual image) larger than the line segment image having the same coordinate system as that of the line segment image is formed, and four sides are used using the coordinates (pixel positions) in the virtual image.
  • the positions of the four vertices of the shape candidate may be specified.
  • the quadrilateral candidate calculation unit 15 calculates four sides of the quadrilateral including the corrected vertex (step S63).
  • the process ends without doing anything.
  • the number of virtual line segments is 0, 1 or 2 according to the selection conditions 4 and 5 of the quadrangle candidate in step S53 (FIG. 23) of the quadrangle candidate calculation process. If there are two virtual line segments, they are already arranged as parallel sides facing each other. If there are zero virtual line segments, it is not necessary to correct points because all are original line segments.
  • a quadrilateral shaping unit may be provided separately from the quadrilateral candidate calculating unit 15, and the quadrilateral shaping unit may perform the above-described shaping for each of the quadrilateral candidates calculated by the quadrilateral candidate calculating unit 15.
  • the image correction unit 17 corrects the perspective transformation distortion of the captured image based on the quadrilateral shaped by the quadrilateral shaping unit.
  • Embodiment 3 The following will describe another embodiment of the present invention with reference to FIGS.
  • symbol is attached
  • insertion position information indicating the insertion position of the virtual line segment is received from the user of the digital camera 100, and the quadrilateral candidate calculation unit 15 inserts the virtual line segment at the insertion position indicated by the acquired insertion position information. To do.
  • the operation button 6 or the monitor 7 Since the insertion position information is input via a soft key displayed on the operation button 6 or the monitor 7, the operation button 6 or the monitor 7 functions as an insertion position information acquisition unit that acquires the insertion position information.
  • FIG. 27 is a flowchart illustrating an example of a processing flow in the quadrangle candidate calculation unit 15 included in the image processing apparatus 10 according to the present embodiment.
  • a virtual line segment selection process by the user is executed before step S31 in FIG. 12 (step S71).
  • Steps S72 to S78 shown in FIG. 27 are the same as steps S31 to S37.
  • FIG. 28A is a diagram showing an example of a monitor display screen when a virtual line segment is selected
  • FIG. 28B is a diagram of the monitor 7 when the rightmost virtual line segment is selected. It is a figure which shows a display screen.
  • the quadrilateral candidate calculation unit 15 displays the captured image 75 on the monitor 7 and cursors 71 to 74 indicating the insertion position of the virtual line segment. Are displayed in the vicinity of the upper, lower, left and right outer edge portions of the captured image 75, respectively.
  • the user of the digital camera determines the insertion position of the virtual line segment using the operation button 6.
  • the color of the cursor 72 corresponding to the rightmost virtual line segment changes as shown in FIG.
  • FIG. 29 shows an example of the operation button 6 for inputting the insertion position of the virtual line segment.
  • the right line segment selection button 601 When the right line segment selection button 601 is pressed, the rightmost virtual line segment is selected. When the right line segment selection button 601 is pressed again, the selection of the rightmost virtual line segment is canceled.
  • a left line segment selection button 602, an upper line segment selection button 603, and an underline segment selection button 604 are arranged on the operation button 6. Selection is completed when the enter button 605 is pressed.
  • the operation button 6 shown in FIG. 29 and the operation button 6 shown in FIG. 20 may share parts.
  • the right line segment selection button 601 and the next candidate display button 61, the left line segment selection button 602 and the previous candidate display button 62, and the determination button 605 and the determination button 63 can share components.
  • the operation button 6 is not necessarily realized as a physical button.
  • a touch panel for detecting a touch position may be provided on the monitor 7 to detect the touch of a figure such as the cursors 71 to 74 displayed on the monitor 7 and perform the same processing as when the button is pressed.
  • FIG. 30 is a block diagram showing a configuration of the image processing apparatus 20 according to the present embodiment. As shown in the figure, the image processing apparatus 20 is different from the image processing apparatus 10 in that it includes an insertion position determination unit 19 that determines a position where a virtual line segment is inserted.
  • the insertion position determination unit 19 determines a missing portion of the subject image in the captured image on the outer edge of the captured image. Specifically, the insertion position determination unit 19 determines the insertion position of the virtual line segment by determining which of the four sides forming the outer edge of the captured image the subject image in the captured image intersects. . That is, the insertion position determination unit 19 determines the outer edge side of the captured image that is in contact with the subject image as the insertion position of the virtual line segment.
  • the insertion position determination unit 19 sets the right end of the captured image as the insertion position of the virtual line segment. Judge as.
  • the quadrilateral candidate calculation unit 15 inserts a virtual line segment so as to compensate for the missing portion determined by the insertion position determination unit 19. Specifically, the quadrilateral candidate calculation unit 15 inserts a virtual line segment so as to be close to or overlap the side determined by the insertion position determination unit 19.
  • the subsequent processing of the quadrangle candidate calculation unit 15 is the same as the processing in the first embodiment described above.
  • FIG. 31 is a flowchart illustrating an example of a processing flow in the insertion position determination unit 19.
  • FIGS. 32A and 32B are diagrams for explaining the insertion position determination process in the insertion position determination unit 19.
  • the insertion position determination unit 19 binarizes the captured image (step S81).
  • a binarization method for example, the method of Otsu can be used.
  • Otsu's method is a method of taking a histogram for the luminance component of a captured image and selecting a threshold value that maximizes the inter-region variance when the histogram is classified into two regions according to a certain threshold value. Each pixel is classified into a white pixel and a black pixel by binarization.
  • the insertion position determination unit 19 performs expansion processing and contraction processing on the binarized image a plurality of times for noise removal (step S82).
  • the expansion process is a process of making a black pixel adjacent to a white pixel a white pixel, and a small black pixel region can be integrated into a white pixel region.
  • the contraction process is a process of making a white pixel adjacent to a black pixel a black pixel, and a small white pixel region can be integrated into the black pixel region.
  • a technique of performing the same number of contraction processes after a plurality of expansion processes is called closing, and applying the same number of expansion processes after a plurality of expansion processes is called opening. Noise can be removed by applying closing and opening in sequence.
  • 32 (a) and 32 (b) are diagrams for explaining the insertion position determination process in the insertion position determination unit.
  • the insertion position determination unit 19 performs a labeling process on the binarized image with noise removed (step S83). In this process, a number is assigned to the connected white pixel area or black pixel area.
  • the insertion position determination unit 19 integrates the areas of the labeled areas that are smaller than a predetermined threshold into the surrounding areas (step S84).
  • the insertion position determination unit 19 considers that the center of the image belongs to the image of the subject, and determines which side of the outer edges of the captured image is adjacent to the region including the center pixel (step S85). ). Then, the insertion position determination unit 19 outputs the position of the side of the captured image adjacent to the subject image to the quadrangle candidate calculation unit 15 as the virtual line segment insertion position.
  • a region of the label having the largest number of pixels near the center of the captured image may be set as the subject region.
  • the insertion position determination unit 19 displays information indicating that it is not necessary to insert a virtual line segment. What is necessary is just to output to the candidate calculation part 15. In this case, the quadrangle candidate calculation unit 15 calculates the quadrangle candidate without inserting the virtual line segment.
  • FIG. 33 is a diagram showing a configuration of a computer 200 according to the present embodiment.
  • the computer 200 includes an input device such as a keyboard 201 and a mouse 202, a CPU (Central Processing Unit) 204, a memory 206 including a ROM (Read Only Memory) and a RAM (Random Access Memory), and a fixed disk (storage unit) 207. And an output interface 203.
  • the computer 200 outputs the display image to the monitor 205 through the output interface 203.
  • the computer 200 includes an optical disc drive 209 that can read data from an optical disc such as a CD-ROM (Compact Disk Read-Only Memory) 212, an FD drive 208 that can read data from a flexible disk (FD: Flexible Disk) 211, It further includes a communication module 210 that can exchange data with an external device.
  • an optical disc drive 209 that can read data from an optical disc such as a CD-ROM (Compact Disk Read-Only Memory) 212
  • an FD drive 208 that can read data from a flexible disk (FD: Flexible Disk) 211
  • FD Flexible Disk
  • An image processing program for causing the CPU 204 to execute each of the processes described above in the image processing apparatus 10 or the image processing apparatus 20 is stored and distributed in a recording medium such as the CD-ROM 212 or the flexible disk 211, and the optical disk drive 209 or the FD. It is read by the drive 208 and installed on the fixed disk 207.
  • the storage unit for storing the image processing program in the computer 200 is not limited to a fixed disk, and may be a flash memory (semiconductor memory) such as an SSD (Solid State Drive).
  • flash memory semiconductor memory
  • SSD Solid State Drive
  • the computer 200 when the computer 200 is connected to the network via the communication module 210, it receives the image processing program transmitted from the server on the network and installs it on the fixed disk 207. May be.
  • the image processing program When receiving an image processing program via a network, the image processing program may be executed after being loaded on the RAM without being installed on the fixed disk 207.
  • the recording medium for storing the image processing program is not limited to the CD-ROM 212 and the flexible disk 211, and may be, for example, a DVD-ROM (Digital Versatile Disk) or a memory card.
  • a drive device capable of reading such a recording medium is provided.
  • the CPU 204 reads a captured image of the digital camera from the fixed disk 207, the CD-ROM 212, or the flexible disk 211, stores it in the memory 206, and displays it on the monitor 205. Then, the CPU 204 creates a corrected image without distortion from the captured image, stores it in the memory 206, and displays it on the monitor 205 via the output interface 203.
  • the focal length input unit 11 stores in the memory 206 the focal length when the captured image to be corrected is captured.
  • the focal length may be read from Exif included in the captured image data, or the focal length calculated when the captured image was corrected previously is stored in the fixed disk 207 in association with the captured image, The focal length may be read into the memory 206.
  • the quadrilateral selection unit 16 displays the captured image and quadrilateral candidates on the monitor 205 via the output interface 203, and the user of the computer 200 uses the keyboard 201 and the mouse 202 instead of the operation buttons 6 to select the quadrilateral. Select a quadrilateral from the candidates. For example, the design of the operation button shown in FIG. 20 is displayed on the monitor 205, and processing corresponding to the case where the operation button is pressed when the mouse 202 is clicked is executed.
  • the image output unit 18 stores the corrected image in the memory 206 and displays it on the monitor 205.
  • part of the processing performed by the computer 200 shown in FIG. 33 may be performed by another computer connected via the communication module.
  • the computer 200 transmits a captured image, receives quadrilateral candidates calculated by another computer, and displays them on the monitor 205.
  • the computer 200 transmits the quadrilateral selected by the user, receives the corrected image created by another computer, and displays it on the monitor 205.
  • the computer 200 transmits a captured image, receives a corrected image corrected by another computer using a quadrilateral candidate having the highest evaluation value, and displays it on the monitor 205.
  • the quadrilateral specifying unit displays the virtual line segment so as to be along or overlap with at least one of the four sides forming the outer edge of the line segment image. It is preferable to insert.
  • the virtual line segment may have a predetermined length, and the length is not particularly limited.
  • the image processing apparatus further includes an insertion position information acquisition unit that receives insertion position information indicating an insertion position of the virtual line segment from a user, and the quadrilateral identification unit is acquired by the insertion position information acquisition unit. It is preferable to insert the virtual line segment at the insertion position indicated by the insertion position information.
  • the insertion position information acquisition unit receives insertion position information indicating the insertion position of the virtual line segment from the user, and the quadrilateral specifying unit inserts the virtual line segment at the insertion position indicated by the insertion position information. To do.
  • the image processing apparatus may further include a determination unit that determines a missing portion of the image of the subject in the captured image on the outer edge of the captured image, and the quadrilateral specifying unit is a missing portion determined by the determination unit. It is preferable to insert the imaginary line segment so as to supplement the portion.
  • the determination unit determines the missing portion on the outer edge of the captured image, and the virtual line segment is inserted so as to compensate for the missing portion.
  • the image processing apparatus further includes a determination unit that determines which of the four sides forming the outer edge of the captured image the image of the subject in the captured image is in contact with. It is preferable to insert the virtual line segment along the side determined by the determination unit or so as to overlap the side.
  • the determination unit determines which of the four sides (outer edge sides) forming the outer edge of the captured image is in contact with the subject image in the captured image.
  • this processing it is possible to determine in which outer edge of the captured image the missing image of the subject is generated. This is because there is a high possibility that the image of the subject is missing in the portion of the image of the subject in contact with the outer edge.
  • the image processing apparatus changes the position of the side including the virtual line segment so that the side including the virtual line segment included in the quadrilateral specified by the quadrilateral specifying unit is parallel to the opposite side. It is preferable that the image correction unit further corrects the perspective transformation distortion of the captured image based on the quadrilateral shaped by the quadrangle shaping unit.
  • the quadrilateral shaping unit is opposed to the sides including the virtual line segment (in other words, the side formed by the virtual line segment) included in the quadrilateral identified by the quadrilateral identifying unit.
  • the position of the side including the virtual line segment is changed so as to be parallel to the side.
  • the image correction unit corrects the perspective transformation distortion of the captured image based on the quadrilateral shaped by the quadrilateral shaping unit.
  • the image processing device includes a plurality of specified quadrilaterals based on the lengths of the contour line segments and virtual line segments included in each quadrilateral. It is preferable to further include a ranking unit that ranks the shapes.
  • the quadrangle is ranked by the ranking unit. This ranking is performed on the basis of the lengths of contour lines and virtual lines included in each quadrilateral. For example, the quadrilaterals are ranked in descending order of the total length of the line segments included in each quadrilateral.
  • the quadrilateral specifying unit uses a value positively correlated with the contour line segment and the length of the virtual line segment as the evaluation value of the quadrilateral, and the evaluation value for the unit length of the virtual line segment is: It is preferably smaller than the evaluation value for the unit length of the contour line segment.
  • the evaluation value of the quadrilateral used by the quadrilateral specifying unit is positively correlated with the lengths of the contour line segment and the virtual line segment. That is, as the length of the line segment increases, the evaluation value of the quadrilateral including the line segment increases.
  • the evaluation value for the unit length of the virtual line segment is set smaller than the evaluation value for the unit length of the contour line segment.
  • the length of the contour line segment extracted from the contour of the subject image can be shortened by partially distorting the subject image or by fragmenting the contour line segment due to the low contrast of the subject image.
  • the virtual line segment has a predetermined length, and when the predetermined length is long, the length of the virtual line segment is statistically longer than the length of the contour line segment. It is possible.
  • the evaluation value for the unit length of the virtual line segment By setting the evaluation value for the unit length of the virtual line segment to be smaller than the evaluation value for the unit length of the contour line segment, an unnecessary virtual line segment is inserted, and a quadrilateral including the virtual line segment is specified. The evaluation value of the quadrilateral can be reduced.
  • an image processing program for causing a computer to execute each step in the image processing method, and a computer-readable recording medium on which the image processing program is recorded.
  • each block of the digital camera 100 described above, particularly each block of the image processing apparatuses 10 and 20 may be configured by hardware logic, or may be realized by software using a CPU as follows.
  • the image processing apparatuses 10 and 20 include a CPU (central processing unit) that executes instructions of a control program that realizes each function, a ROM (read only memory) that stores the program, and a RAM (random access that expands the program). memory), a storage device (recording medium) such as a memory for storing the program and various data.
  • a CPU central processing unit
  • ROM read only memory
  • RAM random access that expands the program
  • memory a storage device (recording medium) such as a memory for storing the program and various data.
  • An object of the present invention is to read a program code (execution format program, intermediate code program, source program) of a control program (image processing program) of the image processing apparatus 10/20, which is software that realizes the functions described above, by a computer
  • This can also be achieved by supplying a recording medium recorded as possible to the image processing apparatuses 10 and 20 and reading and executing the program code recorded on the recording medium by the computer (or CPU or MPU).
  • Examples of the recording medium include tapes such as magnetic tapes and cassette tapes, magnetic disks such as floppy (registered trademark) disks / hard disks, and disks including optical disks such as CD-ROM / MO / MD / DVD / CD-R.
  • Card system such as IC card, IC card (including memory card) / optical card, or semiconductor memory system such as mask ROM / EPROM / EEPROM / flash ROM.
  • the image processing apparatuses 10 and 20 may be configured to be connectable to a communication network, and the program code may be supplied via the communication network.
  • the communication network is not particularly limited.
  • the Internet intranet, extranet, LAN, ISDN, VAN, CATV communication network, virtual private network, telephone line network, mobile communication network, satellite communication. A net or the like is available.
  • the transmission medium constituting the communication network is not particularly limited.
  • infrared rays such as IrDA and remote control, Bluetooth ( (Registered trademark), 802.11 wireless, HDR (high data rate), mobile phone network, satellite line, terrestrial digital network, and the like can also be used.
  • the present invention can also be realized in the form of a computer data signal embedded in a carrier wave in which the program code is embodied by electronic transmission.
  • the present invention can also be expressed as follows.
  • the image processing apparatus of the present invention includes an image input unit, a line segment extraction unit that extracts a line segment from the image input by the image input unit, and a virtual line segment (virtual line segment) in the image.
  • a virtual line segment insertion unit for inserting a quadrilateral candidate calculation unit for calculating a quadrilateral candidate from the line segment (extracted line segment) obtained by the line segment extraction unit and the virtual line segment, and the quadrilateral candidate calculation unit
  • an image correction unit that corrects the perspective transformation distortion of the image based on the quadrangle calculated in (1).
  • the virtual line segment insertion unit inserts the virtual line segment into one or a plurality of positions from the upper, lower, left and right ends of the image.
  • the quadrilateral candidate calculating unit corrects the position of the side including the virtual line segment in the quadrilateral candidate so as to be parallel to the opposite side.
  • the quadrilateral candidate calculation unit orders the quadrilateral candidates based on an evaluation value based on the lengths of the extracted line segments and the virtual line segments included in the quadrilateral candidates.
  • the evaluation value is preferably such that the evaluation value based on the length of the virtual line segment is smaller than the evaluation value based on the length of the extracted line segment.
  • the present invention can be used as an image processing apparatus that corrects distortion of an image of a subject included in a captured image.
  • Image Processing Device 13 Outline Extraction Unit (Line Segment Image Generation Unit) 14 Line segment extraction unit (line segment image generation unit) 15 Quadrilateral candidate calculation unit (quadron identification unit, quadrilateral shaping unit, ranking unit) 17 Image correction unit 19 Insertion position determination unit (determination unit) 20 Image Processing Device 41 Captured Image 44 Line Segment Image 45/46/47/48/49 Virtual Line Segment 53 Subject 55 Quadrilateral 100 Digital Camera (Image Processing Device) 110 White board (subject) 111 captured image 113 corrected image 200 computer (image processing apparatus)

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Analysis (AREA)

Abstract

　画像処理装置（１０）は、被写体を撮像した撮像画像から、被写体の像の輪郭に含まれる線分である輪郭線分を抽出した線分画像を生成する線分抽出部（１４）と、線分抽出部（１４）が生成した線分画像に仮想的な線分である仮想線分を少なくとも１本挿入し、挿入した仮想線分および輪郭線分の集合から４本の線分を選択し、その４本の線分をそれぞれ含む４本の直線によって囲まれる四辺形を特定する四辺形候補算出部（１５）と、四辺形候補算出部（１５）が特定した四辺形に基づいて撮像画像の透視変換歪みを補正する画像補正部（１７）とを備えている。それゆえ、辺を有する被写体を撮像した撮像画像において当該被写体の像の一部が欠けている場合、かつ、被写体が文書画像でない場合でも、補正度合いを手動で調整することなく被写体の歪み補正を行うことができる。

Description

画像処理装置、画像処理方法、画像処理プログラム、画像処理プログラムを記録した記録媒体
　本発明は画像処理装置に関し、特に、画像の歪みを補正する画像処理装置に関する。
　カメラを用いて被写体を斜め方向から見上げて撮像すると、カメラから遠い被写体の部分が小さく歪む、いわゆるアオリが生じる。特開平８－１６３４２７号公報（以下、特許文献１）に記載の「撮像装置」では、小さく歪んだ部分を画像処理により広げることでアオリが補正される。
　一方、デジタルカメラの普及に伴い、紙面などの書類、展示会でのポスター、観光地の案内図、会議などで使用された白板や黒板を撮像してデジタルデータとして利用する方法が広がりつつある。撮像データとしては被写体を正面から撮像したものが内容確認の容易さの観点からは望ましい。また、撮像データからＯＣＲ（光学文字読取装置）で文字を読み取る場合にも正面から撮像したものが認識精度向上の観点からは望ましい。
　しかし、被写体の配置などの物理的制約により正面から撮像できない場合がある。また、光源の方向などにより正面以外から撮像した方が良い場合もある。これらの場合、撮像データでは被写体の像が歪むため、内容確認やＯＣＲでの文字読み取りが困難になる。特開２００４－４０３９５号公報（以下、特許文献２）に記載の「画像歪み補正装置」では、撮像画像中の歪んだ被写体の像から、被写体の像の元の縦横比と射影パラメータとが算出され、それらを用いて撮像画像の歪みが補正される。また、特開２００８－２５７７１３号公報（以下、特許文献３）に記載の「透視変換歪み発生文書画像補正装置」では、文書画像から検出したラインセグメントを用いて撮像画像（文書画像）の歪みが補正される。
日本国公開特許公報「特開平８－１６３４２７号公報（１９９６年６月２１日公開）」 日本国公開特許公報「特開２００４－４０３９５号公報（２００４年２月５日公開）」 日本国公開特許公報「特開２００８－２５７７１３号公報（２００８年１０月２３日公開）」
　しかしながら、特許文献１に記載の装置では、歪みの補正度合いを装置の使用者が手動で調整しなければならず、また、被写体の像の縦横比は復元されない。一方、特許文献２に記載の装置では、被写体の像が撮像面に収まっている必要がある（矩形である被写体の像の４頂点を指定する必要がある）が、ビルやスケジュールボードのような細長い被写体を撮像面に収めることは困難である。また、特許文献３に記載の装置では、画像を補正するためにはラインセグメントを検出する必要があり、被写体が文書画像に限られる。そのため、白板や案内図などラインセグメントを検出できない被写体に対しては歪みを補正できない。
　本発明はこのような問題に鑑みてなされたものであって、被写体を撮像した撮像画像において当該被写体の像の一部が欠けている場合、かつ、被写体が文書画像でない白板などの場合でも、補正度合いを手動で調整することなく被写体の像の歪み補正を行うことのできる画像処理装置を提供することを目的とする。
　本発明に係る画像処理装置は、上記の課題を解決するために、被写体を撮像した撮像画像から、上記被写体の像の輪郭に含まれる線分である輪郭線分を抽出した線分画像を生成する線分画像生成部と、上記線分画像生成部が生成した線分画像に仮想的な線分である仮想線分を少なくとも１本挿入し、挿入した仮想線分および上記輪郭線分の集合から４本の線分を選択し、その４本の線分をそれぞれ含む４本の直線によって囲まれる四辺形を特定する四辺形特定部と、上記四辺形特定部が特定した四辺形に基づいて上記撮像画像の透視変換歪みを補正する画像補正部とを備えることを特徴としている。
　本発明に係る画像処理方法は、上記の課題を解決するために、画像処理装置における画像処理方法であって、被写体を撮像した撮像画像から、上記被写体の像の輪郭に含まれる線分である輪郭線分を抽出した線分画像を生成する線分画像生成工程と、上記線分画像生成工程において生成した線分画像に仮想的な線分である仮想線分を少なくとも１本挿入し、挿入した仮想線分および上記輪郭線分の集合から４本の線分を選択し、その４本の線分をそれぞれ含む４本の直線によって囲まれる四辺形を特定する四辺形特定工程と、上記四辺形特定工程において特定した四辺形に基づいて上記撮像画像の透視変換歪みを補正する画像補正工程とを含むことを特徴としている。
　上記の構成によれば、線分画像生成部は、被写体を撮像した撮像画像から被写体の像の輪郭を抽出する。そして線分画像生成部は、抽出した輪郭に含まれる線分（２点で区切られる直線の部分）である輪郭線分を抽出することにより、輪郭線分を示す線分画像を生成する。
　なお、上記被写体として、互いにほぼ平行な線分の組をその外縁に２組含み、それら線分の組が互いになす角度がほぼ直角であるもの（例えば、長方形または正方形の面を有する被写体）を想定している。また、撮像画像に含まれる被写体の像として、少なくとも２辺を有するものを想定している。
　四辺形特定部は、生成された線分画像に仮想線分を少なくとも１本挿入し、挿入した仮想線分および線分画像に含まれる輪郭線分の集合から４本の線分を選択し、その４本の線分をそれぞれ含む４本の直線によって囲まれる四辺形を特定する。この処理によって、撮像画像に含まれる被写体の像の一部が欠落していても、仮想線分によってその欠落部分を補うことができ、被写体の像の外縁を形成する４辺を仮想的に形成することができる。
　画像補正部は、四辺形特定部が特定した四辺形に基づいて撮像画像の透視変換歪みを補正する。例えば、画像補正部は、四辺形特定部が特定した四辺形の４角が直角となるように、かつ当該四辺形に対応する被写体の像の縦横比と同じ縦横比を当該四辺形が有するように当該四辺形を補正することで撮像画像の透視変換歪みを補正する。
　それゆえ、撮像画像に含まれる被写体の像の一部が欠落している場合でも、被写体の像が文書でない場合でも、撮像画像の透視変換歪みを適切に補正することができる。
　以上のように、本発明に係る画像処理装置は、被写体を撮像した撮像画像から、上記被写体の像の輪郭に含まれる線分である輪郭線分を抽出した線分画像を生成する線分画像生成部と、上記線分画像生成部が生成した線分画像に仮想的な線分である仮想線分を少なくとも１本挿入し、挿入した仮想線分および上記輪郭線分の集合から４本の線分を選択し、その４本の線分をそれぞれ含む４本の直線によって囲まれる四辺形を特定する四辺形特定部と、上記四辺形特定部が特定した四辺形に基づいて上記撮像画像の透視変換歪みを補正する画像補正部とを備える構成である。
　本発明に係る画像処理方法は、画像処理装置における画像処理方法であって、被写体を撮像した撮像画像から、上記被写体の像の輪郭に含まれる線分である輪郭線分を抽出した線分画像を生成する線分画像生成工程と、上記線分画像生成工程において生成した線分画像に仮想的な線分である仮想線分を少なくとも１本挿入し、挿入した仮想線分および上記輪郭線分の集合から４本の線分を選択し、その４本の線分をそれぞれ含む４本の直線によって囲まれる四辺形を特定する四辺形特定工程と、上記四辺形特定工程において特定した四辺形に基づいて上記撮像画像の透視変換歪みを補正する画像補正工程とを含む構成である。
　それゆえ、撮像画像に含まれる被写体の像の一部が欠落している場合でも、被写体の像が文書でない場合でも、撮像画像の透視変換歪みを適切に補正することができるという効果を奏する。
本発明の一実施形態に係る画像処理装置の構成を示すブロック図である。 本発明の一実施形態に係るデジタルカメラの機能を説明するための図である。 本発明の一実施形態に係るデジタルカメラの構成を示すブロック図である。 （ａ）は撮像画像の一例を示す図であり、（ｂ）は（ａ）に示す撮像画像から生成したエッジ画像を示す図である。 上記画像処理装置における処理の流れの一例を示すフローチャートである。 上記画像処理装置が備える輪郭抽出部における処理の流れの一例を示すフローチャートである。 （ａ）は輪郭抽出部が生成したエッジ画像の一例を示す図であり、（ｂ）は（ａ）に示すエッジ画像から生成した線分画像を示す図である。 （ａ）はエッジ画像のｘｙ座標系における点Ａおよび点Ｂの位置を示すグラフであり、（ｂ）はｘｙ座標系の（ｘ，ｙ）座標を極座標系の座標（ρ，θ）に変換したときの点Ａおよび点Ｂに対応する曲線を示すグラフである。 ハフ変換における投票を示す図である。 上記画像処理装置が備える線分抽出部おける処理の流れの一例を示すフローチャートである。 仮想線分を４本挿入した線分画像を示す図である。 上記画像処理装置が備える四辺形候補算出部における処理の流れの一例を示すフローチャートである。 四辺形候補の４辺を形成する直線を示す図である。 四辺形が凸型であるかどうかを判定する方法を説明するための図である。 （ａ）～（ｄ）は、被写体の像が撮像画像に収まっていない場合の撮像画像の例を示す図である。 四辺形候補の評価値を説明するための図である。 （ａ）および（ｂ）は、評価値の異なる四辺形候補の具体例を示す図である。 仮想線分の評価値を小さくすることの意義を説明するための図である。 撮像画像および四辺形候補のモニタにおける表示例を示す図である。 操作ボタンの一例を示す図である。 透視変換における物体の位置関係を示す図である。 （ａ）は補正後の画像の一例を示す図であり、（ｂ）は補正前の画像に含まれる四辺形の一例を示す図である。 上記画像処理装置が備える画像補正部における処理の流れの一例を示すフローチャートである。 本発明の別の実施形態に係る画像処理装置が備える四辺形候補算出部における処理の流れの一例を示すフローチャートである。 （ａ）は辺の位置を補正する前の四辺形を示す図であり、（ｂ）は辺の位置を補正した後の四辺形を示す図である。 四辺形候補算出部における辺補正処理の流れの一例を示すフローチャートである。 本発明のさらに別の実施形態にかかる画像処理装置が備える四辺形候補算出部における処理の流れの一例を示すフローチャートである。 （ａ）は仮想線分を選択するときのモニタの表示画面の一例を示す図であり、（ｂ）は右端の仮想線分が選択されたときのモニタの表示画面を示す図である。 仮想線分の挿入位置を入力するための操作ボタンの一例を示す図である。 本発明のさらに別の実施形態に係る画像処理装置の構成を示すブロック図である。 上記画像処理装置が備える挿入位置判定部における処理の流れの一例を示すフローチャートである。 （ａ）および（ｂ）は、挿入位置判定部における挿入位置判定処理を説明するための図である。 本発明のさらに別の実施形態に係るコンピュータの構成を示す図である。
　〔実施の形態１〕
　本発明の実施の一形態について図１～図２３に基づいて説明すれば、以下のとおりである。ここでは、本発明の画像処理装置をデジタルカメラで実施する形態を説明する。ただし、本発明の画像処理装置は、デジタルカメラに限定されず、内蔵する撮像装置または外部の装置から撮像画像データを取得し、その撮像画像データを処理する装置（例えば、スキャナー、プリンター、携帯電話）であれば、どのような装置であってもよい。
　（１．デジタルカメラ１００の機能の説明）
　図２は、本実施の形態のデジタルカメラ１００の機能を説明するための図である。デジタルカメラ１００で白板１１０を斜め方向から撮像すると、撮像画像１１１における白板の像１１２は歪む。また、スケジュールボードなどの被写体が大きい場合は被写体の像一部が撮像画像に収まらない場合がある。歪んだ撮像画像をデジタルカメラ１００により補正すると補正後画像１１３のような歪みのない白板の像１１４を含む画像が得られる。特に、被写体の像一部が撮像画像に収まらない場合においても歪みのない画像が得られる。
　（２．デジタルカメラ１００の構成）
　図３は、デジタルカメラ１００の構成を示す図である。同図に示すように、デジタルカメラ１００は、光学系１、イメージセンサ２、メモリ３、カードリーダライタ４、ＣＰＵ（中央処理装置）５、操作ボタン６、モニタ（表示部）７および画像処理装置１０を備えている。
　光学系１は、被写体の像をイメージセンサ２の撮像面上に結像するためのレンズ（不図示）と、当該レンズの焦点を調節するレンズ駆動機構（不図示）とを備えている。光学系１は、撮像画像を撮像したときの焦点距離を示す焦点距離情報をＣＰＵ５へ出力する。
　イメージセンサ２は、複数のセンサがマトリクス状に配列された撮像面を有する撮像素子であり、光学系１を通して撮像面上に結像された被写体の光学的な像を画像信号に変換する。イメージセンサ２として、例えばＣＣＤ（Charge Coupled Devices）イメージセンサ、ＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）イメージセンサを使用することができる。イメージセンサ２は、生成した撮像画像をメモリ３に格納する。
　メモリ３は、撮像画像および補正後の撮像画像（補正後画像）などを格納するための記憶部であり、例えば、半導体メモリである。
　カードリーダライタ４は、メモリカード３０に対して、撮像画像および補正後画像を読み書きする。
　ＣＰＵ５は、デジタルカメラ１００の主制御部であり、光学系１とイメージセンサ２とを制御することにより被写体を撮像し、その撮像画像をメモリ３に格納するとともにモニタ７に表示する。同時に、ＣＰＵ５は、撮像画像と、当該撮像画像を撮像したときの焦点距離とを互いに関連付けて画像処理装置１０に入力する。その後、ＣＰＵ５は、歪みのない補正後画像を画像処理装置１０から受け取り、メモリ３に格納するとともに、補正後画像をモニタ７に表示する。また、ＣＰＵ５は、カードリーダライタ４を制御することにより補正後画像をメモリカード３０に出力する。
　別の場合には、ＣＰＵ５は、過去の撮像画像を、カードリーダライタ４を通してメモリカード３０から読み出し、メモリ３に格納するとともにモニタ７に表示する。同時に、ＣＰＵ５は、撮像画像と焦点距離とを画像処理装置１０に入力し、歪みのない補正後画像を出力として受け取り、メモリ３に格納する。ＣＰＵ５は、補正後画像をモニタ７に表示するとともにカードリーダライタ４を用いてメモリカード３０に出力する。
　ズームなどにより焦点距離が変化する場合には、撮像した際に撮像画像データに焦点距離を埋め込んでおけばよい。通常、デジタルカメラの撮像画像データには撮像画像そのもののデータとともにＥｘｉｆと呼ばれる情報が埋め込まれており、Ｅｘｉｆに焦点距離を格納しておけばよい。
　モニタ７は、撮像画像および補正後画像などを表示する表示部であり、例えば、液晶ディスプレイである。
　操作ボタン６は、デジタルカメラ１００を操作する使用者からの指示を受け付ける指示入力部である。この操作ボタン６は、タッチパネルとして機能するモニタ７に表示されるソフトキーとして実現されてもよい。
　（３．画像処理装置１０の構成）
　図１は、画像処理装置１０の構成を示すブロック図である。同図に示すように、画像処理装置１０は、焦点距離入力部１１、画像入力部１２、輪郭抽出部（線分画像生成部）１３、線分抽出部（線分画像生成部）１４、四辺形候補算出部（四辺形特定部、順位付け部）１５、四辺形選択部１６、画像補正部１７および画像出力部１８を備えている。
　焦点距離入力部１１は、撮像画像を撮像したときの焦点距離を示す焦点距離情報をＣＰＵ５から入力として受け取り、受け取った焦点距離情報を画像補正部１７へ出力する。
　画像入力部１２は、イメージセンサ２が生成した撮像画像をＣＰＵ５から入力として受け取り、受け取った撮像画像を輪郭抽出部１３へ出力する。
　輪郭抽出部１３は、図４の（ａ）および図４の（ｂ）に示すように、画像入力部１２から受け取った撮像画像４１から被写体の像の輪郭を抽出することによりエッジ画像４２を生成する。なお、図４の（ａ）は、撮像画像の一例を示す図であり、図４の（ｂ）は、図４の（ａ）に示す撮像画像から生成したエッジ画像を示す図である。なお、エッジ画像とは、処理対象の画像（すなわち、撮像画像）において輝度値が急激に（不連続に）変化している点の列を示す画像であり、当該画像に含まれる被写体の像の境界を示す曲線または線分を示す画像である。
　線分抽出部１４は、輪郭抽出部１３が生成したエッジ画像から被写体の像の輪郭に含まれる線分である輪郭線分を抽出し、当該輪郭線分を示す線分画像を生成する。
　このように、輪郭抽出部１３および線分抽出部１４は、被写体を撮像した撮像画像から、被写体の像の輪郭に含まれる線分である輪郭線分を抽出した線分画像を生成する線分画像生成部として機能する。
　四辺形候補算出部１５は、線分抽出部１４が生成した線分画像に仮想的な線分である仮想線分を少なくとも１本挿入し、挿入した仮想線分および線分画像に含まれている輪郭線分の集合から４本の線分を選択し、その４本の線分をそれぞれ含む４本の直線によって囲まれる四辺形（四辺形候補）を特定する。
　このとき四辺形候補算出部１５は、線分画像の外縁を形成する四辺のうちの少なくとも一辺に沿って（一辺に平行に）、または当該一辺に重なるように仮想線分を挿入する。挿入する仮想線分は、最低１本であるが、被写体の像の欠損部を確実に補うためには、線分画像の外縁を形成する四辺のそれぞれに対して仮想線分を挿入する（すなわち、４本の仮想線分を挿入する）ことが好ましい。この場合、四辺形候補算出部１５は、線分画像の外縁を形成する四辺のそれぞれに対して１本ずつ仮想線分を挿入する。
　また、四辺形候補算出部１５は、四辺形候補を複数特定した場合に、各四辺形に含まれる輪郭線分および仮想線分の長さを基準として、特定された複数の四辺形候補を順位付ける。
　四辺形選択部１６は、順位付けられた四辺候補をその順位に従ってモニタ７に表示し、複数の四辺形候補から撮像画像の補正に用いる四辺形（補正用四辺形）を使用者に選択させ、その補正用四辺形を特定する情報を使用者から受け付ける。
　画像補正部１７は、使用者が選択した補正用四辺形に基づいて撮像画像の透視変換歪みを補正する。なお、画像補正部１７は、四辺形候補算出部１５が特定した四辺形候補が１つの場合には、その四辺形候補に基づいて撮像画像の透視変換歪みを補正する。
　画像出力部１８は、画像補正部１７が補正した撮像画像（補正後画像）をＣＰＵ５へ出力する。この補正後画像は、モニタ７に表示されるとともにメモリ３に格納される。
　（画像処理装置１０における処理の流れ）
　次に画像処理装置１０における処理の大まかな流れについて説明する。各処理の詳細については後述する。なお、ここでは、仮想線分を４本挿入する場合の処理について説明する。
　図５は、画像処理装置１０における処理の流れの一例を示すフローチャートである。まず、光学系１およびイメージセンサ２によって撮像画像が撮像されると、当該撮像が画像入力部１２に入力されるとともに、当該撮像画像を撮像したときの焦点距離を示す焦点距離情報が焦点距離入力部１１に入力される（ステップＳ１）。
　画像入力部１２は、取得した撮像画像を輪郭抽出部１３へ出力する。一方、焦点距離入力部１１は、取得した焦点距離情報を画像補正部１７へ出力する。
　輪郭抽出部１３は、画像入力部１２から撮像画像を受け取ると、受け取った撮像画像から被写体の像の輪郭を示すエッジ画像を生成する（ステップＳ２）。輪郭抽出部１３は、生成したエッジ画像を線分抽出部１４へ出力する。
　線分抽出部１４は、受け取ったエッジ画像から被写体の像の輪郭に含まれる輪郭線分を抽出し、当該輪郭線分を示す線分画像を生成する（ステップＳ３）。線分抽出部１４は、生成した線分画像を四辺形候補算出部１５に出力する。
　四辺形候補算出部１５は、受け取った線分画像の外縁を形成する四辺のそれぞれに沿って仮想線分を１ずつ挿入し、挿入した４本の仮想線分と線分画像に含まれる輪郭線分とを含む集合から４本の線分を選択し、選択した４本の線分をそれぞれ含む４本の直線によって囲まれる四辺形候補を算出する（ステップＳ４）。このとき四辺形候補算出部１５は、後述する条件を満たす四辺形候補を算出する。
　そして、四辺形候補算出部１５は、算出した四辺形候補が複数存在する場合（ステップＳ５においてＹＥＳ）、各四辺形候補が有する輪郭線分および仮想線分の長さを基準として、複数の四辺形候補を順位付ける（ステップＳ６）。四辺形候補算出部１５は、順位付けした四辺形候補を示す情報を四辺形選択部１６へ出力する。
　四辺形選択部１６は、順位付けられた四辺候補を撮像画像とともに順次モニタ７に表示することにより使用者に補正用四辺形を選択させ（ステップＳ７）、使用者が選択した補正用四辺形を特定する情報（補正用四辺形特定情報）を操作ボタン６を介して取得する（ステップＳ８）。四辺形選択部１６は、取得した補正用四辺形特定情報を画像補正部１７へ出力する。
　一方、四辺形候補が１つしか存在しない場合（ステップＳ５においてＮＯ）、四辺形候補算出部１５は、その四辺形候補を特定する補正用四辺形特定情報を画像補正部１７へ出力する。
　画像補正部１７は、四辺形候補算出部１５または四辺形選択部１６から出力された補正用四辺形特定情報が示す四辺形を用いて、透視変換の原理に従って撮像画像を補正する（ステップＳ９）。このとき画像補正部１７は、撮像画像から焦点距離を算出できない場合には、焦点距離入力部１１が取得した焦点距離情報を用いて撮像画像の補正を行う。
　画像出力部１８は、画像補正部１７が補正した撮像画像をＣＰＵ５へ出力する（ステップＳ１０）。
　なお、輪郭抽出部１３および線分抽出部１４は、生成したエッジ画像、線分画像を画像処理装置１０の各部が共通して利用可能なメモリに格納し、その画像を必要とする機能ブロックが当該メモリから当該画像を取得してもよい。
　（輪郭抽出部１３における処理の詳細）
　図６は、輪郭抽出部１３における処理の流れの一例を示すフローチャートである。最初に、輪郭抽出部１３は、画像入力部１２から受け取った撮像画像から輝度画像を生成する（ステップＳ１１）。輝度画像とは、撮像画像から輝度値の情報のみを抽出した画像であり、色情報を含まないモノクロ濃淡画像である。例えば、撮像画像の座標（ｘ，ｙ）のＲ（赤）、Ｇ（緑）、Ｂ（青）値（輝度値）がそれぞれｒ（ｘ，ｙ）、ｇ（ｘ，ｙ）、ｂ（ｘ，ｙ）であるとし、輝度画像の輝度をＬ値で表わすと、輝度画像の座標（ｘ，ｙ）の輝度値ｌ（ｘ，ｙ）は下記式（１）によって表わされる。
　ｌ（ｘ，ｙ）＝ｃ１×ｒ（ｘ，ｙ）＋ｃ２×ｇ（ｘ，ｙ）＋ｃ３×ｂ（ｘ，ｙ）　・・・（１）
　式（１）において、ｃ１、ｃ２、ｃ３は係数である。輝度画像を得るためには、例えばｃ１、ｃ２、ｃ３をすべて１／３としてＲ、Ｇ、Ｂ値の平均を取る。別の場合には、ｃ１＝０．２９９、ｃ２＝０．５８７、ｃ３＝０．１１４としてＹＵＶフォーマットのＹ値を算出してもよい。
　次に、輪郭抽出部１３は、輝度画像からエッジ画像を生成する（ステップＳ１２）。エッジ画像を生成する手法としてはＳｏｂｅｌ、Ｐｒｅｗｉｔｔなどの画像処理フィルタを用いる方法がある。ここではＳｏｂｅｌフィルタを用いる方法を示す。Ｓｏｂｅｌフィルタはｘ、ｙ方向の輝度値の変化量である一次微分値からエッジ強度値を算出する。エッジ画像の座標（ｘ，ｙ）の値ｅ（ｘ，ｙ）は輝度画像の座標（ｘ，ｙ）の値ｌ（ｘ，ｙ）を用いて下記式（２ａ）、（２ｂ）、（２ｃ）によって表わされる。
Δｘ＝－１×ｌ（ｘ－１，ｙ－１）－２×ｌ（ｘ－１，ｙ）－１×ｌ（ｘ－１，ｙ＋１）＋１×ｌ（ｘ＋１，ｙ－１）＋２×ｌ（ｘ＋１，ｙ）＋１×ｌ（ｘ＋１，ｙ＋１）　・・・（２ａ）
Δｙ＝－１×ｌ（ｘ－１，ｙ－１）－２×ｌ（ｘ，ｙ－１）－１×ｌ（ｘ＋１，ｙ－１）＋１×ｌ（ｘ－１，ｙ＋１）＋２×ｌ（ｘ，ｙ＋１）＋１×ｌ（ｘ＋１，ｙ＋１）　・・・（２ｂ）
ｅ（ｘ，ｙ）＝（Δｘ×Δｘ＋Δｙ×Δｙ）１／２　・・・（２ｃ）
　ただし、ノイズを除去するためエッジの値ｅ（ｘ，ｙ）が所定の閾値よりも小さい場合は、ｅ（ｘ，ｙ）を０にする。
　（線分抽出部１４における処理の詳細）
　線分抽出部１４は、四辺形を抽出するための前処理として、図７の（ａ）および図７の（ｂ）に示すようにエッジ画像４２から線分を抽出し、線分画像４３を生成する。図７の（ａ）は、輪郭抽出部１３が生成したエッジ画像の一例を示す図であり、図７の（ｂ）は、図７の（ａ）に示すエッジ画像から生成した線分画像を示す図である。線分抽出にはハフ変換を用いる。ハフ変換とはエッジ画像の座標（ｘ，ｙ）を極座標系の座標（ρ，θ）に変換することであり、下記式（３）によって座標（ｘ，ｙ）を（ρ，θ）に変換する。
　ρ＝ｘｃｏｓθ＋ｙｓｉｎθ　・・・（３）
　式（３）を図で示すと図８の（ａ）および図８の（ｂ）のようになる。図８の（ａ）は、エッジ画像のｘｙ座標系における点Ａおよび点Ｂの位置を示すグラフであり、図８の（ｂ）は、ｘｙ座標系の（ｘ，ｙ）座標を極座標系の座標（ρ，θ）に変換したときの点Ａおよび点Ｂに対応する曲線を示すグラフである。エッジ画像中の点Ａ、点Ｂは、極座標系ではそれぞれ１本の曲線に対応し、エッジ画像中の点Ａおよび点Ｂを通る直線は極座標系では２つの曲線の交点に対応する。ここで、ρはエッジ画像中の原点から直線への法線ベクトルの長さ、θは法線ベクトルとｘ軸が成す角度に相当する。ただし、θは０°≦θ＜１８０°であり、１８０°以上の範囲ではρが負の値で表現される。
　値が０でないエッジ画像中の座標について、図９に示すようにハフ変換後の曲線上の座標を極座標系に投票していくと、投票数が極大となる極座標系の座標がエッジ画像中の直線に相当することになり、点Ａおよび点Ｂを通る直線が検出される。なお、図９は、ハフ変換における投票を示す図である。
　図１０は線分抽出部１４における処理の流れの一例を示すフローチャートである。線分抽出部１４はまず、ハフ変換における投票に使用されていないエッジ点があるかを確認する（ステップＳ２１）。エッジ点とはエッジ画像においてエッジの値ｅが０でない画素のことを指す。
　投票に使用されていないエッジ点があれば（ステップＳ２１においてＹＥＳ）、線分抽出部１４は、その中からエッジ点をランダムに選択する（ステップＳ２２）。
　次に、線分抽出部１４は、選択したエッジ点について極座標系の曲線上の座標に投票を行う（ステップＳ２３）。
　そして、線分抽出部１４は、直前のステップＳ２３にて投票を行った中で最大投票数となる投票数について所定の閾値以上かどうかを確認する（ステップＳ２４）。
　最大投票数が閾値以上であれば（ステップＳ２４においてＹＥＳ）、線分抽出部１４は、投票数の極大とみなして対応する直線を算出し、算出した直線を複数の線分に変換する（ステップＳ２５）。具体的にはエッジ画像において直線上の座標を走査し、エッジ点が連なっている部分を線分（輪郭線分）として抽出する。ただし、極端に短い線分はノイズとして抽出しない。
　線分抽出のときに線分抽出部１４は、抽出した線分上のエッジ点は直線検出に使用済みとして値を０にして除去し（ステップＳ２６）、ステップＳ２１以降の処理を繰り返す。
　一方、最大投票数が閾値未満であれば（ステップＳ２４においてＮＯ）、線分抽出部１４は、ステップＳ２１以降の処理を繰り返す。
　一方、投票に使用されていないエッジ点がなければ（ステップＳ２１においてＮＯ）、線分抽出部１４は、抽出した線分で線分画像を作成し（ステップＳ２７）、処理を終了する。
　（四辺形候補算出部１５における処理の詳細）
　四辺形候補算出部１５は、線分画像に含まれる線分から構成される複数の四辺形を、撮像画像の補正に用いる四辺形の候補として算出する。ただし、被写体の像が撮像画像に収まっていない場合を考慮して、線分画像の端に仮想線分を挿入する。図１１は、仮想線分４５・４６・４７・４８を挿入した線分画像４４を示す図である。同図では、線分画像４４の外縁を形成する四辺に沿って４本の仮想線分が挿入されている。
　仮想線分の長さは、線分画像の長辺または短辺とほぼ同様の長さであってもよいし、それよりも短くてもよく、特に限定されない。また、仮想線分は、線分画像の外縁の辺に対して平行に挿入されることが好ましいが、後述する実施の形態のように仮想線分の角度を変更することもできるため、平行に挿入する必要は必ずしもない。
　図１２は、四辺形候補算出部１５における処理の流れの一例を示すフローチャートである。四辺形候補算出部１５は、最初に線分画像に仮想線分を挿入する（ステップＳ３１）。例えば、線分画像の上下端に当該線分画像の横幅と同じ長さの仮想線分を、画像の左右端に当該線分画像の縦幅と同じ長さの仮想線分を挿入する。仮想線分の４本すべてを挿入しても良いし、４本の仮想線分のうちの１～３本を挿入してもよい。
　次に四辺形候補算出部１５は、仮想線分を含めて、線分画像における線分の個数が４以上であるかどうかを確認する（ステップＳ３２）。
　線分の個数が４未満であれば（ステップＳ３２においてＮＯ）、四辺形を構成できないので四辺形候補算出部１５は処理を終了する。
　線分の個数が４以上であれば（ステップＳ３２においてＹＥＳ）、四辺形候補算出部１５は、仮想線分を含む線分の集合から４本を選択する（ステップＳ３３）。このときこれまでに選択していない組み合わせを選択する。選択した線分４本について四辺形を構成する４辺を算出可能かどうか確認する（ステップＳ３４）。
　具体的な確認方法を以下に示す。図１３は、四辺形候補の４辺を形成する直線を示す図である。線分を延長して直線として扱うと、図１３に示すように４本の直線から生成される交点の数は最大６個である。交点が４個未満の時は、四辺形を構成する４辺は算出不可能とする。交点が４点以上であれば、その交点の中から任意の４点を選び、選んだ４点によって上記直線を区切ることによって得られる４本の線分を４辺とする四辺形が、以下の条件をすべて満たせば四辺形候補とする。１つでも満たさない条件があれば、四辺形候補を構成する４辺は算出不可能とする。
条件１：上記４辺で構成される四辺形が凸型である。
条件２：上記４辺で構成される四辺形の隣り合う頂点間に直線が存在する。
条件３：上記４辺で構成される四辺形の向かい合う頂点間に直線が存在しない。
条件４：上記４辺のうち仮想線分を含む辺は２本以下である。
条件５：上記４辺のうち仮想線分を含む辺が２本の場合は、仮想線分は４辺で構成される四辺形の向かい合う２辺に対応する。
　なお、条件１の判定を行う場合には、四辺形の辺を線分ベクトルと考え、隣り合う線分ベクトルで外積をとり、外積の符号がすべて一致すれば凸型と判定する。図１４は、四辺形が凸型であるかどうかを判定する方法を説明するための図である。同図に示すように、ベクトルｖ１とｖ２との外積（ｖ１×ｖ２）の符号は、ｖ１をｖ２に重ねるように時計まわりに回転させたときの角度θに対するsin θの符号となる。同図に示す例では、ｖ１×ｖ２、ｖ２×ｖ３、ｖ３×ｖ４、ｖ４×ｖ１のすべての符号が正となり（角度が１８０°未満）、四辺形は凸型であると判定する。ベクトルの取り方によってはすべての符号が負となる。
　図１５の（ａ）～（ｄ）は、被写体の像が撮像画像に収まっていない場合の撮像画像の例を示す図である。仮想線分を用いることで図１５の（ａ）～（ｄ）に示すように、被写体の像が撮像画像に収まっていない場合であっても、被写体の像の輪郭の一部を示す四辺形を算出できる。図１５の（ａ）、図１５の（ｂ）、図１５の（ｃ）は、被写体の像の輪郭を形成する４辺のうちの１辺が収まっていない場合、図１５の（ｄ）は２辺が収まっていない場合を示している。
　選択された線分４本について四辺形候補を構成する４辺を算出可能であれば（ステップＳ３４においてＹＥＳ）、四辺形候補算出部１５は、算出した４辺を四辺形候補として記憶する（ステップＳ３５）。
　一方、四辺形を構成する４辺を算出不可能であれば（ステップＳ３４においてＮＯ）、四辺形候補算出部１５は、ステップＳ３６以降の処理を実行する。
　ステップＳ３５の後、四辺形候補算出部１５は、すべての線分の組み合わせを選択したかを確認する（ステップＳ３６）。
　すべての線分の組み合わせを選択していれば（ステップＳ３６においてＹＥＳ）、四辺形候補算出部１５は、四辺形候補を尤もらしい順番に順序付ける（ステップＳ３７）。
　通常、デジタルカメラの使用者は被写体をできるだけ大きく撮像すると思われる。また、単純な線分の組み合わせでは、被写体の像の輪郭を形成する線分以外の線分を四辺形候補の辺の一部としている可能性がある。これらを考慮して、四辺形候補を形成する４辺にそれぞれ対応する線分（輪郭線分および仮想線分）の長さを評価値として、評価値の降順に四辺形候補を順序付ける。仮想線分は本来の線分ではないため、四辺形に含まれる長さに対して１以下の一定の割合を掛けることにより評価値が小さくなるようにしてもよい。すなわち、四辺形候補算出部１５は、輪郭線分および仮想線分の長さと正の相関のある値を四辺形候補の評価値として用い、仮想線分の単位長さに対する評価値は、輪郭線分の上記単位長さに対する評価値よりも小さい。
　図１６・１７を用いて評価値の例を示す。図１６は、四辺形候補の評価値を説明するための図である。図１７の（ａ）および図１７の（ｂ）は、評価値の異なる四辺形候補の具体例を示す図である。図１７において、太い破線で示す四辺形が四辺形候補を表している。図１６において線分ａ、ｂ、ｃ、ｄの長さの合計が評価値となる。四辺形候補の辺よりも、当該辺を形成する線分の方が長い場合（線分ｂ、ｄの場合）には、四辺形候補の辺を構成する当該線分の部分の長さについての評価値を用いる。
　図１７の（ａ）に示すように被写体の像の輪郭を形成する４辺に対応する四辺形候補は各辺が長く、各辺に含まれる線分が長いため評価値は大きくなる。一方、図１７の（ｂ）に示すように被写体の像の輪郭以外の線分に由来する辺を有する四辺形候補の場合は、例えば、白板中の文字の一部から四辺形候補の辺が算出された場合は、当該辺に含まれる線分が短いため評価値は小さくなる。
　本発明では、上述のように撮像画像から被写体の像の輪郭を形成する輪郭線分を抽出する。しかし、実際には、図１７の（ｂ）に示すように、被写体の像の輪郭を形成していない線分が輪郭線分として抽出されることがある。上記評価値は、輪郭線分として抽出されるべきでなかった線分に基づいて算出された四辺形候補の優先順位を下げるための値であると言える。
　そして、四辺形候補算出部１５は、すべての線分の組み合わせを選択していなければ（ステップＳ３６においてＮＯ）、ステップＳ３３以降の処理を繰り返す。
　なお、四辺形候補算出部１５とは別に、四辺形を順位付ける順位付け部を設けてもよい。この順位付け部は、四辺形候補算出部１５が特定した複数の四辺形候補について、各四辺形候補が有する輪郭線分および仮想線分の長さを基準として、特定された複数の四辺形を順位付けるものである。
　（仮想線分の評価値を小さくすることの意義）
　ここで、四辺形に含まれる仮想線分の長さに対して１以下の一定の割合を掛けることにより評価値を小さくすることの意義について説明する。図１８は、仮想線分の評価値を小さくすることの意義を説明するための図である。
　図１８において検出すべき四辺形は、線分ｓ１、ｓ２、ｓ３、ｓ４をそれぞれ含む直線で囲まれる四辺形であるとする。線分ｓ２は被写体の辺に比べて短いが、被写体が僅かに反っている場合やレンズ歪などにより被写体の辺そのものが厳密な直線ではない場合には抽出した線分が実際の辺よりも短くなる。
　四辺形に含まれる線分の長さをそのまま四辺形の評価値とした場合、図１８の例では、線分ｓ１、ｓ２、ｓ３、ｓ４で構成される四辺形よりも、ｓ１、仮想線分４９、ｓ３、ｓ４で構成される四辺形の評価値の方が高くなってしまう。そのため補正用四辺形として適切な四辺形を四辺形候補の上位に順位付けることが困難となる。
　四辺形に含まれる仮想線分の単位長さに対する評価値を、輪郭線分の単位長さに対する評価値よりも小さくすることにより、被写体の像が撮像画像に収まらない場合にのみ、仮想線分を含む四辺形が四辺形候補の上位に順位付けられる可能性を高めることができる。
　（四辺形選択部１６における処理の詳細）
　図１９は、撮像画像および四辺形候補のモニタ７における表示例を示す図である。四辺形選択部１６は、図１９に示すように、モニタ７に撮像画像８１と四辺形候補８２とを表示する。デジタルカメラ１００の使用者が操作ボタン６を用いて複数の四辺形候補の中から１つの四辺形候補を選択すると、四辺形選択部１６は、選択された四辺形候補を撮像画像の補正に用いる補正用四辺形として画像補正部１７へ出力する。
　具体的には、四辺形選択部１６は、最初に最も評価値の高い四辺形候補を表示する。操作ボタン６の例を図２０に示す。次候補表示ボタン６１が押下されるたびに評価値の降順に次の四辺形候補が表示される。前候補表示ボタン６２が押下されるたびに評価値の昇順に次の四辺形候補が表示される。決定ボタン６３は表示されている四辺形候補で画像を補正する場合に押下される。すなわち、その時点で表示されている四辺形候補を補正用四辺形として特定する場合に押下される。この操作によって補正用四辺形特定情報が入力されることになる。
　（画像補正部１７における処理の詳細）
　画像補正部１７は、以下に説明する透視変換の原理にしたがって、被写体の縦横比を算出し、撮像画像上の歪んだ四辺形を長方形に補正する。
　（被写体の縦横比の算出方法）
　まず被写体の縦横比の算出方法を示す。図２１は、透視変換における物体の位置関係を示す図である。図２１を用いて透視変換における物体の位置関係を、レンズの中心を原点Ｏとして３次元のベクトル空間で示す。撮像面５１は光学系１の光軸５２に垂直であり、レンズ中心から撮像面５１までの距離が焦点距離ｄとなる。撮像面５１とは、デジタルカメラ１００では、イメージセンサ２における撮像面を意味する。物理的な位置関係では撮像面５１はレンズの中心に対して被写体５３とは反対の位置に存在するが、透視変換では理解の容易さの観点から図２１に示す位置関係を用いることが一般的である。
　被写体５３の長方形の頂点をｑ１、ｑ２、ｑ３、ｑ４とし、撮像面５１上の歪んだ四辺形５１ａの頂点をｐ１、ｐ２、ｐ３、ｐ４とする。ここで、撮像面５１は光軸５２に垂直であることから、ｐｉ（１≦ｉ≦４）を下記式（４）で定義する。
Figure JPOXMLDOC01-appb-M000001
　このとき、ｑｉはｐｉを定数倍したものであるため、ｑｉ（１≦ｉ≦４）は、下記式（５）で表わされる。
　ｑｉ＝ｔｉＰｉ・・・（５）
　被写体５３は長方形であるため、下記式（６ａ）および（６ｂ）が成り立つ。
　ｑ１－ｑ２＝ｑ３－ｑ４　・・・（６ａ）
　（ｑ１－ｑ２）・（ｑ１－ｑ３）＝０　・・・（６ｂ）
　式（６ｂ）において「・」はベクトルの内積を表す。式（６ａ）は平行四辺形となるための条件であり、式（６ｂ）は隣り合う辺が直交するための条件である。
式（５）と式（６ａ）とにより、下記式（７）が得られる。
Figure JPOXMLDOC01-appb-M000002
　焦点距離ｄは０でないため、式（７）の行列の第３行から下記式（８）が得られる。
Figure JPOXMLDOC01-appb-M000003
　式（５）と式（６ａ）とにより下記式（９）が得られ、式（８）を用いてこれを変形すると下記式（１０）が得られる。
　ｔ１ｐ１－ｔ２ｐ２＝ｔ３ｐ３－ｔ４ｐ４　・・・（９）
Figure JPOXMLDOC01-appb-M000004
　ここで、下記式（１１）のように変数変換すると、下記式（１２）の等式が得られる。
Figure JPOXMLDOC01-appb-M000005
Figure JPOXMLDOC01-appb-M000006
　式（１２）はｋ１、ｋ２に関する連立方程式となっており、これを解くと下記式（１３）が得られる。
Figure JPOXMLDOC01-appb-M000007
　さらに式（６ｂ）を変換すると下記式（１４）が得られ、これを焦点距離ｄについて解くことで焦点距離が算出される。
Figure JPOXMLDOC01-appb-M000008
　ただし、撮像面５１において被写体５３に対応する四辺形が台形上に歪んでいる場合には、下記式（１５）において分母が０となり焦点距離ｄが算出できない。
Figure JPOXMLDOC01-appb-M000009
　その場合には、焦点距離を外部から与えてやればよい。すなわち、焦点距離入力部１１がＣＰＵ５から受け取った焦点距離情報が示す焦点距離を用いればよい。
　焦点距離ｄを用いて、被写体５３の縦横比は下記式（１６）で表わされる。
Figure JPOXMLDOC01-appb-M000010
　（画像の補正方法）
　次に歪んだ四辺形を長方形に補正する方法を示す。
　歪みを補正するために、まず被写体５３の各頂点について撮像面５１からの距離倍率ｔｉ（１≦ｉ≦４）を定める。実際の距離倍率を算出することはできないが、透視変換では距離倍率の比ｔ１：ｔ２：ｔ３：ｔ４が保たれるように被写体５３の位置を自由に決めることができる。そこでｔ１＝１とすると、下記式（１７）のようにｔｉ（１≦ｉ≦４）を定めることができる。
　ｔ１＝１
　ｔ２＝ｋ１　　　　　　　・・・（１７）
　ｔ３＝ｋ２
　ｔ４＝ｋ１＋ｋ２－１
　補正後の画像として、式（１６）で求めた縦横比に従う適当な大きさの長方形を用意する。このときの補正後の画素の値と補正前の歪んだ四辺形の画素との対応関係を図２２の（ａ）および図２２の（ｂ）に示す。図２２の（ａ）は、補正後の画像の一例を示す図であり、図２２の（ｂ）は、補正前の画像に含まれる四辺形の一例を示す図である。
　補正後画像としての長方形５４の上下辺をｍ：（１－ｍ）に内分し、左右辺をｎ：（１－ｎ）に内分する画素値は、補正前画像に含まれる補正用四辺形５５の上辺をｔ２×ｍ：ｔ１×（１－ｍ）に内分し、下辺をｔ４×ｍ：ｔ３×（１－ｍ）に内分し、左辺をｔ３×ｎ：ｔ１×（１－ｎ）に内分し、右辺をｔ４×ｎ：ｔ２×（１－ｎ）に内分する画素値に対応する。
　撮像面上の物体の大きさは距離倍率に反比例するため、補正前画像に含まれる四辺形の内分比には距離倍率の逆比を掛けている。この対応関係にしたがって、バイリニア補間やバイキュービック補間などの補間法を用いることで補正後画像が算出される。バイリニア補間とは、補正前画像に含まれる四辺形において内分比にしたがって算出される位置の周辺４画素の重み付き平均画素値を補正後画像の画素値とする方法である。バイキュービック補間とは、周辺１６画素を用いて補正後画像の画素値を算出する方法である。
　（画像補正部１７における処理の流れ）
　図２３は画像補正部１７における処理の流れの一例を示すフローチャートである。画像補正部１７は、最初に使用者によって選択された補正用四辺形から透視変換の原理に従って焦点距離を算出できるかどうかを確認する（ステップＳ４１）。
　焦点距離を算出できたならば（ステップＳ４１においてＹＥＳ）、画像補正部１７は、算出した焦点距離を用いて補正後画像の縦横比を算出する（ステップＳ４２）。
　一方、焦点距離を算出できないならば（ステップＳ４１においてＮＯ）、画像補正部１７は、焦点距離入力部１１において入力された焦点距離を用いて補正後画像の縦横比を算出する（ステップＳ４３）。
　その後、画像補正部１７は、補正後画像の縦横比と距離倍率とを用いて透視変換の原理に従って補正後画像を作成する（ステップＳ４４）。
　なお、輪郭抽出部１３、線分抽出部１４、四辺形候補算出部１５、四辺形選択部１６は、撮像画像を縮小した画像に対して上述の処理を行うことで処理コストを低減できる。
　〔実施の形態２〕
　本発明の他の実施形態について図２４～図２６に基づいて説明すれば、以下のとおりである。なお、実施の形態１と同様の部材に関しては、同じ符号を付し、その説明を省略する。ここでは、四辺形候補算出部１５において、四辺形候補の整形を行う実施形態について説明する。具体的には、四辺形候補算出部１５は、自身が特定した四辺形候補が有する、仮想線分を含む辺が、対向する辺と平行になるように当該仮想線分を含む辺の位置（傾き）を変更する。それゆえ、本実施の形態では、四辺形候補算出部１５は、四辺形整形部としての機能も有している。画像補正部１７は、四辺形候補算出部１５が整形した四辺形候補に基づいて撮像画像の透視変換歪みを補正する。
　図２４は本実施の形態に係る画像処理装置１０が備える四辺形候補算出部１５における処理の流れの一例を示すフローチャートである。四辺形候補算出部１５は、第１の実施の形態における処理に加えて、図１２に示したステップＳ３４とステップＳ３５との間に辺補正処理（ステップＳ５５）を実行する。図２４に示すステップＳ５１～５４は、ステップＳ３１～３４と同じであり、ステップＳ５６～５８は、ステップＳ３５～３７と同じである。
　ステップＳ５５の辺補正処理では、画像補正部１７は、四辺形候補において仮想線分を含む辺が向かい合う辺と平行になるように補正する。これにより、図２５に示すようにデジタルカメラが被写体に対して回転した状態であっても補正に必要な四辺形が得られる。図２５の（ａ）は辺の位置を補正する前の四辺形候補を示す図であり、図２５の（ｂ）は辺の位置を補正した後の四辺形候補を示す図である。図２５の（ａ）および図２５の（ｂ）において、太い破線で示す四辺形が四辺形候補である。
　（辺補正処理の流れ）
　図２６は、辺補正処理の流れの一例を示すフローチャートである。辺補正処理では最初に、四辺形候補算出部１５は、四辺形を構成する４本の線分のうち仮想線分の個数が１かどうかを確認する（ステップＳ６１）。
　仮想線分の個数が１であれば（ステップＳ６１においてＹＥＳ）、四辺形候補算出部１５は、仮想線分を含む辺が向かい合う辺と平行になるように、仮想線分を含む辺の両端の頂点のいずれか一方の位置を修正する（ステップＳ６２）。
　ここで、仮想線分を含む辺の両端の頂点のいずれの位置を修正してもよいが、生成される四辺形の面積が大きくなる方の頂点の位置を修正することが好ましい。その方が補正後画像に含まれる被写体の像の面積がより大きくなるからである。この場合、図２５の（ｂ）に示すように、位置修正後の頂点が線分画像に収まらない可能性がある。このような場合には、線分画像と同一の座標系を有する、線分画像よりも大きな仮想的な画像（仮想画像）を形成し、その仮想画像における座標（画素の位置）を用いて四辺形候補の４つの頂点の位置を特定すればよい。
　その後、四辺形候補算出部１５は、修正した頂点を含む四辺形の４辺を算出する（ステップＳ６３）。
　一方、仮想線分の個数が１でなければ（ステップＳ６１においてＮＯ）、何もせず処理を終了する。ここで四辺形候補算出処理のステップＳ５３（図２３）における四辺形候補の選択条件４および５により、仮想線分の数は０、１または２である。仮想線分が２個であれば、それらは向かい合う平行な辺として既に配置されており、仮想線分が０個の場合はすべてが本来の線分であるため点を補正する必要がない。
　なお、四辺形候補算出部１５とは、別に四辺形整形部を設け、四辺形候補算出部１５が算出した四辺形候補のそれぞれについて四辺形整形部が上述の整形を行う構成にしてもよい。この場合、画像補正部１７は、四辺形整形部が整形した四辺形に基づいて撮像画像の透視変換歪みを補正する。
　〔実施の形態３〕
　本発明の他の実施形態について図２７～図２９に基づいて説明すれば、以下のとおりである。なお、実施の形態１・２と同様の部材に関しては、同じ符号を付し、その説明を省略する。
　本実施の形態では、仮想線分の挿入位置を示す挿入位置情報をデジタルカメラ１００の使用者から受け付け、四辺形候補算出部１５は、取得した挿入位置情報が示す挿入位置に仮想線分を挿入する。
　挿入位置情報は、操作ボタン６またはモニタ７に表示されたソフトキーを介して入力されるため、操作ボタン６またはモニタ７が挿入位置情報を取得する挿入位置情報取得部として機能する。
　図２７は本実施の形態にかかる画像処理装置１０が備える四辺形候補算出部１５における処理の流れの一例を示すフローチャートである。この四辺形候補算出処理では、第１の実施の形態における処理に加えて、図１２のステップＳ３１の前に使用者による仮想線分の選択処理を実行する（ステップＳ７１）。図２７に示すステップＳ７２～７８は、ステップＳ３１～３７と同じである。
　図２８の（ａ）は、仮想線分を選択するときのモニタの表示画面の一例を示す図であり、図２８の（ｂ）は、右端の仮想線分が選択されたときのモニタ７の表示画面を示す図である。仮想線分の挿入（ステップＳ７１）では、使用者によって選択された仮想線分だけが挿入される。この仮想線分の選択では、図２８の（ａ）に示すように、四辺形候補算出部１５は、モニタ７に撮像画像７５を表示するとともに、仮想線分の挿入位置を示すカーソル７１～７４を撮像画像７５の上下左右の外縁部の近傍にそれぞれ表示する。
　デジタルカメラの使用者は、操作ボタン６を用いて仮想線分の挿入位置を決定する。使用者が右端の仮想線分を選択した場合、図２８の（ｂ）に示すように右端の仮想線分に対応するカーソル７２の色が変化する。
　仮想線分の挿入位置を入力するための操作ボタン６の例を図２９に示す。右線分選択ボタン６０１が押下されると右端の仮想線分が選択される。再度、右線分選択ボタン６０１が押下されると右端の仮想線分の選択が解除される。同様に、操作ボタン６には左線分選択ボタン６０２、上線分選択ボタン６０３、下線分選択ボタン６０４が配置される。決定ボタン６０５が押下されると選択が完了する。
　なお、図２９に示す操作ボタン６と図２０に示す操作ボタン６とは部品を共通化してもよい。たとえば、右線分選択ボタン６０１と次候補表示ボタン６１、左線分選択ボタン６０２と前候補表示ボタン６２、決定ボタン６０５と決定ボタン６３とは部品を共通化できる。
　また、操作ボタン６は必ずしも物理的なボタンとして実現する必要はない。例えば、モニタ７にタッチ位置を検出するタッチパネルを設け、モニタ７に表示されたカーソル７１～７４などの図形のタッチを検出して、ボタン押下時と同じ処理を行うようにしてもよい。
　〔実施の形態４〕
　本発明の他の実施形態について図３０～図３２に基づいて説明すれば、以下のとおりである。なお、実施の形態１～３と同様の部材に関しては、同じ符号を付し、その説明を省略する。
　（画像処理装置２０の構成）
　図３０は、本実施の形態に係る画像処理装置２０の構成を示すブロック図である。同図に示すように画像処理装置２０は、仮想線分を挿入する位置を判定する挿入位置判定部１９を備えている点で画像処理装置１０と異なっている。
　挿入位置判定部１９は、撮像画像における被写体の像の、当該撮像画像の外縁辺における欠落部分を判定する。具体的には、挿入位置判定部１９は、撮像画像における被写体の像が、当該撮像画像の外縁を形成する四辺のいずれと交差しているかを判定することにより仮想線分の挿入位置を判定する。すなわち、挿入位置判定部１９は、被写体の像が接している撮像画像の外縁の辺を、仮想線分の挿入位置として判定する。
　例えば、図４の(ａ)に示すように被写体の像の右側が撮像画像の右端の辺と接している場合には、挿入位置判定部１９は、撮像画像の右端を仮想線分の挿入位置として判定する。
　四辺形候補算出部１５は、挿入位置判定部１９が判定した欠落部分を補うように、仮想線分を挿入する。具体的には、四辺形候補算出部１５は、挿入位置判定部１９が判定した辺の近傍または当該辺に重なるように仮想線分を挿入する。四辺形候補算出部１５のその後の処理は、上述した実施の形態１における処理と同様である。
　（挿入位置判定部１９における処理の詳細）
　次に、挿入位置判定部１９における挿入位置判定処理の詳細について説明する。図３１は挿入位置判定部１９における処理の流れの一例を示すフローチャートである。図３２の（ａ）および図３２の（ｂ）は、挿入位置判定部１９における挿入位置判定処理を説明するための図である。
　まず、挿入位置判定部１９は、撮像画像を二値化する（ステップＳ８１）。二値化の方法として例えば大津の方法を用いることができる。大津の方法とは、撮像画像の輝度成分についてヒストグラムを取り、ある閾値によってヒストグラムを２つの領域に分類した場合の領域間分散が最大となるような閾値を選択する方式である。二値化により、各画素は白画素と黒画素に分類される。
　次に、挿入位置判定部１９は、ノイズ除去のために二値化画像に対して膨張処理と収縮処理とを複数回施す（ステップＳ８２）。膨張処理は白画素に隣接する黒画素を白画素にする処理であり、小さな黒画素領域を白画素領域に統合できる。収縮処理は、黒画素に隣接する白画素を黒画素にする処理であり、小さな白画素領域を黒画素領域に統合できる。複数回の膨張処理の後、同じ回数の収縮処理を施す手法をクロージングと呼び、複数回の収縮処理の後、同じ回数の膨張処理を施すことをオープニングと呼ぶ。クロージングとオープニングを順に施すことによりノイズを除去できる。
　図３２の（ａ）および図３２の（ｂ）は、挿入位置判定部における挿入位置判定処理を説明するための図である。次に、挿入位置判定部１９は、図３２の（ａ）に示すように、ノイズ除去ずみの二値化画像にラベリング処理を施す（ステップＳ８３）。この処理では、連結した白画素領域または黒画素領域に数字を割り振る。
　その後、挿入位置判定部１９は、図３２の（ｂ）に示すように、ラベリングした領域の面積について、所定の閾値より小さい面積は周囲の領域に統合する（ステップＳ８４）。
　そして、挿入位置判定部１９は、画像の中心は被写体の像に属するものと考え、中心画素を含む領域が撮像画像の外縁の辺のうちのどの辺に隣接しているかを判定する（ステップＳ８５）。そして、挿入位置判定部１９は、被写体の像が隣接している撮像画像の辺の位置を仮想線分挿入位置として四辺形候補算出部１５へ出力する。
　なお、ステップＳ８５において、ノイズを考慮して、撮像画像の中心付近の複数画素で最も多いラベルの領域を被写体の領域としても構わない。
　また、ステップＳ８５において、被写体の像がいずれの撮像画像の辺とも接していないと判定した場合には、挿入位置判定部１９は、仮想線分を挿入する必要がない旨を示す情報を四辺形候補算出部１５へ出力すればよい。この場合には、四辺形候補算出部１５は、仮想線分を挿入せずに四辺形候補の算出を行う。
　〔実施の形態５〕
　本発明の他の実施形態について図３３に基づいて説明すれば、以下のとおりである。
　（１．コンピュータの構成）
　図３３は、本実施の形態にかかるコンピュータ２００の構成を示す図である。
　コンピュータ２００は、入力装置であるキーボード２０１およびマウス２０２と、ＣＰＵ（Central Processing Unit）２０４と、ＲＯＭ（Read Only Memory）およびＲＡＭ（Random Access Memory）を含むメモリ２０６と、固定ディスク（記憶部）２０７と、出力インターフェース２０３とを備える。コンピュータ２００は出力インターフェース２０３を通じて、表示画像をモニタ２０５に出力する。
　コンピュータ２００は、ＣＤ－ＲＯＭ（Compact Disk Read-Only Memory）２１２などの光ディスクからデータを読取可能な光ディスクドライブ２０９と、フレキシブルディスク（ＦＤ：Flexible Disk）２１１からデータを読取可能なＦＤドライブ２０８と、外部装置とデータ授受可能な通信モジュール２１０とをさらに備える。
　ＣＰＵ２０４に、画像処理装置１０または画像処理装置２０における上述の各処理を実行させるための画像処理プログラムは、ＣＤ－ＲＯＭ２１２やフレキシブルディスク２１１などの記録媒体に格納されて流通し、光ディスクドライブ２０９やＦＤドライブ２０８などによって読取られて固定ディスク２０７にインストールされる。
　なお、コンピュータ２００において画像処理プログラムを格納する記憶部は、固定ディスクに限定されず、ＳＳＤ（Solid State Drive）などのフラッシュメモリ（半導体メモリ）であってもよい。
　このような形態に替えて、コンピュータ２００が通信モジュール２１０を介してネットワーク接続されている場合には、ネットワーク上のサーバから送信される画像処理プログラムを受信して、固定ディスク２０７にインストールするようにしてもよい。
　なお、ネットワーク経由で画像処理プログラムを受信する場合には、固定ディスク２０７にインストールすることなくＲＡＭ上にロードした上で当該画像処理プログラムを実行してもよい。
　なお、画像処理プログラムを格納する記録媒体は、ＣＤ－ＲＯＭ２１２やフレキシブルディスク２１１に限られず、たとえば、ＤＶＤ－ＲＯＭ（Digital Versatile Disk）やメモリカードであってもよく、その場合には、コンピュータ２００にそのような記録媒体を読取可能なドライブ装置が設けられる。
　ＣＰＵ２０４は、固定ディスク２０７にインストールされた画像処理プログラムを読み出して実行することにより、上述の焦点距離入力部１１、画像入力部１２、輪郭抽出部１３、線分抽出部１４、四辺形候補算出部１５、四辺形選択部１６、画像補正部１７、画像出力部１８および挿入位置判定部１９としての機能を実現する。
　具体的には、ＣＰＵ２０４は、デジタルカメラの撮像画像を固定ディスク２０７またはＣＤ－ＲＯＭ２１２またはフレキシブルディスク２１１から読み出し、メモリ２０６に格納するとともにモニタ２０５に表示する。そして、ＣＰＵ２０４は、撮像画像から歪みのない補正後画像を作成し、メモリ２０６に格納するとともに出力インターフェース２０３を介してモニタ２０５に表示する。
　（２．コンピュータの処理の流れ）
　本実施の形態にかかるコンピュータ２００の処理の流れは、実施の形態１の画像処理装置１０における処理の流れ（図５参照）とほぼ同様である。以下、各処理の詳細において、実施の形態１と異なる部分について説明する。
　焦点距離入力部１１は、補正の対象となる撮像画像を撮像したときの焦点距離をメモリ２０６に格納する。焦点距離は撮像画像データに含まれるＥｘｉｆから読み取っても良いし、以前に撮像画像を補正した際に算出された焦点距離を、当該撮像画像と対応付けて固定ディスク２０７に保存しておき、その焦点距離をメモリ２０６に読み込んでもよい。
　画像入力部１２、輪郭抽出部１３、線分抽出部１４、四辺形候補算出部１５は、実施の形態１と同様であるため、その説明を省略する。
　四辺形選択部１６は、出力インターフェース２０３を介してモニタ２０５に撮像画像と四辺形候補とを表示し、コンピュータ２００の使用者が操作ボタン６の代わりにキーボード２０１とマウス２０２とを用いて四辺形候補の中から四辺形を選択する。例えば図２０で示した操作ボタンの図柄をモニタ２０５に表示し、マウス２０２でクリック操作がなされた際に操作ボタンが押下された場合に対応する処理を実行する。
　画像補正部１７における処理は、実施の形態１と同様であるため、その説明を省略する。
　画像出力部１８は、補正後画像をメモリ２０６に格納するとともにモニタ２０５に表示する。
　なお、図３３に示すコンピュータ２００で行う処理の一部を、通信モジュールを介して接続された他のコンピュータで行ってもよい。例えば、コンピュータ２００は撮像画像を送信し、他のコンピュータで算出された四辺形候補を受信してモニタ２０５に表示する。コンピュータ２００は使用者によって選択された四辺形を送信し、他のコンピュータで作成された補正後画像を受信してモニタ２０５に表示する。
　別の場合には、コンピュータ２００は撮像画像を送信し、最も評価値の高い四辺形候補を用いて他のコンピュータにより補正された補正後画像を受信してモニタ２０５に表示する。
　以上のように、本発明の画像処理装置において、上記四辺形特定部は、上記線分画像の外縁を形成する四辺のうちの少なくとも一辺に沿ってまたは当該一辺に重なるように上記仮想線分を挿入することが好ましい。
　上記の構成により、撮像画像に含まれる被写体の像の欠落部分を効率良く補うことができる。なお、仮想線分は、所定の長さのものでよく、その長さは特に限定されない。
　また、上記四辺形特定部は、上記線分画像の外縁を形成する四辺のそれぞれに対して上記仮想線分を挿入することが好ましい。
　上記の構成により、撮像画像に含まれる被写体の像のどの部分が欠落しているかについての情報が得られない場合でも確実に欠落部分を補うことができる。
　また、上記画像処理装置は、上記仮想線分の挿入位置を示す挿入位置情報を使用者から受け付ける挿入位置情報取得部をさらに備え、上記四辺形特定部は、上記挿入位置情報取得部が取得した挿入位置情報が示す挿入位置に上記仮想線分を挿入することが好ましい。
　上記の構成によれば、挿入位置情報取得部は、仮想線分の挿入位置を示す挿入位置情報を使用者から受け付け、四辺形特定部は、挿入位置情報が示す挿入位置に仮想線分を挿入する。
　それゆえ、撮像画像に含まれる被写体の像の欠落部分を確実に補うことができるとともに不要な仮想線分を挿入することを避けることができ、四辺形を特定するための処理量を低減できる。
　また、上記画像処理装置は、上記撮像画像における上記被写体の像が、当該撮像画像の外縁辺における欠落部分を判定する判定部をさらに備え、上記四辺形特定部は、上記判定部が判定した欠落部分を補うように、上記仮想線分を挿入することが好ましい。
　上記の構成によれば、撮像画像の外縁辺における欠落部分を判定部が判定し、その欠落部分を補うように仮想線分が挿入される。
　それゆえ、使用者から撮像画像の欠落部分を示す情報を取得しなくても、撮像画像の欠落部分の位置を判定でき、その欠落部分に対して仮想線分を挿入することにより、仮想線分を適切な位置に挿入できる。
　また、上記画像処理装置は、上記撮像画像における上記被写体の像が、当該撮像画像の外縁を形成する四辺のいずれと接しているかを判定する判定部をさらに備え、上記四辺形特定部は、上記判定部が判定した辺に沿って、または当該辺に重なるように上記仮想線分を挿入することが好ましい。
　上記の構成によれば、判定部は、撮像画像における被写体の像が、当該撮像画像の外縁を形成する四辺（外縁辺）のいずれと接しているかを判定する。この処理により、被写体の像の欠落が、撮像画像のどの外縁辺において生じているのかを判定することができる。外縁辺と接している被写体の像の部分において、当該被写体の像が欠落している可能性が高いからである。
　それゆえ、使用者から撮像画像の欠落部分を示す情報を取得しなくても、撮像画像の欠落部分の位置を判定することができ、適切な位置に仮想線分を挿入することができる。
　また、上記画像処理装置は、上記四辺形特定部が特定した四辺形が有する、上記仮想線分を含む辺が、対向する辺と平行になるように当該仮想線分を含む辺の位置を変更する四辺形整形部をさらに備え、上記画像補正部は、上記四辺形整形部が整形した四辺形に基づいて上記撮像画像の透視変換歪みを補正することが好ましい。
　上記の構成によれば、四辺形整形部は、四辺形特定部が特定した四辺形が有する、仮想線分を含む辺（換言すれば、仮想線分によって形成されている辺）が、対向する辺と平行になるように当該仮想線分を含む辺の位置を変更する。そして、画像補正部は、四辺形整形部が整形した四辺形に基づいて撮像画像の透視変換歪みを補正する。
　それゆえ、被写体の像が、撮像画像の外縁に対して回転している場合でも、画像の補正に用いる四辺形を適切に得ることができる。
　また、上記画像処理装置は、上記四辺形特定部が上記四辺形を複数特定した場合に、各四辺形に含まれる輪郭線分および仮想線分の長さを基準として、特定された複数の四辺形を順位付ける順位付け部をさらに備えることが好ましい。
　上記の構成によれば、四辺形特定部が四辺形を複数特定した場合に、順位付け部によって、それらの四辺形が順位付けられる。この順位付けは、各四辺形に含まれる輪郭線分および仮想線分の長さを基準として行われる。例えば、各四辺形に含まれる線分の長さの合計が大きい順に四辺形を順位付ける。
　それゆえ、四辺形特定部によって四辺形が複数特定された場合でも、撮像画像の補正に用いる補正用四辺形として適切な順に四辺形を順位付けることができる。その後、最も順位の高い四辺形を補正用四辺形として用いてもよいし、順位に従って複数の四辺形を使用者に提示してもよい。
　また、上記四辺形特定部は、上記輪郭線分および上記仮想線分の長さと正の相関のある値を上記四辺形の評価値として用い、上記仮想線分の単位長さに対する評価値は、上記輪郭線分の上記単位長さに対する評価値よりも小さいことが好ましい。
　上記の構成によれば、四辺形特定部が用いる四辺形の評価値は、輪郭線分および仮想線分の長さと正の相関のあるものである。すなわち、線分の長さが大きくなれば、その線分を含む四辺形の評価値は大きくなる。また、仮想線分の単位長さに対する評価値は、輪郭線分の単位長さに対する評価値よりも小さく設定されている。
　被写体の像の輪郭から抽出される輪郭線分の長さは、被写体の像が部分的に歪んだり、被写体の像のコントラストが小さいために輪郭線分が断片化したりすることにより、短くなることがある。これに対して、仮想線分は、所定の長さを有するものであり、この所定の長さが長い場合には、統計的に輪郭線分の長さよりも仮想線分の長さが長くなることが考えられる。
　仮想線分の単位長さに対する評価値を、輪郭線分の単位長さに対する評価値よりも小さく設定することにより、不要な仮想線分が挿入され、その仮想線分を含む四辺形が特定された場合に、当該四辺形の評価値を小さくすることができる。
　また、上記画像処理方法における各工程をコンピュータに実行させるための画像処理プログラム、当該画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体も本発明の技術的範囲に含まれる。
　（その他の変更例）
　本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
　また、上述したデジタルカメラ１００の各ブロック、特に画像処理装置１０・２０の各ブロックは、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
　すなわち、画像処理装置１０・２０は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである画像処理装置１０・２０の制御プログラム（画像処理プログラム）のプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記画像処理装置１０・２０に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
　上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ－ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ－Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
　また、画像処理装置１０・２０を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ（high data rate）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
　なお、本発明は、以下のようにも表現できる。
　すなわち、本発明の画像処理装置は、画像入力部と、前記画像入力部にて入力された画像から線分を抽出する線分抽出部と、前記画像に仮想的な線分（仮想線分）を挿入する仮想線分挿入部と、前記線分抽出部により得られた線分（抽出線分）と前記仮想線分から四辺形候補を算出する四辺形候補算出部と、前記四辺形候補算出部にて算出された四辺形に基づいて画像の透視変換歪みを補正する画像補正部とを備えている。
　また、前記仮想線分挿入部は、前記仮想線分を前記画像の上下左右端の中から一つまたは複数の位置に挿入することが好ましい。
　また、前記仮想線分の挿入位置を画像処理装置の使用者に選択させるための選択指示部を備え、前記仮想線分挿入部は、前記選択指示部により選択された位置に前記仮想線分を挿入することが好ましい。
　また、前記四辺形候補算出部は、前記四辺形候補において前記仮想線分を含む辺の位置を向かい合う辺と平行になるように補正することが好ましい。
　また、前記四辺形候補算出部は、前記四辺形候補に含まれる前記抽出線分と前記仮想線分の長さに基づく評価値によって前記四辺形候補の順序付けを行うことが好ましい。
　また、前記評価値は、前記仮想線分の長さに基づく評価値を前記抽出線分の長さに基づく評価値よりも小さくすることが好ましい。
　本発明は、撮像画像に含まれる被写体の像の歪み補正を行う画像処理装置として利用することができる。
１０　画像処理装置
１３　輪郭抽出部（線分画像生成部）
１４　線分抽出部（線分画像生成部）
１５　四辺形候補算出部（四辺形特定部、四辺形整形部、順位付け部）
１７　画像補正部
１９　挿入位置判定部（判定部）
２０　画像処理装置
４１　撮像画像
４４　線分画像
４５・４６・４７・４８・４９　仮想線分
５３　被写体
５５　四辺形
１００　デジタルカメラ（画像処理装置）
１１０　白板（被写体）
１１１　撮像画像
１１３　補正後画像
２００　コンピュータ（画像処理装置）

Claims (12)

  1. 　被写体を撮像した撮像画像から、上記被写体の像の輪郭に含まれる線分である輪郭線分を抽出した線分画像を生成する線分画像生成部と、
    　上記線分画像生成部が生成した線分画像に仮想的な線分である仮想線分を少なくとも１本挿入し、挿入した仮想線分および上記輪郭線分の集合から４本の線分を選択し、その４本の線分をそれぞれ含む４本の直線によって囲まれる四辺形を特定する四辺形特定部と、
    　上記四辺形特定部が特定した四辺形に基づいて上記撮像画像の透視変換歪みを補正する画像補正部とを備えることを特徴とする画像処理装置。
  2. 　上記四辺形特定部は、上記線分画像の外縁を形成する四辺のうちの少なくとも一辺に沿ってまたは当該一辺に重なるように上記仮想線分を挿入することを特徴とする請求項１に記載の画像処理装置。
  3. 　上記四辺形特定部は、上記線分画像の外縁を形成する四辺のそれぞれに対して上記仮想線分を挿入することを特徴とする請求項１または２に記載の画像処理装置。
  4. 　上記仮想線分の挿入位置を示す挿入位置情報を使用者から受け付ける挿入位置情報取得部をさらに備え、
    　上記四辺形特定部は、上記挿入位置情報取得部が取得した挿入位置情報が示す挿入位置に上記仮想線分を挿入することを特徴とする請求項１または２に記載の画像処理装置。
  5. 　上記撮像画像における上記被写体の像の、当該撮像画像の外縁辺における欠落部分を判定する判定部をさらに備え、
    　上記四辺形特定部は、上記判定部が判定した欠落部分を補うように、上記仮想線分を挿入することを特徴とする請求項１に記載の画像処理装置。
  6. 　上記撮像画像における上記被写体の像が、当該撮像画像の外縁を形成する四辺のいずれと接しているかを判定する判定部をさらに備え、
    　上記四辺形特定部は、上記判定部が判定した辺に沿って、または当該辺に重なるように上記仮想線分を挿入することを特徴とする請求項１に記載の画像処理装置。
  7. 　上記四辺形特定部が特定した四辺形が有する、上記仮想線分を含む辺が、対向する辺と平行になるように当該仮想線分を含む辺の位置を変更する四辺形整形部をさらに備え、
    　上記画像補正部は、上記四辺形整形部が整形した四辺形に基づいて上記撮像画像の透視変換歪みを補正することを特徴とする請求項１～６のいずれか１項に記載の画像処理装置。
  8. 　上記四辺形特定部が上記四辺形を複数特定した場合に、各四辺形に含まれる輪郭線分および仮想線分の長さを基準として、特定された複数の四辺形を順位付ける順位付け部をさらに備えることを特徴とする請求項１～６のいずれか１項に記載の画像処理装置。
  9. 　上記四辺形特定部は、上記輪郭線分および上記仮想線分の長さと正の相関のある値を上記四辺形の評価値として用い、
    　上記仮想線分の単位長さに対する評価値は、上記輪郭線分の上記単位長さに対する評価値よりも小さいことを特徴とする請求項８に記載の画像処理装置。
  10. 　画像処理装置における画像処理方法であって、
    　被写体を撮像した撮像画像から、上記被写体の像の輪郭に含まれる線分である輪郭線分を抽出した線分画像を生成する線分画像生成工程と、
    　上記線分画像生成工程において生成した線分画像に仮想的な線分である仮想線分を少なくとも１本挿入し、挿入した仮想線分および上記輪郭線分の集合から４本の線分を選択し、その４本の線分をそれぞれ含む４本の直線によって囲まれる四辺形を特定する四辺形特定工程と、
    　上記四辺形特定工程において特定した四辺形に基づいて上記撮像画像の透視変換歪みを補正する画像補正工程とを含むことを特徴とする画像処理方法。
  11. 　請求項１０に記載の上記各工程をコンピュータに実行させるための画像処理プログラム。
  12. 　請求項１１に記載の画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
PCT/JP2010/063220 2009-10-28 2010-08-04 画像処理装置、画像処理方法、画像処理プログラム、画像処理プログラムを記録した記録媒体 Ceased WO2011052276A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN2010800487099A CN102648622A (zh) 2009-10-28 2010-08-04 图像处理装置、图像处理方法、图像处理程序、记录有图像处理程序的记录介质
EP10826411.0A EP2495949A4 (en) 2009-10-28 2010-08-04 PICTURE PROCESSING DEVICE, PICTURE PROCESSING METHOD, PICTURE PROCESSING PROGRAM, AND RECORDING MEDIUM WITH PICTURE PROCESSING MAIL RECORDED THEREFOR
US13/504,424 US8731321B2 (en) 2009-10-28 2010-08-04 Image processing device, image processing method, image processing program, and recording medium with recorded image processing program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-247788 2009-10-28
JP2009247788A JP4630936B1 (ja) 2009-10-28 2009-10-28 画像処理装置、画像処理方法、画像処理プログラム、画像処理プログラムを記録した記録媒体

Publications (1)

Publication Number Publication Date
WO2011052276A1 true WO2011052276A1 (ja) 2011-05-05

Family

ID=43638558

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/063220 Ceased WO2011052276A1 (ja) 2009-10-28 2010-08-04 画像処理装置、画像処理方法、画像処理プログラム、画像処理プログラムを記録した記録媒体

Country Status (5)

Country Link
US (1) US8731321B2 (ja)
EP (1) EP2495949A4 (ja)
JP (1) JP4630936B1 (ja)
CN (1) CN102648622A (ja)
WO (1) WO2011052276A1 (ja)

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050097046A1 (en) 2003-10-30 2005-05-05 Singfield Joy S. Wireless electronic check deposit scanning and cashing machine with web-based online account cash management computer application system
US8708227B1 (en) 2006-10-31 2014-04-29 United Services Automobile Association (Usaa) Systems and methods for remote deposit of checks
US7873200B1 (en) 2006-10-31 2011-01-18 United Services Automobile Association (Usaa) Systems and methods for remote deposit of checks
US10380559B1 (en) 2007-03-15 2019-08-13 United Services Automobile Association (Usaa) Systems and methods for check representment prevention
US9058512B1 (en) 2007-09-28 2015-06-16 United Services Automobile Association (Usaa) Systems and methods for digital signature detection
US9892454B1 (en) 2007-10-23 2018-02-13 United Services Automobile Association (Usaa) Systems and methods for obtaining an image of a check to be deposited
US9159101B1 (en) 2007-10-23 2015-10-13 United Services Automobile Association (Usaa) Image processing
US10380562B1 (en) 2008-02-07 2019-08-13 United Services Automobile Association (Usaa) Systems and methods for mobile deposit of negotiable instruments
US10504185B1 (en) 2008-09-08 2019-12-10 United Services Automobile Association (Usaa) Systems and methods for live video financial deposit
JP2012504832A (ja) 2008-10-02 2012-02-23 ボールズ、マーク デバイスに対する二次市場およびベンディングシステム
US8452689B1 (en) 2009-02-18 2013-05-28 United Services Automobile Association (Usaa) Systems and methods of check detection
US10956728B1 (en) 2009-03-04 2021-03-23 United Services Automobile Association (Usaa) Systems and methods of check processing with background removal
US9779392B1 (en) 2009-08-19 2017-10-03 United Services Automobile Association (Usaa) Apparatuses, methods and systems for a publishing and subscribing platform of depositing negotiable instruments
US8977571B1 (en) 2009-08-21 2015-03-10 United Services Automobile Association (Usaa) Systems and methods for image monitoring of check during mobile deposit
US8699779B1 (en) 2009-08-28 2014-04-15 United Services Automobile Association (Usaa) Systems and methods for alignment of check during mobile deposit
US9129340B1 (en) 2010-06-08 2015-09-08 United Services Automobile Association (Usaa) Apparatuses, methods and systems for remote deposit capture with enhanced image detection
JP5708051B2 (ja) * 2011-03-07 2015-04-30 株式会社リコー 映像処理装置、映像処理システム、テレビ会議システム、遠方監視システム、映像処理方法、及び撮像装置
JP5742399B2 (ja) * 2011-04-06 2015-07-01 富士ゼロックス株式会社 画像処理装置及びプログラム
JP5488548B2 (ja) 2011-08-04 2014-05-14 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
JP6049000B2 (ja) * 2011-09-21 2016-12-21 株式会社メガチップス 線分および円弧検出装置
US9443318B2 (en) 2011-08-30 2016-09-13 Megachips Corporation Line segment and arc detection apparatus
JP2013050762A (ja) * 2011-08-30 2013-03-14 Mega Chips Corp 線分および円弧検出装置
US10380565B1 (en) 2012-01-05 2019-08-13 United Services Automobile Association (Usaa) System and method for storefront bank deposits
JP2016167311A (ja) * 2012-01-17 2016-09-15 シャープ株式会社 画像処理装置および画像処理方法
US9401011B2 (en) * 2012-06-13 2016-07-26 United Services Automobile Association (Usaa) Systems and methods for removing defects from images
JP2014092899A (ja) * 2012-11-02 2014-05-19 Fuji Xerox Co Ltd 画像処理装置及び画像処理プログラム
US10552810B1 (en) 2012-12-19 2020-02-04 United Services Automobile Association (Usaa) System and method for remote deposit of financial instruments
CN103996212B (zh) * 2013-02-18 2017-11-14 威达电股份有限公司 自动描绘对象边缘走向之方法
US9122921B2 (en) * 2013-06-12 2015-09-01 Kodak Alaris Inc. Method for detecting a document boundary
US11138578B1 (en) 2013-09-09 2021-10-05 United Services Automobile Association (Usaa) Systems and methods for remote deposit of currency
US9286514B1 (en) 2013-10-17 2016-03-15 United Services Automobile Association (Usaa) Character count determination for a digital image
JP6152821B2 (ja) 2014-03-31 2017-06-28 ブラザー工業株式会社 画像処理装置、および、コンピュータプログラム
US9462189B2 (en) 2014-07-31 2016-10-04 Apple Inc. Piecewise perspective transform engine
US10445708B2 (en) 2014-10-03 2019-10-15 Ecoatm, Llc System for electrically testing mobile devices at a consumer-operated kiosk, and associated devices and methods
US20170169401A1 (en) 2015-12-11 2017-06-15 ecoATM, Inc. Systems and methods for recycling consumer electronic devices
WO2016145334A1 (en) * 2015-03-12 2016-09-15 Raytheon Company Apparatus and processes for corn moisture analysis and pprediction of optimum harvest date
US10402790B1 (en) 2015-05-28 2019-09-03 United Services Automobile Association (Usaa) Composing a focused document image from multiple image captures or portions of multiple image captures
FR3038432A1 (fr) * 2015-07-02 2017-01-06 Gabriel Kasser Procede de rectification d'une image et d'extraction d'elements d'information issus de cette image
JP6676299B2 (ja) * 2015-07-21 2020-04-08 キヤノン株式会社 画像処理装置、画像処理方法、コンピュータプログラム
JP6833324B2 (ja) * 2016-03-09 2021-02-24 キヤノン株式会社 情報処理装置、プログラム及び情報処理方法
US10269110B2 (en) 2016-06-28 2019-04-23 Ecoatm, Llc Methods and systems for detecting cracks in illuminated electronic device screens
CN108780572B (zh) * 2017-02-22 2021-04-20 华为技术有限公司 图像校正的方法及装置
CN108943724A (zh) * 2017-05-19 2018-12-07 三纬国际立体列印科技股份有限公司 切层图像处理方法以及立体打印设备
JP7030425B2 (ja) * 2017-05-22 2022-03-07 キヤノン株式会社 画像処理装置、画像処理方法、プログラム
JP6542407B1 (ja) * 2018-02-16 2019-07-10 株式会社東芝 読取システム、読取方法、プログラム、及び記憶媒体
US11030752B1 (en) 2018-04-27 2021-06-08 United Services Automobile Association (Usaa) System, computing device, and method for document detection
US12380420B2 (en) 2019-12-18 2025-08-05 Ecoatm, Llc Systems and methods for vending and/or purchasing mobile phones and other electronic devices
CN111507924B (zh) * 2020-04-27 2023-09-29 北京百度网讯科技有限公司 视频帧的处理方法和装置
US11922467B2 (en) * 2020-08-17 2024-03-05 ecoATM, Inc. Evaluating an electronic device using optical character recognition
US11900755B1 (en) 2020-11-30 2024-02-13 United Services Automobile Association (Usaa) System, computing device, and method for document detection and deposit processing
WO2022222047A1 (zh) * 2021-04-20 2022-10-27 Oppo广东移动通信有限公司 文档扫描方法及装置、存储介质及电子设备
WO2023283647A1 (en) 2021-07-09 2023-01-12 Ecoatm, Llc Identifying electronic devices using temporally changing information
WO2023073972A1 (ja) * 2021-10-29 2023-05-04 日本電信電話株式会社 領域検出装置、領域検出方法、及びプログラム
JP7782293B2 (ja) * 2022-02-10 2025-12-09 セイコーエプソン株式会社 焦点距離演算方法、プロジェクターの表示方法および撮影システム
US12211095B1 (en) 2024-03-01 2025-01-28 United Services Automobile Association (Usaa) System and method for mobile check deposit enabling auto-capture functionality via video frame processing

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08163427A (ja) 1994-12-05 1996-06-21 Canon Inc 撮像装置
JP2004040395A (ja) 2002-07-02 2004-02-05 Fujitsu Ltd 画像歪み補正装置、方法及びプログラム
JP2005122328A (ja) * 2003-10-14 2005-05-12 Casio Comput Co Ltd 撮影装置、その画像処理方法及びプログラム
JP2005122320A (ja) * 2003-10-14 2005-05-12 Casio Comput Co Ltd 撮影装置、その画像処理方法及びプログラム
JP2005258718A (ja) * 2004-03-10 2005-09-22 Casio Comput Co Ltd 画像処理装置、画像投影装置、画像処理方法及びプログラム
JP2007058634A (ja) * 2005-08-25 2007-03-08 Ricoh Co Ltd 画像処理方法及び装置、デジタルカメラ装置、並びに画像処理プログラムを記録した記録媒体
JP2008257713A (ja) 2007-03-16 2008-10-23 Fujitsu Ltd 透視変換歪み発生文書画像補正装置および方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0104664D0 (en) * 2001-02-23 2001-04-11 Hewlett Packard Co Improvements relating to document capture
JP3743828B2 (ja) * 2003-10-14 2006-02-08 カシオ計算機株式会社 電子カメラ
US7425958B2 (en) * 2004-10-25 2008-09-16 Adobe Systems Incorporated Perspective editing tools for 2-D images
KR100947002B1 (ko) 2005-08-25 2010-03-11 가부시키가이샤 리코 화상 처리 방법 및 장치, 디지털 카메라, 및 화상 처리프로그램을 기록한 기록 매체
JP2013009304A (ja) * 2011-05-20 2013-01-10 Ricoh Co Ltd 画像入力装置、会議装置、画像処理制御プログラム、記録媒体

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08163427A (ja) 1994-12-05 1996-06-21 Canon Inc 撮像装置
JP2004040395A (ja) 2002-07-02 2004-02-05 Fujitsu Ltd 画像歪み補正装置、方法及びプログラム
JP2005122328A (ja) * 2003-10-14 2005-05-12 Casio Comput Co Ltd 撮影装置、その画像処理方法及びプログラム
JP2005122320A (ja) * 2003-10-14 2005-05-12 Casio Comput Co Ltd 撮影装置、その画像処理方法及びプログラム
JP2005258718A (ja) * 2004-03-10 2005-09-22 Casio Comput Co Ltd 画像処理装置、画像投影装置、画像処理方法及びプログラム
JP2007058634A (ja) * 2005-08-25 2007-03-08 Ricoh Co Ltd 画像処理方法及び装置、デジタルカメラ装置、並びに画像処理プログラムを記録した記録媒体
JP2008257713A (ja) 2007-03-16 2008-10-23 Fujitsu Ltd 透視変換歪み発生文書画像補正装置および方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2495949A4

Also Published As

Publication number Publication date
JP2011097251A (ja) 2011-05-12
US20120263394A1 (en) 2012-10-18
JP4630936B1 (ja) 2011-02-09
US8731321B2 (en) 2014-05-20
EP2495949A1 (en) 2012-09-05
CN102648622A (zh) 2012-08-22
EP2495949A4 (en) 2014-05-07

Similar Documents

Publication Publication Date Title
JP4630936B1 (ja) 画像処理装置、画像処理方法、画像処理プログラム、画像処理プログラムを記録した記録媒体
US10484610B2 (en) Image-capturing apparatus, captured image processing system, program, and recording medium
CN101248454B (zh) 图像处理方法和设备、数字照相机
KR100947002B1 (ko) 화상 처리 방법 및 장치, 디지털 카메라, 및 화상 처리프로그램을 기록한 기록 매체
US9497355B2 (en) Image processing apparatus and recording medium for correcting a captured image
JP6688277B2 (ja) プログラム、学習処理方法、学習モデル、データ構造、学習装置、および物体認識装置
CN102025809B (zh) 便携终端装置及其控制方法、图像输出装置和方法
EP1577832A2 (en) Image processing apparatus for correcting distortion of image and image shooting apparatus for correcting distortion of shot image
JP2007201948A (ja) 撮像装置、画像処理方法及びプログラム
CN101295359B (zh) 图像处理装置及图像处理方法
JP5488530B2 (ja) 画像処理装置及び画像処理プログラム
CN101460937A (zh) 基于模型的去扭曲方法和设备
JP2019040617A (ja) 画像処理装置および画像処理方法
JP4556813B2 (ja) 画像処理装置、及びプログラム
JP6797046B2 (ja) 画像処理装置及び画像処理プログラム
JP5541679B2 (ja) 画像処理装置及び方法、並びに、プログラム
US8897538B1 (en) Document image capturing and processing
JP2007074578A (ja) 画像処理装置、撮影装置、及びプログラム
JP4487000B2 (ja) 画像処理装置、画像形成装置、画像処理方法、画像処理システム、画像処理プログラムおよびその記録媒体
CN118212157A (zh) 图像处理方法
JP4696239B2 (ja) 文字列の傾斜補正方法及び装置
JP2012014430A (ja) 画像処理装置、制御方法、及びプログラム
JP4591343B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080048709.9

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10826411

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13504424

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2010826411

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 4072/CHENP/2012

Country of ref document: IN