WO2011049046A1 - 画像処理装置、画像処理方法、画像処理プログラム、および、記録媒体 - Google Patents

画像処理装置、画像処理方法、画像処理プログラム、および、記録媒体 Download PDF

Info

Publication number
WO2011049046A1
WO2011049046A1 PCT/JP2010/068281 JP2010068281W WO2011049046A1 WO 2011049046 A1 WO2011049046 A1 WO 2011049046A1 JP 2010068281 W JP2010068281 W JP 2010068281W WO 2011049046 A1 WO2011049046 A1 WO 2011049046A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
ellipse
image processing
polygon
center candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2010/068281
Other languages
English (en)
French (fr)
Inventor
理紀夫 尾内
智大 佐藤
正弥 森
正裕 三條
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electro Communications NUC
Rakuten Group Inc
Original Assignee
University of Electro Communications NUC
Rakuten Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electro Communications NUC, Rakuten Inc filed Critical University of Electro Communications NUC
Priority to KR1020127012887A priority Critical patent/KR101379066B1/ko
Priority to EP10824895.6A priority patent/EP2477152B1/en
Priority to US13/502,972 priority patent/US8660309B2/en
Priority to CN201080053867.3A priority patent/CN102656605B/zh
Priority to CA2776881A priority patent/CA2776881C/en
Priority to ES10824895.6T priority patent/ES2694762T3/es
Publication of WO2011049046A1 publication Critical patent/WO2011049046A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3877—Image rotation
    • H04N1/3878—Skew detection or correction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image

Definitions

  • the present invention relates to the technical field of an image processing apparatus, an image processing method, an image processing program, and a recording medium that perform image conversion on image data.
  • Patent Document 1 discloses an image obtained by photographing a white board as a photographing object in order to obtain an image as if it was photographed from the front by correcting an image of the photographing object such as a letter written on a document or a white board. From the acquired contour, a contour is obtained, a straight line that is a candidate for forming a white plate image is detected from the obtained contour, a square shape of the white plate is obtained, and the white plate image and the actual image are obtained from the vertex positions of the square.
  • An image processing apparatus that obtains a projection parameter indicating a relationship with a white plate and performs projective transformation on the image of the white plate is disclosed.
  • the shooting target is corrected using a straight line of a document or the like as a clue. Therefore, when shooting a shooting target such as a flower having almost no straight line portion, the shooting target is corrected and the shooting target is corrected. It is difficult to obtain an image as if it was taken.
  • the present invention has been made in view of such a problem, and an example of the problem is an image processing apparatus that converts a target image without a straight line outline into an image displayed in a desired direction.
  • An object is to provide an image processing method, an image processing program, and a recording medium.
  • the invention according to claim 1 is an image processing apparatus that performs image processing on a target image, and includes an ellipse calculation unit that calculates an ellipse that approximates the target image, and the target Center candidate determination means for determining a center candidate of an image, polygon calculation means for calculating the ellipse and a first polygon related to the center candidate, and an ellipse centered on a point at which the center candidate is projectively transformed A projective transformation matrix calculating means for calculating a projective transformation matrix for projectively transforming the first polygon into a second associated polygon; and a transform for obtaining a transformed image by performing projective transformation on the target image based on the projective transformation matrix. And an image acquisition means.
  • the projective transformation matrix calculating means includes a second polygon in which an ellipse centered on a point where the center candidate is projective transformed is inscribed or circumscribed. A projective transformation matrix for projectively transforming the first polygon is calculated.
  • the invention according to claim 3 is an image processing apparatus characterized in that an ellipse centered at a point at which the center candidate in the projective transformation matrix calculating means is projectively transformed is a perfect circle.
  • the polygon calculation means contacts a point of intersection between the straight line passing through the center candidate and the ellipse.
  • the first polygon is calculated as follows.
  • the polygon calculation means obtains a straight line passing through the center candidate from a straight line parallel to the major axis of the ellipse. .
  • the polygon calculation means is such that a straight line parallel to any side of an image frame surrounding the target image and the ellipse are in contact with each other. Is the contact point.
  • the polygon calculation means calculates a quadrangle associated with the ellipse and the center candidate
  • the projective transformation matrix calculating means calculates a projective transformation matrix for projectively transforming the quadrangle into a square related to an ellipse centered at a point where the center candidate is projectively transformed.
  • the central candidate determining unit includes the central candidate image including the central candidate from the target image.
  • the center candidate is determined from the intersection of the major axis and the minor axis of an ellipse obtained by ellipse approximation of the extracted center candidate image.
  • the invention according to claim 9 is the image processing apparatus according to any one of claims 1 to 8, wherein the target image is a flower image, and the ellipse calculation means approximates the flower image. The ellipse is calculated, and the center candidate determining means determines the center candidate of the flower image from the center of the flower image.
  • the image processing apparatus further includes an image acquisition unit that acquires an image including the target image. .
  • the invention according to claim 11 is the image processing apparatus according to claim 10, further comprising target image extraction means for extracting the target image from the acquired image.
  • a twelfth aspect of the present invention is the image processing apparatus according to any one of the first to eleventh aspects, further comprising search means for searching for information specifying the target image based on the converted image. It is characterized by that.
  • the search unit extracts the feature amount of the image from the converted image and specifies the target image based on the feature amount. It is characterized by searching.
  • the invention according to claim 14 is the image processing apparatus according to any one of claims 1 to 13, wherein the second polygon is a regular polygon.
  • the invention according to claim 15 is the image processing apparatus according to any one of claims 1 to 14, further comprising a storage means for storing the target image.
  • the invention according to claim 16 is an image processing method for performing image processing on a target image, the ellipse calculating step for calculating an ellipse that approximates the target image, and the center of the target image after the image processing
  • a center candidate determining step for determining a candidate for determining a candidate
  • a polygon calculating step for calculating the ellipse and a first polygon related to the center candidate and a second candidate related to an ellipse centered on a point where the center candidate is projectively transformed.
  • a projective transformation matrix calculating step for calculating a projective transformation matrix for projectively transforming the first polygon into two polygons; and a transformed image obtaining step for performing a projective transformation on the target image based on the projective transformation matrix to obtain a transformed image. It is characterized by having.
  • the invention according to claim 17 is an ellipse calculation unit that calculates an ellipse that approximates a target image of image processing, a center candidate determination unit that determines a center candidate of the target image after the image processing, the ellipse and A polygon calculating means for calculating a first polygon related to the center candidate; a projection for projectively converting the first polygon to a second polygon related to an ellipse centered on a point at which the center candidate is projectively transformed; Projection transformation matrix calculation means for calculating a transformation matrix and projective transformation of the target image based on the projection transformation matrix to function as converted image acquisition means for obtaining a converted image.
  • an ellipse calculation unit that calculates an ellipse that approximates a target image for image processing, a center candidate determination unit that determines a center candidate of the target image after the image processing, the ellipse and A polygon calculating means for calculating a first polygon related to the center candidate; a projection for projectively converting the first polygon to a second polygon related to an ellipse centered on a point at which the center candidate is projectively transformed; A projection transformation matrix calculation means for calculating a transformation matrix, and an image processing program that functions as a transformation image acquisition means for projecting and transforming the target image based on the projection transformation matrix to obtain a transformation image
  • the computer-readable recording medium that calculates an ellipse that approximates a target image for image processing, a center candidate determination unit that determines a center candidate of the target image after the image processing, the ellipse and A polygon calculating means for calculating a first polygon related to the center candidate; a projection for projectively converting
  • a target image to be subjected to image processing is stored, an ellipse that approximates the target image is calculated, a center candidate of the target image is determined, a first polygon related to the ellipse and the center candidate is calculated, A projective transformation matrix for projectively transforming the first polygon to a second polygon related to an ellipse centered on the point at which the center candidate is projectively transformed is calculated, and the stored target image is projectively transformed based on the projective transformation matrix.
  • FIG. 5 It is a schematic diagram which shows a mode that the candidate image was extracted. It is a schematic diagram which shows an example of the target image by which projective transformation was carried out. It is a flowchart which shows an example of the search process in the search server of FIG. 5 is a flowchart illustrating an example of a subroutine for conversion to a standard image in the flowchart of FIG. 4.
  • A is a schematic diagram illustrating an example of an outline of the target image of FIG. 5 and an ellipse that approximates the target image
  • (B) is a center candidate image and a center candidate image including a center candidate extracted from the target image. It is a schematic diagram which shows an example of the ellipse which approximates.
  • FIG. 9 It is a schematic diagram which shows the relationship between the ellipse of FIG. 9 (A) and the ellipse of FIG. 9 (B). It is a schematic diagram which shows the relationship between the object image of FIG. 5, and the rectangle which touches an ellipse. It is a schematic diagram which shows the mode of the projective transformation from an ellipse to a perfect circle, Comprising: (A) is a schematic diagram which shows the rectangle which touches an ellipse, (B) is a schematic diagram which shows the mode after projective transformation. (A) is a schematic diagram which shows the plane for demonstrating a projective transformation matrix, (B) is a schematic diagram which shows the plane for demonstrating the projective transformation of a quadratic curve. FIG.
  • FIG. 9 is a flowchart illustrating an example of a square calculation subroutine in the flowchart of FIG. 8.
  • FIG. It is a flowchart which shows an example of the square calculation subroutine in the 1st, 2nd modification which calculates
  • FIG. 1 is a schematic diagram showing a schematic configuration example of an image search system according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing an example of a schematic configuration of the mobile terminal of FIG.
  • an image search system 1 as an example of an image processing apparatus includes a mobile terminal 10 that captures a subject to be imaged, such as a portable wireless telephone, and an image search that performs a search based on image data from the mobile terminal 10. And a server 20.
  • the mobile terminal 10 that functions as an example of an image processing apparatus includes an imaging unit 11 that captures an imaging target, a display unit 12 that displays captured images, and a wireless that performs transmission and reception with a wireless base station.
  • a communication unit 13, an operation unit 14 for inputting numbers, characters, and the like, a storage unit 15 for storing captured images, and a control unit 16 for performing various controls of the mobile terminal 10 are provided via a bus 17. It is connected.
  • the imaging unit 11 includes a digital camera including a CMOS (Complementary Metal Oxide Semiconductor) image sensor, a CCD (charge-coupled device) image sensor, and the like.
  • CMOS Complementary Metal Oxide Semiconductor
  • CCD charge-coupled device
  • the display unit 12 is configured by a liquid crystal display element or an EL (Electro Luminescence) element.
  • the wireless communication unit 13 communicates with the image search server 20 through the mobile communication network 2 and the network 3 such as the Internet.
  • the operation unit 14 includes various keys. The user moves the pointer displayed on the display unit 12 through the operation unit 14 or selects and confirms an image portion.
  • the storage unit 15 includes a RAM (Random Access Memory), a ROM (Read Only Memory), a non-volatile memory such as a flash memory, etc., and a memory in which an image processing program is loaded or image data is stored. A space is formed.
  • RAM Random Access Memory
  • ROM Read Only Memory
  • non-volatile memory such as a flash memory, etc.
  • the control unit 16 has a CPU (Central Processing Unit), and executes an image processing program as a computer.
  • CPU Central Processing Unit
  • the image search server 20 that functions as a computer includes a control unit 21 that controls the entire image search server 20 and performs image processing calculations, and a database 22 in which a database for image search is constructed. .
  • control unit 21 includes a CPU 21a that executes a computer program, a RAM 21 that stores a program to be executed, a memory 21b such as a nonvolatile memory such as a flash memory, and the like.
  • the CPU 21a of the control unit 21 retrieves information from the database 22 in response to a retrieval request transmitted from the mobile terminal 10, performs image processing for retrieving information from received image data, and manages the database 22. To go.
  • a program for executing an image search is developed, received image data is stored, and a calculation result is temporarily stored.
  • the database 22 includes a hard disk drive, a silicon disk, and the like, and stores information associated with image feature amounts.
  • the database 22 includes string information such as the color of the flower, the number of petals, information on the shape of the whole flower, petal information such as the petal breaks, etc.
  • information about flowers such as names and scientific names of flowers and images related to flowers such as flowers, leaves, and fruits are stored.
  • the mobile terminal 10 is connected to the mobile communication network 2, the image search server 20 is connected to a network 3 such as the Internet, and the mobile communication network 2 and the network 3 convert protocol, convert language to describe content, etc. Connected by a gateway or the like.
  • FIG. 3 is a conceptual diagram showing a concept of how a subject is projected on a photograph when the subject is photographed from the observation point V1.
  • the image is deformed so that the flower image taken obliquely from the observation point V1 looks like a front view.
  • the flower of the subject is approximated by the ellipse E1 and is on the plane of the quadrangle P1 '.
  • each contour line is approximated to an ellipse.
  • the ellipse approximating the entire flower corresponds to an ellipse E1
  • the center is a point O B.
  • the center of the ellipse approximating the flower core corresponds to the point O A.
  • projective transformation is performed to obtain a standard image (conversion image) that looks from the front of the flower.
  • Projective transformation is equivalent to copying an object in a three-dimensional space onto a film on a two-dimensional plane when compared to a photograph.
  • This reverse direction that is, projection from 2D to 3D is generally impossible, but it is possible by limiting some conditions.
  • projective transformation from a two-dimensional plane to a two-dimensional plane is performed by assuming that a planar flower exists on a plane (a plane including the quadrangle P1) in the three-dimensional space. Further, to simplify the method, it is assumed that the actual flower shape can be approximated to a perfect circle E1 '.
  • the flower cut out in the input image is approximated to an ellipse E1, and a quadrangle P1 circumscribing the ellipse E1 is obtained and used as a deformation target region.
  • the transformation target area is projectively transformed into a square P1 'that is a square, the ellipse E1 is projected onto the assumed perfect circle E1'.
  • the standard image is an image converted so as to be displayed in a desired direction.
  • a standard image is an image in which flowers are displayed at an angle such that the center of the flower is near the center of the whole flower, for example, as long as the image is viewed from an angle that makes it easy to identify the target image such as a flower Good.
  • FIG. 4 is a flowchart showing an example of image processing by the mobile terminal of FIG. 5A is a schematic diagram illustrating an example of an image including a target image
  • FIG. 5B is a schematic diagram illustrating a state of the target image extracted from the image
  • FIG. 5C is a center candidate from the target image. It is a schematic diagram which shows a mode that the center candidate image containing is extracted.
  • FIG. 6 is a schematic diagram illustrating an example of a target image subjected to projective transformation.
  • the mobile terminal 10 acquires an image to be captured by the imaging unit 11 (step S ⁇ b> 1). Specifically, the control unit 16 of the mobile terminal 10 acquires an image including a target image (flower image) as illustrated in FIG. 5A from the imaging unit 11, and stores image data of the image as a storage unit 15 stored.
  • the portable terminal 10 functions as an example of an image acquisition unit that acquires an image including a target image, and also functions as an example of a storage unit that stores a target image for performing image processing.
  • the flower of the subject is not photographed from the front.
  • the mobile terminal 10 extracts a target image from the acquired image (step S2). Specifically, as shown in FIG. 5B, the control unit 16 obtains the outline of the entire flower and extracts an image of the flower. In FIG. 5B, the entire flower characterized by the petals is drawn by the outline, and the background portion is darkened.
  • the user designates a flower portion and a background portion by a pointer displayed on the display unit 12 by the operation unit 14, and based on the color information, The control unit 16 may extract the target image.
  • the mobile terminal 10 functions as an example of a target image extraction unit that extracts a target image from the acquired image.
  • the target image extraction unit includes at least one foreground pixel on a flower portion (foreground region) included in the acquired image, and a background portion (background region) included in the acquired image.
  • Accepting means for accepting designation of at least one background pixel from the user, a divided color space obtained by dividing the three-dimensional color space into a plurality of parts, using the designated foreground pixel and the designated background pixel as reference pixels, respectively.
  • a divided color space specifying means for performing a divided color space specifying process for specifying a divided color space to which each reference pixel belongs as a reference divided color space, and a color distance in a color space between each reference pixel and an adjacent pixel adjacent thereto.
  • Color distance calculation means for performing a color distance calculation process to be calculated, an attribute determination for determining whether each adjacent pixel belongs to each reference divided color space Attribute determination means for processing, the color distance calculated for each adjacent pixel, and the weight based on the attribute to the reference divided color space determined for each adjacent pixel, and the cost for each adjacent pixel
  • the foreground region may be extracted from the acquired image by causing the computer to repeat the color distance calculation process, the affiliation determination process, the cost calculation process, and the confirmation process, and the target image may be extracted.
  • the mobile terminal 10 extracts a center candidate image from the target image (step S3).
  • the control unit 16 extracts the outline of the flower core portion, which is an example of the center candidate image, in the outline of the entire flower.
  • the user designates the petal part and the flower core part by the pointer displayed on the display unit 12 by the operation unit 14, and based on the color information.
  • the control unit 16 may extract the target image.
  • the mobile terminal 10 functions as an example of a center candidate determination unit that extracts a center candidate image that is an image of a predetermined region including a center candidate from the target image.
  • the center candidate image is, for example, an image of a region in the target image that includes the center candidate and whose depth or color information is discontinuously different from the surroundings.
  • the mobile terminal 10 converts the target image into a standard image (step S4).
  • the control unit 16 converts the target image stored in the storage unit 15 into a standard image obtained by photographing a flower from the front as shown in FIG. .
  • the portable terminal 10 functions as an example of a standard image acquisition unit (converted image acquisition unit) that performs a projective conversion on the target image stored in the storage unit based on the projection conversion matrix to acquire a standard image.
  • the neighboring image data including the target image is converted into a standard image.
  • the mobile terminal 10 transmits a standard image for search to the image search server 20 (step S5). Specifically, in order to search for what kind of flower the photographed flower is, the control unit 16 transmits a standard image as shown in FIG. 6 from the wireless communication unit 13 through the mobile communication network 2 and the network 3. Is transmitted to the image search server 20.
  • the mobile terminal 10 receives and displays the search result from the image search server 20 (step S6).
  • the control unit 16 receives the searched flower name and flower information from the image search server 20 by the wireless communication unit 13 and displays them on the display unit 12.
  • FIG. 7 is a flowchart showing an example of search processing in the image search server 20.
  • the image search server 20 receives a standard image from the mobile terminal 10 (step S7). Specifically, the control unit 21 of the image search server 20 receives a standard image from the mobile terminal 10 through the mobile communication network 2 and the network 3.
  • the image search server 20 extracts a feature amount from the received standard image (step S8). Specifically, when the target image is a flower image, the control unit 21 uses the number of petals, the color of the flower, information on the shape of the entire flower, petal information such as the petal break, and the like as the feature amount of the standard image. To extract.
  • the image search server 20 searches the database 22 for information for specifying the standard image based on the extracted feature amount of the standard image (step S9). Specifically, the control unit 21 searches for a similar flower from the database 22 based on the feature amount of the standard image of the flower, and obtains information about the higher-level flower such as the similarity and an image about the flower. As described above, the image search server 20 functions as an example of a search unit that searches for information specifying a target image based on a standard image. In addition, the image search server 20 functions as an example of a search unit that extracts a feature amount of an image from a standard image and searches for information for specifying a target image based on the feature amount.
  • the image search server 20 transmits the upper search result to the mobile terminal 10 (step S10).
  • the control unit 21 transmits information related to flowers and images related to flowers.
  • the image search server 20 functions as an example of a search unit that searches for information specifying a target image based on a standard image.
  • the image search server 20 functions as an example of a search unit that extracts a feature amount of an image from a standard image and searches for information for specifying a target image based on the feature amount.
  • the mobile terminal 10 may include a database such as the database 22 of the image search server 20 and search for image information from the standard image.
  • FIG. 8 is a flowchart showing an example of a subroutine for conversion to a standard image in the flowchart of FIG.
  • FIG. 9A is a schematic diagram illustrating an example of an outline of the target image in FIG. 5 and an ellipse that approximates the target image.
  • FIG. 9B illustrates a center candidate image including a center candidate extracted from the target image and a center. It is a schematic diagram which shows an example of the ellipse which approximates a candidate image.
  • FIG. 10 is a schematic diagram showing the relationship between the ellipse of FIG. 9A and the ellipse of FIG. 9B.
  • FIG. 11 is a schematic diagram showing the relationship between the target image of FIG. 5 and a quadrangle that touches the ellipse.
  • FIG. 12 is a schematic diagram showing a state of projective transformation from an ellipse to a perfect circle, where (A) is a schematic diagram showing a quadrangle in contact with the ellipse, and (B) is a schematic diagram showing a state after projective transformation. It is.
  • the mobile terminal 10 performs ellipse approximation of the target image and the center candidate image (step S20). Specifically, as shown in FIG. 9A, the control unit 16 approximates the contour F1 of the whole flower extracted in step S2 to the ellipse E1 by the least square method, and as shown in FIG. 9B. The outline F2 of the flower core portion extracted in step S3 is approximated to the ellipse E2 by the least square method. As described above, the mobile terminal 10 functions as an example of an ellipse calculation unit that calculates an ellipse that approximates the target image. The ellipse approximation will be described later.
  • the mobile terminal 10 determines a center candidate (step S21). More specifically, the control unit 16, as shown in FIG. 9 (B), from the intersection of the long axis E2A and a minor axis E 2 B of the ellipse E2 approximating the flower core, determines the center candidate O A.
  • the center candidate O A is the depth information.
  • the relationship between the ellipse E1 of the whole flower and the ellipse E2 of the flower core is as shown in FIG.
  • the mobile terminal 10 functions as an example of a center candidate determination unit that determines a center candidate of the target image.
  • the mobile terminal 10 functions as an example of a center candidate determination unit that determines a center candidate from the intersection of the major axis and the minor axis of an ellipse obtained by ellipse approximation of the extracted center candidate image.
  • the mobile terminal 10 functions as an example of an ellipse calculation unit that calculates an ellipse that approximates a flower image when the target image is a flower image.
  • the mobile terminal 10 functions as an example of a center candidate determination unit that determines a center candidate of a flower image from the center part of the flower image when the target image is a flower image.
  • the mobile terminal 10 obtains a rectangle related to the ellipse and the center candidate (step S22). Specifically, as shown in FIG. 11, the control unit 16 by a center candidate O A of the whole flower ellipse E1 and Hanashin ellipse E2, a rectangle P1 as an example of the first polygon that is in contact with the ellipse E1 Ask. As described above, the mobile terminal 10 functions as an example of a polygon calculating unit that calculates the first polygon related to the ellipse and the center candidate. In addition, the mobile terminal 10 functions as an example of a polygon calculating unit that calculates a rectangle related to the ellipse and the center candidate.
  • the mobile terminal 10 calculates a projective transformation matrix based on a quadrangle that is an example of a first polygon and a square that is an example of a second polygon (step S23).
  • the control unit 16 is an example of the vertices x1, x2, x3, and x4 of the quadrangle P1 that is the first polygon, and the second polygon.
  • a projective transformation matrix is calculated based on the vertices x1 ′, x2 ′, x3 ′, and x4 ′ of the square P1 ′.
  • the mobile terminal 10 uses the projective transformation matrix calculating means for calculating the projective transformation matrix for projectively transforming the first polygon to the second polygon related to the ellipse centered on the point where the center candidate is projectively transformed. It serves as an example. Further, the mobile terminal 10 functions as a projective transformation matrix calculating unit that calculates a projective transformation matrix for projectively transforming a quadrangle to a square related to an ellipse centered on a point where the center candidate is projectively transformed.
  • the second polygon is, for example, a regular polygon.
  • the center of the second polygon is, for example, the center of gravity, inner center, or outer center of the second polygon that is a regular polygon.
  • a square is used as the second polygon.
  • the square P1 'that is the second polygon circumscribes an ellipse (a perfect circle in the present embodiment) E1' centered at a point where the center candidate is projective transformed.
  • the center of the ellipse refers to the intersection of the major axis and the minor axis of the ellipse.
  • the ellipse includes a perfect circle in which the length of the major axis coincides with the length of the minor axis. The projective transformation matrix will be described later.
  • the mobile terminal 10 converts the target image into a standard image based on the projective transformation matrix (step S24). Specifically, the control unit 16 stores the storage unit based on the projective transformation matrix that converts the square P1 (x1, x2, x3, x4) to the square P1 ′ (x1 ′, x2 ′, x3 ′, x4 ′). Conversion is performed on each pixel of the image data of the stored target image.
  • the mobile terminal 10 determines whether or not the standard image needs to be corrected (step S25). Specifically, the control unit 16 determines whether the correction of the standard image is necessary based on the error between the ellipse approximation and the outline of the whole flower, the distortion of the standard image, the distortion of the center part of the standard image, or the like. judge. Alternatively, when a human sees the standard image and correction is necessary, the control unit 16 receives input from the operation unit 14 and determines whether correction of the standard image is necessary. And when correction is required (step S25; YES), the control part 16 returns to step S20, and adjusts the position of an ellipse shape or a center candidate. On the other hand, when correction is unnecessary (step S25; NO), the control unit 16 ends the subroutine.
  • a quadratic curve can be expressed by the following equation using coefficients A to F.
  • Ax 2 + 2Bxy + Cy 2 + 2Dx + 2Ey + F 0 ⁇ (1)
  • FIG. 13A is a schematic diagram showing a plane for explaining the projective transformation matrix
  • FIG. 13B is a schematic diagram showing a plane for explaining the projective transformation of the quadratic curve.
  • each equation can be divided by an arbitrary constant and consists of eight independent coefficients. Therefore, an arbitrary 1 coefficient can be fixed.
  • a 33 1.
  • the coordinates of these eight points are substituted into equation (8) and solved, and a projective transformation matrix P is defined below from the coefficients.
  • the matrix Q is defined by the coefficients A to F as follows.
  • equation (12) can be further replaced with the following equation.
  • X T QX 0 ⁇ (14 )
  • the quadratic curve retains the properties of the quadratic curve even when projective transformation is applied.
  • FIG. 14 is a flowchart showing an example of a square calculation subroutine in the flowchart of FIG.
  • the object of the projective transformation is limited to an ellipse of the quadratic curve, and the virtual quadrangle (deformation target area) P1 obtained from the ellipse E1 changes to the square P1 ′ inscribed with the perfect circle E1 ′.
  • the projective transformation from the ellipse E1 to the perfect circle E1 ' is considered.
  • This subroutine obtains the square P1 of the deformation target area by the following method.
  • the mobile terminal 10 determines a first reference line that passes through the center candidate (step S30). Any More specifically, the control unit 16 of the mobile terminal 10, as shown in FIG. 12 (A), that for one of the ellipse E1 and the point of its inner (center candidates) O A, passing through the center candidate O A linear, for example, to determine a first reference line l 0 parallel to the long axis E1A of the ellipse E1. In this way, the mobile terminal 10 functions as an example of a polygon calculation unit that obtains a straight line (first reference straight line l 0 ) passing through the center candidate from a straight line parallel to the major axis of the ellipse.
  • the mobile terminal 10 calculates the first contact and the second contact from the intersection of the first reference line and the ellipse (step S31). More specifically, the control unit 16 calculates the first reference straight line l 0 and elliptic E1 a first contact from the intersection point q 1 and second contact q 2.
  • the mobile terminal 10 calculates a first tangent line with the first contact as a contact point and a second tangent line with the second contact point as a contact point (step S32). More specifically, the control unit 16 calculates a first tangent line m 1 of the ellipse E1 in the first contact q 1, and a second tangential line m 2 of the ellipse E1 in the second contact q 2.
  • the mobile terminal 10 calculates the first vanishing point from the intersection of the first tangent and the second tangent (step S33). Specifically, the control unit 16 calculates the first vanishing point q ⁇ from the intersection of the first tangent line m 1 and the second tangent line m 2 .
  • the first vanishing point q ⁇ is called a pole
  • the reference straight line 10 is called a polar line. If one is determined, the other is determined.
  • the mobile terminal 10 calculates a second reference line that passes through the first vanishing point and the center candidate (step S34). Specifically, the control unit 16 calculates the second reference straight line m 0 as a polar line that passes through both the first vanishing point q ⁇ and the center candidate O A.
  • the mobile terminal 10 calculates the third and fourth contacts from the second reference line, the ellipse, and the intersection (step S35). More specifically, the control unit 16 calculates a more third contact p 1 and a fourth contact point p 2 intersection and the second reference line m 0 and elliptic E1.
  • the mobile terminal 10 calculates a third tangent line with the third contact as a contact point and a fourth tangent line with the fourth contact point as a contact point (step S36). More specifically, the control unit 16 calculates a third tangent line l 1 of the ellipse E1 in the third contact point p 1, and a fourth tangent line l 2 of the ellipse E1 in the fourth contact p 2.
  • the mobile terminal 10 calculates the second vanishing point from the intersection of the third tangent and the fourth tangent (step S37). More specifically, the control unit 16 calculates the second vanishing p ⁇ third tangent line l 1 pole from the intersection of the fourth tangent line l 2.
  • the mobile terminal 10 calculates a square vertex from the intersection of the first to fourth tangents (step S38). More specifically, the control unit 16, the intersection x 1 of the first tangential line m 1 and the fourth tangent line l 2 Prefecture, intersection x 2 from the fourth tangent line l 2 and the second tangential line m 2 Prefecture, a second tangent line m 2 intersection x 3 from the third tangent line l 1 Tokyo, and the third tangent line l 1 and calculates an intersection point x 4 from the second tangent line m 1 Tokyo, a vertex of the rectangle P1.
  • a quadrangle P1 surrounded by the first to fourth tangents is an example of a first polygon having a contact point at the intersection of a straight line passing through the center candidate and an ellipse.
  • the mobile terminal 10 functions as an example of a polygon calculation unit that calculates a quadrangle of an example of a first polygon having a contact point at an intersection of a straight line passing through the center candidate and an ellipse.
  • step S23 determines the coordinates of the vertices x1 to x4 of the quadrangle P1 shown in FIG. 12A and the vertices x1 ′ to x4 of the square P1 ′ shown in FIG.
  • a projective transformation matrix P is calculated from the coordinates of '.
  • the projective transformation matrix P the ellipse E1 is projectively transformed into a perfect circle E1 ′ as an example of a standard image, and at the same time, the center candidate O A is projected onto the center O A ′ of the perfect circle.
  • the mobile terminal 10 stores the target image to be subjected to image processing in the storage unit 15, calculates the ellipse E1 that approximates the target image (for example, the entire contour F1 of the flower), A center candidate OA of the target image is determined, a first polygon (for example, a quadrangle P1) related to the ellipse and the center candidate is calculated, and a second related to the ellipse centered on the point where the center candidate is projectively transformed.
  • a projective transformation matrix P for projectively transforming the first polygon into a polygon (for example, a square P1 ′) is calculated, and the target image stored in the storage unit 15 is projectively transformed based on the projective transformation matrix to convert the target image.
  • the mobile terminal 10 can convert the subject into a standard image obtained by photographing the subject from the front, that is, an image displayed in a desired direction, the user is not concerned about the angle of photographing, and the burden on the user is reduced. Can do. For example, in the past, when the subject is a flower, the user can place the flower on a black background to align the direction and shape of the flower and automatically remove unnecessary backgrounds. I was shooting. For this reason, the burden on the user is heavy, such as adjusting the angle during shooting. In addition, there are many flowers inhabiting places that cannot be easily photographed in the mountains, and with the conventional technology, it has been impossible to later change a photograph that has already been photographed into an image displayed in a desired orientation. However, according to the present embodiment, even a subject having no straight line portion can be converted into an image taken from the front.
  • the mobile terminal 10 can change the orientation displayed in the image after shooting, the subject can be shot without worrying about the reflection of illumination, and the convenience of the user can be improved.
  • the target image is converted into an image taken from the front and searched based on the converted image.
  • the search can be facilitated by the feature amount, and the search speed and the search accuracy can be improved.
  • a database for search can be constructed in association with only an image whose display orientation is specified, such as a front image, and image data taken from various angles of a subject are prepared in advance. Since it is not necessary, the database can be easily constructed and simplified. For this reason, the mobile terminal 10 includes a database and can perform a search.
  • the portable terminal 10 is, as polygon calculating means, the straight line l 0, m 0 intersections q 1 of the ellipse E1, q 2, p 1, first polygon that is in contact with the p 2 passing through the center candidate O A (e.g. When calculating the quadrangle P1), the first polygon related to the ellipse and the center candidate can be easily obtained uniquely, and the projective transformation matrix can be determined from the coordinates of the vertexes of the first polygon.
  • the mobile terminal 10 as a polygon calculating means, when obtaining the linear l 0 which passes through the center candidate O A from a straight line parallel to the ellipse major axis E1A, Motomari less standard image distortion, the converted image becomes visible. In addition, since the standard image has little distortion, the search accuracy is improved.
  • the center portable terminal 10 calculates the square P1 associated with the ellipse E1 and center candidates O A, as the projection transformation matrix calculation unit, a center candidate O A 'corresponding to the center candidate O A
  • the four coordinates for obtaining the projective transformation matrix can be easily calculated from the vertices of the quadrangle P1 and the like. it can.
  • the mobile terminal 10 extracts a center candidate image including a center candidate (flower core) from target images such as an entire image of flowers as a center candidate determination unit, and an ellipse E2 that approximates the extracted center candidate image to an ellipse.
  • a center candidate image including a center candidate (flower core) from target images such as an entire image of flowers as a center candidate determination unit, and an ellipse E2 that approximates the extracted center candidate image to an ellipse.
  • the center candidate is determined from the intersection (point O A ) between the major axis E2 A and the minor axis E2 B
  • the depth information is objectively obtained from the center candidate, and a standard image closer to the image photographed from the front is obtained. Can be sought.
  • the target image is a flower image (flower outline F1)
  • the mobile terminal 10 calculates an ellipse E1 that approximates the flower image as an ellipse calculation means, and the center of the flower image (when determining the center candidate O a flower core contour F2) portion from the flower image, even in photographing locations and angles limited image, obtains the flowers standard image, such as front image viewed flowers towards pistil I can.
  • the mobile terminal 10 can specify the type of flower and the like from the standard image of the flower.
  • the mobile terminal 10 includes the imaging unit 11 as an example of an image acquisition unit that acquires an image including a target image
  • a target image such as a flower is photographed on the go, such as a mountain
  • a standard image displayed in a desired direction, such as a front image, can be obtained, and the target image can be easily specified, for example, by specifying the type of flower.
  • the mobile terminal 10 includes target image extraction means for extracting the target image from the acquired image as in step S2, the background image and the target image can be separated and the influence of the background image can be removed.
  • a standard image with high accuracy can be obtained, or search accuracy based on the standard image can be improved.
  • the target image is extracted based on the color information of the flower portion and the background portion, the user can shoot the target image without worrying about the contrast, and the mobile terminal 10 takes the burden on the user at the time of shooting. It can be reduced.
  • the image search server 20 searches for information specifying a target image based on the standard image transmitted from the mobile terminal 10, the mobile terminal 10 receives the search result, so that the information search of the image can be performed even in the mountains. For example, it is possible to construct a system for easily retrieving information on a flower from a photograph of the flower taken in the mountains. In addition, for example, since a target image is specified based on a standard image taken from the front, it is possible to search using standardized feature values, improve search speed and search accuracy, and simplify a database. .
  • the image search server 20 extracts the feature amount of the image from the standard image as a search means and searches for information for specifying the target image based on the feature amount, the search accuracy can be improved.
  • FIG. 15 is a flowchart showing an example of a quadrangle calculation subroutine in the first and second modifications for obtaining a quadrangle that touches an ellipse.
  • FIG. 16 is a schematic diagram showing a first modification for obtaining a quadrangle that touches an ellipse.
  • FIG. 17 is a schematic diagram illustrating a second modification in which a quadrangle that touches an ellipse is obtained.
  • the mobile terminal 10 determines a first contact point and a first tangent line that are horizontal to the image frame and touch the ellipse (step S40). Specifically, as shown in FIG. 16, the control unit 16 of the mobile terminal 10 determines the first contact point q 2 and the first tangent line m 2 that are in contact with the ellipse E1 horizontally on the upper side 30a or the lower side of the image frame 30.
  • the image frame 30 is, for example, a rectangular frame that surrounds the entire captured two-dimensional image.
  • the mobile terminal 10 calculates a first reference straight line that passes through the first contact point and the center candidate (step S41). More specifically, the control unit 16 calculates the first reference line l 0 which passes through the first contact point q 2 and the center candidate O A.
  • the mobile terminal 10 calculates the second contact point and the second tangent line from the first reference straight line and the ellipse (step S42). More specifically, the control unit 16 obtains a more second contacts q 1 intersection of the first reference straight line l 0 and the ellipse E1, calculates a second tangent line m 1 in contact with the ellipse E1 in the second contact q 1.
  • the mobile terminal 10 calculates the first vanishing point from the intersection of the first tangent and the second tangent (step S43). Specifically, the control unit 16 calculates the first vanishing point q ⁇ from the intersection of the first tangent m 2 and the second tangent m 1 . Note that steps S44 to S48 are the same as steps S34 to S38, and finally a square P2 as shown in FIG. 16 can be obtained.
  • the mobile terminal 10 functions as an example of a first polygon calculating means for calculating a square example of the polygon to the intersection of the straight line and ellipse E1 through the center candidate O A and the contact q 2.
  • the mobile terminal 10 functions a point contact and a straight line m 2 and elliptic E1 parallel to any side 30a of the image frame 30 surrounding the target image as an example of a polygon calculating means for the contact q 2.
  • the target image when the target image is projectively transformed by the projective transformation from the quadrangle P2 to the square P1 ', a standard image with little image rotation in the circumferential direction can be obtained with respect to the target image. Therefore, it becomes easy for the user to compare the target image with the standard image obtained by conversion, and the image can be easily edited.
  • a second modified example of obtaining a square transformation target area in step S40, the first contact q 1 and the first tangential contact with the ellipse E1 horizontally to the upper side 30a or bottom of the image frame 30 m 1 may be determined.
  • the shape of the quadrangle P3 is different, the same effect as the first modification can be obtained.
  • the mobile terminal 10 functions as an example of a first polygon calculating means for calculating a square example of the polygon to the intersection of the straight line and ellipse E1 through the center candidate O A and contacts q 1.
  • the mobile terminal 10 functions as an example of a polygon calculation unit that uses the point where the straight line m 1 parallel to one of the sides 30a of the image frame 30 surrounding the target image 30 and the ellipse E1 contact each other as the contact point q 1 .
  • the reference straight line l 0, m 0 is an arbitrary straight line passing through the center candidate O A, and may be a straight line which intersects the main candidate O A to each other, There are various variations.
  • FIG. 18 is a third modification for obtaining a quadrangle that touches an ellipse, in which (A) is a schematic diagram showing an example of a quadrangle inscribed in the ellipse, and (B) is a schematic diagram showing a state after projective transformation. It is.
  • the quadrangle for obtaining the projective transformation matrix P is a quadrangle P4 having apexes of the contacts p 1 , q 1 , p 2 , and q 2 .
  • This square P4 is inscribed in the ellipse E1.
  • the second polygon for obtaining the projective transformation matrix P has the contact points p 1 ′, q 1 ′, p 2 ′, q 2 ′ as vertices, and a perfect circle E1. It becomes a square P4 inscribed in '.
  • the projective transformation matrix calculating means performs the projective transformation of the quadrangle P4 to the square P4 ′ inscribed by the ellipse (the perfect circle E1 ′ in this modification) centered at the point O A ′ where the center candidate O A is projective transformed.
  • a projective transformation matrix is calculated.
  • the mobile terminal 10 functions as an example of a polygon calculating unit that calculates the first polygon related to the ellipse and the center candidate.
  • the mobile terminal 10 functions as an example of a polygon calculation unit that calculates a quadrangle of an example of a first polygon having a contact point at an intersection of a straight line passing through the center candidate and an ellipse.
  • the vertices of the quadrangle P4 for obtaining the projective transformation matrix P are easily obtained as the first contact, the second contact, the third contact, and the fourth contact.
  • FIG. 19 is a fourth modification for obtaining a quadrangle that touches an ellipse, where (A) is a schematic diagram illustrating an example of a quadrangle that touches an ellipse, and (B) is a schematic diagram illustrating a state after projective transformation. is there.
  • the center candidate O A is a case in the vicinity of the edge of the ellipse E1.
  • the quadrangle circumscribing the ellipse E1 is the quadrangle P5
  • the quadrangle circumscribing the ellipse E1 is the quadrangle P6.
  • the first reference line l 0 and the second reference line m 0 is an arbitrary straight line passing through the center candidate O A, and was determined as a straight line which intersects the main candidate O A to each other.
  • the quadrangle P5 circumscribing the ellipse E1 at the contacts p 1 , q 1 , p 2 , q 2 does not surround the ellipse E1. Therefore, in the second polygon for obtaining the projective transformation matrix P, the coordinates of x3 ′ corresponding to the vertex x3 are ( ⁇ , ⁇ ), and conceptually, in FIG. The resulting second polygon P5 ′ is obtained. Thus, even when the quadrangle P5 does not surround the ellipse E1, the projective transformation matrix P can be calculated.
  • the projective transformation matrix calculating means projects the quadrangle P5 onto the polygon P5 ′ related to the ellipse (the perfect circle E1 ′ in this modification) centered at the point O A ′ where the center candidate O A is projective transformed.
  • a projective transformation matrix to be converted is calculated.
  • the second polygon for obtaining the projective transformation matrix P is as shown in FIG. p 1 ′, q 1 ′, p 2 ′, and q 2 ′ are the vertices, and a square P6 ′ inscribed in the perfect circle E1 ′ is formed.
  • the inscribed rectangle P6 even when the center candidate is close to the edge of the ellipse, it is easy to intuitively think of the second polygon.
  • the projective transformation matrix calculating means performs the projective transformation of the quadrangle P6 to the square P6 ′ circumscribing an ellipse (a perfect circle E1 ′ in this modification) centered at the point O A ′ where the center candidate O A is projectively transformed.
  • a projective transformation matrix is calculated.
  • a triangle or a pentagon may be used as an example of the polygon.
  • the coordinates of at least four points may Kimare in connection with the ellipse E1 and center candidates O A.
  • a point on a certain side or a point such as the center of gravity, inner center, or outer center inside the triangle may be used as the fourth coordinate.
  • the second polygon is, for example, an equiangular polygon such as a regular triangle, a square, a rectangle, or a regular pentagon, or a regular polygon, and is a figure associated with the perfect circle E1 ′ after the projective transformation. It suffices if the matrix P can be calculated. Further, the second polygon is not limited to a regular polygon. An ellipse that is inscribed or circumscribed with respect to the second polygon centered on the point at which the center candidate is projectively transformed is not limited to a perfect circle.
  • the image search server 20 side may obtain a standard image that is a converted image displayed in a desired direction from the target image as an image processing apparatus. For example, image data including a target image captured by the mobile terminal 10 is transmitted as a search request image to the image search server 20 side through the network 3. Then, the receiving unit on the image search server 20 side functions as an image acquisition unit, and the image search server 20 converts the image into a standard image, and the image search server 20 searches based on the standard image. Then, the image search server 20 transmits the search result to the mobile terminal 10.
  • the target image captured by the digital camera is captured in a personal computer in which a program for functioning the method of the present embodiment is installed and displayed in a desired orientation.
  • the standard image which is a converted image may be obtained.
  • the processing of the image search server 20 of the image search system 1 may be performed by one server or may be distributed to a plurality of servers.
  • a search server may not be provided, and for example, a standard image may be simply obtained, or a process different from a search may be performed using the obtained standard image.
  • the target image is not limited to a flower image, and may be, for example, another circular shape, such as a plate, a cup, a CD, a DVD, a clock face, or a road sign.
  • the target image is not limited to a flower image, and may be, for example, an elliptical and planar object.
  • the present invention is not limited to the above embodiments.
  • Each of the embodiments described above is an exemplification, and any configuration that has substantially the same configuration as the technical idea described in the claims of the present invention and has the same operational effects can be used. It is included in the technical scope of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Studio Devices (AREA)

Abstract

　直線部分の輪郭が無い対象画像を変換する、画像処理装置、画像処理方法、画像処理プログラム、および、記録媒体を提供する。　画像処理の対象画像を近似する楕円Ｅ１を算出し（Ｓ２０）、対象画像の中心候補ＯＡを決定し（Ｓ２１）、楕円および中心候補に関連した第１多角形Ｐ１を算出し（Ｓ２２）、第１多角形から中心候補が射影変換される点を中心とする楕円に関連する第２多角形Ｐ１'へ射影変換する射影変換行列を算出し（Ｓ２３）、対象画像を射影変換行列に基づき射影変換して、変換画像を取得する（Ｓ２４）。

Description

画像処理装置、画像処理方法、画像処理プログラム、および、記録媒体
　本発明は、画像データに対して画像の変換を行う画像処理装置、画像処理方法、および、画像処理プログラム、および、記録媒体の技術分野に関する。
　近年、デジタルカメラが小型化し、携帯端末にもデジタルカメラが備え付けられている。ユーザは外出先等でも手軽にカメラ付き携帯端末等により、風景や書類や白板等に表示されたものを撮影できる。しかし、外出先等で気軽に撮影できる一方、ハイキングで山等に出かけ、撮影したい対象を見つけた場合、足場により撮影場所が限られたり、撮影者の席の位置により正面から黒板等を撮影することが難しかったり、撮影対象を照らす光の角度との関係等により撮影角度が限られたりしてしまうことが多い。
　書類や白板等に板書された文字等の撮影対象物の画像を補正してあたかも正面から撮影したような画像を取得するため、例えば、特許文献１には、撮影対象物として白板を撮影した画像から、Ｒｏｂｅｒｔｓフィルタを用いて輪郭を取得し、取得した輪郭から白板の画像を形成する候補となる直線を検出し、白板の四角形の形状を取得し、四角形の頂点位置から白板の画像と実際の白板との関係を示す射影パラメータを求めて白板の画像を射影変換する画像処理装置が開示されている。
特開２００５－１２２３２０号公報
　しかしながら、上記従来技術においては書類等の直線を手がかりに、撮影対象を補正しているため、直線部がほとんど無い花等のような撮影対象を撮影した場合、撮影対象を補正して、正面から撮影したような画像を得るのは難しい。
　本発明は、このような問題に鑑みてなされたものであり、その課題の一例は、直線部分の輪郭が無い対象画像であっても所望の向きに表示された画像に変換する、画像処理装置、画像処理方法、画像処理プログラム、および、記録媒体を提供することを目的とする。
　上記課題を解決するために、請求項１に記載の発明は、対象画像に対して画像処理を行う画像処理装置であって、前記対象画像を近似する楕円を算出する楕円算出手段と、前記対象画像の中心候補を決定する中心候補決定手段と、前記楕円および前記中心候補に関連した第１多角形を算出する多角形算出手段と、前記中心候補が射影変換される点を中心とする楕円に関連する第２多角形へ前記第１多角形を射影変換する射影変換行列を算出する射影変換行列算出手段と、前記対象画像を前記射影変換行列に基づき射影変換して、変換画像を取得する変換画像取得手段と、を備えたことを特徴とする。
　請求項２に記載の発明は、請求項１に記載の画像処理装置において、射影変換行列算出手段が、中心候補が射影変換される点を中心とする楕円が内接または外接する第２多角形へ前記第１多角形を射影変換する射影変換行列を算出することを特徴とする。
　請求項３に記載の発明は、射影変換行列算出手段における中心候補が射影変換される点を中心とする楕円は真円であることを特徴とする画像処理装置である。
　請求項４に記載の発明は、請求項１から請求項３のいずれか１項に記載の画像処理装置において、前記多角形算出手段が、前記中心候補を通る直線と前記楕円との交点を接点とする前記第１多角形を算出することを特徴とする。
　請求項５に記載の発明は、請求項４に記載の画像処理装置において、前記多角形算出手段が、前記中心候補を通る直線を前記楕円の長軸に平行な直線から求めることを特徴とする。
　請求項６に記載の発明は、請求項４に記載の画像処理装置において、前記多角形算出手段が、前記対象画像を取り囲む画像枠のいずれかの辺に平行な直線と前記楕円とが接する点を前記接点とすることを特徴とする。
　請求項７に記載の発明は、請求項１から請求項６のいずれか１項に記載の画像処理装置において、前記多角形算出手段が、前記楕円および前記中心候補に関連した四角形を算出し、前記射影変換行列算出手段が、前記中心候補が射影変換される点を中心とする楕円に関連する正方形へ前記四角形を射影変換する射影変換行列を算出することを特徴とする。
　請求項８に記載の発明は、請求項１から請求項７のいずれか１項に記載の画像処理装置において、前記中心候補決定手段が、前記対象画像の中から前記中心候補を含む中心候補画像を抽出し、抽出した前記中心候補画像を楕円近似した楕円の長軸と短軸との交点から前記中心候補を決定することを特徴とする。
　請求項９に記載の発明は、請求項１から請求項８のいずれか１項に記載の画像処理装置において、前記対象画像が花画像であって、前記楕円算出手段が、前記花画像を近似する前記楕円を算出し、前記中心候補決定手段が、前記花画像の花芯部分から前記花画像の前記中心候補を決定することを特徴とする。
　請求項１０に記載の発明は、請求項１から請求項９のいずれか１項に記載の画像処理装置において、前記対象画像を含む画像を取得する画像取得手段を更に備えたことを特徴とする。
　請求項１１に記載の発明は、請求項１０に記載の画像処理装置において、前記取得された画像から、前記対象画像を抽出する対象画像抽出手段を更に備えたことを特徴とする。
　請求項１２に記載の発明は、請求項１から請求項１１のいずれか１項に記載の画像処理装置において、前記変換画像に基づき、前記対象画像を特定する情報を検索する検索手段を更に備えたことを特徴とする。
　請求項１３に記載の発明は、請求項１２に記載の画像処理装置において、前記検索手段が、前記変換画像より画像の特徴量を抽出し、前記特徴量に基づき、前記対象画像を特定する情報を検索することを特徴とする。
　請求項１４に記載の発明は、請求項１から１３のいずれか１項に記載の画像処理装置において、前記第２多角形が正多角形であることを特徴とする。
　請求項１５に記載の発明は、請求項１から１４のいずれか１項に記載の画像処理装置において、前記対象画像を記憶する記憶手段を更に備えたことを特徴とする。
　請求項１６に記載の発明は、対象画像に対して画像処理を行う画像処理方法であって、前記対象画像を近似する楕円を算出する楕円算出ステップと、前記画像処理後における前記対象画像の中心候補を決定する中心候補決定ステップと、前記楕円および前記中心候補に関連した第１多角形を算出する多角形算出ステップと、前記中心候補が射影変換される点を中心とする楕円に関連する第２多角形へ前記第１多角形を射影変換する射影変換行列を算出する射影変換行列算出ステップと、前記対象画像を前記射影変換行列に基づき射影変換して、変換画像を取得する変換画像取得ステップと、を有することを特徴とする。
　請求項１７に記載の発明は、コンピュータを、画像処理の対象画像を近似する楕円を算出する楕円算出手段、前記画像処理後における前記対象画像の中心候補を決定する中心候補決定手段、前記楕円および前記中心候補に関連した第１多角形を算出する多角形算出手段、前記中心候補が射影変換される点を中心とする楕円に関連する第２多角形へ前記第１多角形を射影変換する射影変換行列を算出する射影変換行列算出手段、および、前記対象画像を前記射影変換行列に基づき射影変換して、変換画像を取得する変換画像取得手段として機能させることを特徴とする。
　請求項１８に記載の発明は、コンピュータを、画像処理の対象画像を近似する楕円を算出する楕円算出手段、前記画像処理後における前記対象画像の中心候補を決定する中心候補決定手段、前記楕円および前記中心候補に関連した第１多角形を算出する多角形算出手段、前記中心候補が射影変換される点を中心とする楕円に関連する第２多角形へ前記第１多角形を射影変換する射影変換行列を算出する射影変換行列算出手段、および、前記対象画像を前記射影変換行列に基づき射影変換して、変換画像を取得する変換画像取得手段として機能させることを特徴とする画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体である。
　本発明によれば、画像処理を行う対象画像を記憶し、対象画像を近似する楕円を算出し、対象画像の中心候補を決定し、楕円および中心候補に関連した第１多角形を算出し、中心候補が射影変換される点を中心とする楕円に関連する第２多角形へ第１多角形を射影変換する射影変換行列を算出し、記憶された対象画像を射影変換行列に基づき射影変換して、対象画像の変換画像を取得することにより、直線部分の輪郭が無い対象画像であっても所望の向きの画像に変換できる。
本発明に係る実施形態の画像検索システムの概要構成例を示す模式図である。 図１の携帯端末の概要構成の一例を示すブロック図である。 観察点から被写体を撮影した場合、被写体が写真に射影される様子の概念を示す概念図である。 図１の携帯端末による画像処理の一例を示すフローチャートである。 （Ａ）は対象画像を含む画像の一例を示す模式図であり、（Ｂ）は画像から抽出された対象画像の様子を示す模式図であり、（Ｃ）は対象画像から中心候補を含む中心候補画像を抽出した様子を示す模式図である。 射影変換された対象画像の一例を示す模式図である。 図１の検索サーバにおける検索処理の一例を示すフローチャートである。 図４のフローチャートにおける標準画像への変換のサブルーチンの一例を示すフローチャートである。 （Ａ）は、図５の対象画像の輪郭および対象画像を近似する楕円の一例を示す模式図であり、（Ｂ）は、対象画像から抽出された中心候補を含む中心候補画像および中心候補画像を近似する楕円の一例を示す模式図である。 図９（Ａ）の楕円と、図９（Ｂ）の楕円との関連を示す模式図である。 図５の対象画像と、楕円に接する四角形との関連を示す模式図である。 楕円から真円への射影変換の様子を示す模式図であって、（Ａ）は楕円に接する四角形を示す模式図であり、（Ｂ）は射影変換後の様子を示す模式図である。 （Ａ）は、射影変換行列を説明するための平面を示す模式図であり、（Ｂ）は２次曲線の射影変換を説明するための平面を示す模式図である。 図８のフローチャートにおける四角形算出のサブルーチンの一例を示すフローチャートである。 楕円に接する四角形を求める第１・２変形例における四角形算出のサブルーチンの一例を示すフローチャートである。 楕円に接する四角形を求める第１変形例を示す模式図である。 楕円に接する四角形を求める第２変形例を示す模式図である。 楕円に接する四角形を求める第３変形例であって、（Ａ）は、楕円に内接する四角形の一例を示す模式図であり、（Ｂ）は射影変換後の様子を示す模式図である。 楕円に接する四角形を求める第４変形例であって、（Ａ）は、楕円に接する四角形の一例を示す模式図であり、（Ｂ）は射影変換後の様子を示す模式図である。
　以下、図面を参照して本発明を実施するための形態について説明する。
　まず、本発明の実施形態に係る画像検索システムの概略構成および機能について、図に基づき説明する。
　図１は、本発明に係る実施形態の画像検索システムの概要構成例を示す模式図である。図２は、図１の携帯端末の概要構成の一例を示すブロック図である。
　図１に示すように、画像処理装置の一例の画像検索システム１は、携帯型無線電話機のように撮影対象を撮影する携帯端末１０と、携帯端末１０からの画像データにもとづき検索を行う画像検索サーバ２０と、を備える。
　画像処理装置の一例として機能する携帯端末１０は、図２に示すように、撮影対象を撮影する撮像部１１と、撮像した画像等を表示する表示部１２と、無線基地局と送受信を行う無線通信部１３と、数字や文字等を入力する操作部１４と、撮像した画像を記憶する記憶部１５と、携帯端末１０の各種制御を行う制御部１６と、を有し、これらはバス１７により接続されている。
　撮像部１１は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサやＣＣＤ（charge-coupled device）イメージセンサ等からなるデジタルカメラを有する。
　表示部１２は、液晶表示素子またはＥＬ（Electro Luminescence）素子等によって構成されている。
　無線通信部１３は、移動体通信網２やインターネット等のネットワーク３を通して画像検索サーバ２０と通信を行う。
　操作部１４は、各種キーにより構成されている。ユーザは、操作部１４により、表示部１２に表示されたポインタを移動させたり、画像の部分を選択して確定させたりする。
　記憶部１５は、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）やフラッシュメモリ(flash memory)のような不揮発メモリ等を有し、画像処理のプログラムがロードされたり、画像データを保持するメモリ空間が形成されたりする。
　制御部１６は、ＣＰＵ（Central Processing Unit）を有し、コンピュータとして画像処理のプログラムを実行等する。
　次に、コンピュータとして機能する画像検索サーバ２０は、画像検索サーバ２０全体を制御したり画像処理の演算を行ったりする制御部２１と、画像検索用のデータベースが構築されたデータベース２２と、を有する。
　図１に示すように、制御部２１は、コンピュータのプログラムを実行するＣＰＵ２１ａと、実行するプログラム等を記憶するＲＡＭやＲＯＭやフラッシュメモリのような不揮発メモリ等のメモリ２１ｂ等を有する。
　制御部２１のＣＰＵ２１ａは、携帯端末１０から送信された検索要求に対してデータベース２２から情報を検索したり、受信した画像データから情報を検索するための画像処理を行ったり、データベース２２の管理を行ったりする。
　メモリ２１ｂには、画像検索を実行するのためのプログラムが展開されたり、受信した画像データを記憶したり、一時的に演算結果が記憶されたりする。
　データベース２２は、ハードディスクドライブやシリコンディスク等を有し、画像の特徴量に関連づけられた情報等を記憶する。例えば、花に関するデータベースの場合、データベース２２には、花を同定するために必要な特徴量として、花の色、花びらの数、花全体の形状の情報、花びらの切れ目等の花びら情報等に紐付けられて、花の名前や学名等の花に関する情報と、花や葉や実等の花に関する画像等が記憶されている。
　携帯端末１０は、移動体通信網２に接続され、画像検索サーバ２０は、インターネット等のネットワーク３に接続され、移動体通信網２とネットワーク３とはプロトコル変換やコンテンツを記述する言語の変換等を行うためのゲートウエイ等により接続されている。
　次に、本実施形態の原理の概略について図に基づき説明する。
　図３は、観測点Ｖ１から被写体を撮影した場合、被写体が写真に射影される様子の概念を示す概念図である。
　図３に示すように、観測点Ｖ１から斜めから撮影された花画像が擬似的に正面からの見た目になるように、画像変形を行う。ここで、被写体の花が楕円Ｅ１により近似され、四角形Ｐ１’の平面上にあるとする。
　先ず、撮影画像から花全体と花芯とを抽出し、手法を単純化するため、それぞれの輪郭線を楕円に近似する。なお、花全体を近似した楕円が、楕円Ｅ１に相当し、その中心が点ＯＢである。また花芯を近似した楕円の中心が点ＯＡに相当する。
　次に、花の正面からの見た目の標準画像（変換画像）を得るため射影変換を行う。射影変換は写真に例えると、３次元空間の物体を２次元平面のフィルム上に写し込むことに相当する。この逆方向、つまり２次元から３次元への射影は一般的に不可能であるが、いくつかの条件を限定することで可能となる。本実施形態における手法では、３次元空間内にある平面（四角形Ｐ１を含む平面）上に、平面的な花が存在すると仮定することで、２次元平面から２次元平面への射影変換とした。さらに、手法を単純化するため、実際の花の形状が真円Ｅ１’に近似できると仮定する。入力画像で切り抜かれた花は楕円Ｅ１に近似されており、その楕円Ｅ１に外接する四角形Ｐ１を求め、これを変形対象領域とする。変形対象領域を正方形である四角形Ｐ１’に射影変換すると、楕円Ｅ１は先ほど仮定した真円Ｅ１’に射影される。このように、傾いた角度で撮影された花の写真から、射影変換を行うことで、正面から撮影した花の写真の標準画像を擬似的に得ることができる。なお、手法の詳細についてはフローチャートと共に後述する。
　ここで、標準画像（変換画像）とは、所望の向きに表示されるように変換された画像である。標準画像（変換画像）は、例えば、花芯が花全体の中心付近にあるような角度で花が表示された画像であり、花等の対象画像を特定しやすい角度から見た画像であればよい。
　次に、本実施形態の動作について図に基づき説明する。
　図４は、図１の携帯端末による画像処理の一例を示すフローチャートである。図５の（Ａ）は対象画像を含む画像の一例を示す模式図であり、（Ｂ）は画像から抽出された対象画像の様子を示す模式図であり、（Ｃ）は対象画像から中心候補を含む中心候補画像を抽出した様子を示す模式図である。図６は、射影変換された対象画像の一例を示す模式図である。
　まず、図４に示すように、携帯端末１０は、撮像部１１により、撮影対象の画像を取得する（ステップＳ１）。具体的には、携帯端末１０の制御部１６は、撮像部１１から、図５（Ａ）に示すような対象画像（花の画像）を含む画像を取得し、その画像の画像データを記憶部１５に記憶する。このように携帯端末１０は、対象画像を含む画像を取得する画像取得手段の一例として機能し、また、画像処理を行う対象画像を記憶する記憶手段の一例として機能する。ここで、図５（Ａ）の画像では、被写体の花が、正面から撮影されていない。
　次に、携帯端末１０は、取得された画像から対象画像の抽出を行う（ステップＳ２）。具体的には、制御部１６は、図５（Ｂ）に示すように、花全体の輪郭を求め、花の画像を抽出する。なお、図５（Ｂ）では、花びらで特徴付けられる花全体を輪郭線により描き、背景の部分を暗くしてある。ここで、図５（Ｂ）に示すように、ユーザが、花の部分と、背景の部分とを操作部１４により表示部１２に表示されたポインタ等により指定し、その色の情報に基づき、制御部１６が対象画像の抽出を行ってもよい。このように、携帯端末１０は、取得された画像から、対象画像を抽出する対象画像抽出手段の一例として機能する。
　具体的には、例えば、対象画像抽出手段は、取得された画像に含まれる花の部分（前景領域）上における少なくとも一つの前景ピクセル、及び当該取得された画像に含まれる背景の部分（背景領域）上における少なくとも一つの背景ピクセルの指定をユーザから受け付ける受付手段、指定された前景ピクセル及び指定された背景ピクセルを夫々基準ピクセルとして、３次元の色空間が複数に分割された分割色空間のうちから、各基準ピクセルが属する分割色空間を基準分割色空間として特定する分割色空間特定処理を行う分割色空間特定手段、各基準ピクセルとこれに隣接する隣接ピクセルとの色空間における色の距離を算出する色距離算出処理を行う色距離算出手段、各隣接ピクセルが各基準分割色空間に属するか否かを判別する属否判別処理を行う属否判別手段、各隣接ピクセルについて算出された色の距離と、各隣接ピクセルについて判別された基準分割色空間への属否に基づく重み付けと、に基づいて各隣接ピクセルについてのコストを算出するコスト算出処理を行うコスト算出手段、及び、算出されたコストが最も小さい隣接ピクセルを前景ピクセル又は背景ピクセルとして確定する確定処理を行う確定手段、とを備え、確定された隣接ピクセルを基準ピクセルとして、色距離算出処理、属否判別処理、コスト算出処理、及び確定処理をコンピュータに繰り返し行わせることにより、取得された画像から前景領域を抽出して、対象画像の抽出を行ってもよい。
　次に、携帯端末１０は、対象画像から中心候補画像の抽出を行う（ステップＳ３）。具体的には、制御部１６は、図５（Ｃ）に示すように、花全体の輪郭にある、中心候補画像の一例である花芯部分の輪郭を抽出する。ここで、図５（Ｃ）に示すように、ユーザが、花びらの部分と、花芯の部分とを操作部１４により表示部１２に表示されたポインタ等により指定し、その色の情報に基づき、制御部１６が対象画像の抽出を行ってもよい。このように、携帯端末１０は、対象画像の中から中心候補を含む所定領域の画像である中心候補画像を抽出する中心候補決定手段の一例として機能する。中心候補画像は、例えば、中心候補を含み且つ奥行きまたは色情報等が周囲とは不連続に異なる対象画像中の領域の画像である。
　次に、携帯端末１０は、対象画像を標準画像に変換する（ステップＳ４）。具体的には、後述する射影変換の手法を用い、制御部１６は、記憶部１５に記憶された対象画像を、図６に示すように、花を正面から撮影したような標準画像に変換する。このように、携帯端末１０は、記憶手段に記憶された対象画像を射影変換行列に基づき射影変換して、標準画像を取得する標準画像取得手段（変換画像取得手段）の一例として機能する。なお、ここでは、対象画像を含む近傍の画像データを、標準画像に変換している。
　次に、携帯端末１０は、検索のため標準画像を画像検索サーバ２０に送信する（ステップＳ５）。具体的には、撮影した花が何の花であるかを検索するために、制御部１６は、無線通信部１３から移動体通信網２とネットワーク３とを通して、図６に示すような標準画像を画像検索サーバ２０に送信する。
　次に、携帯端末１０は、画像検索サーバ２０から検索結果を受信して表示する（ステップＳ６）。具体的には、制御部１６は、検索された花の名前や花の情報を、無線通信部１３により画像検索サーバ２０から受信し、表示部１２に表示する。
　次に、画像検索サーバ２０における検索処理について説明する。
　図７は、画像検索サーバ２０における検索処理の一例を示すフローチャートである。
　まず、図７に示すように、画像検索サーバ２０は、携帯端末１０から標準画像を受信する（ステップＳ７）。具体的には、画像検索サーバ２０の制御部２１は、携帯端末１０から移動体通信網２とネットワーク３とを通して標準画像を受信する。
　次に、画像検索サーバ２０は、受信した標準画像から特徴量を抽出する（ステップＳ８）。具体的には、制御部２１は、対象画像が花の画像である場合、標準画像の特徴量として、花びらの数、花の色、花全体の形状の情報、花びらの切れ目等の花びら情報等を抽出する。
　次に、画像検索サーバ２０は、抽出した標準画像の特徴量に基づき、データベース２２から標準画像を特定する情報を検索する（ステップＳ９）。具体的には、制御部２１は、花の標準画像の特徴量に基づき、データベース２２から類似している花を検索し、類似度等の上位の花に関する情報や花に関する画像を求める。このように、画像検索サーバ２０は、標準画像に基づき、対象画像を特定する情報を検索する検索手段の一例として機能する。また、画像検索サーバ２０は、標準画像より画像の特徴量を抽出し、特徴量に基づき、対象画像を特定する情報を検索する検索手段の一例として機能する。
　次に、画像検索サーバ２０は、検索上位結果を携帯端末１０に送信する（ステップＳ１０）。具体的には、制御部２１は、花に関する情報や、花に関する画像を送信する。
　これらのように、画像検索サーバ２０は、標準画像に基づき、対象画像を特定する情報を検索する検索手段の一例として機能する。また、画像検索サーバ２０は、標準画像より画像の特徴量を抽出し、特徴量に基づき、対象画像を特定する情報を検索する検索手段の一例として機能する。
　なお、携帯端末１０が、画像検索サーバ２０のデータベース２２のようなデータベースを備え、標準画像から画像の情報を検索してもよい。
　次に、ステップＳ４の対象画像を標準画像へ変換するサブルーチンについて図に基づき詳細に説明する。
　図８は、図４のフローチャートにおける標準画像への変換のサブルーチンの一例を示すフローチャートである。図９（Ａ）は、図５の対象画像の輪郭および対象画像を近似する楕円の一例を示す模式図であり、（Ｂ）は、対象画像から抽出された中心候補を含む中心候補画像および中心候補画像を近似する楕円の一例を示す模式図である。図１０は、図９（Ａ）の楕円と、図９（Ｂ）の楕円との関連を示す模式図である。図１１は、図５の対象画像と、楕円に接する四角形との関連を示す模式図である。図１２は、楕円から真円への射影変換の様子を示す模式図であって、（Ａ）は楕円に接する四角形を示す模式図であり、（Ｂ）は射影変換後の様子を示す模式図である。
　まず、携帯端末１０は、対象画像および中心候補画像の楕円近似を行う（ステップＳ２０）。具体的には、制御部１６は、図９（Ａ）に示すように、ステップＳ２で抽出した花全体の輪郭Ｆ１を最小二乗法により楕円Ｅ１に近似し、図９（ｂ）に示すように、ステップＳ３で抽出した花芯部分の輪郭Ｆ２を最小二乗法により楕円Ｅ２に近似する。このように、携帯端末１０は、対象画像を近似する楕円を算出する楕円算出手段の一例として機能する。楕円近似については後述する。
　次に、携帯端末１０は、中心候補を決定する（ステップＳ２１）。具体的には、制御部１６は、図９（Ｂ）に示すように、花芯を近似した楕円Ｅ２の長軸Ｅ２Ａと短軸Ｅ２Ｂとの交点より、中心候補ＯＡを決定する。この中心候補ＯＡは奥行きの情報となる。花全体の楕円Ｅ１と、花芯の楕円Ｅ２との関連は図１０に示すようになる。このように、携帯端末１０は、対象画像の中心候補を決定する中心候補決定手段の一例として機能する。また、携帯端末１０は、抽出した中心候補画像を楕円近似した楕円の長軸と短軸との交点から中心候補を決定する中心候補決定手段の一例として機能する。また、携帯端末１０は、対象画像が花画像であって、花画像を近似する楕円を算出する楕円算出手段の一例として機能する。また、携帯端末１０は、対象画像が花画像であって、花画像の花芯部分から花画像の中心候補を決定する中心候補決定手段の一例として機能する。
　次に、携帯端末１０は、楕円および中心候補に関連した四角形を求める（ステップＳ２２）。具体的には、図１１に示すように、制御部１６は、花全体の楕円Ｅ１と花芯の楕円Ｅ２の中心候補ＯＡとにより、楕円Ｅ１に接する第１多角形の一例として四角形Ｐ１を求める。このように、携帯端末１０は、楕円および中心候補に関連した第１多角形を算出する多角形算出手段の一例として機能する。また、携帯端末１０は、楕円および中心候補に関連した四角形を算出する多角形算出手段の一例として機能する。
　次に、携帯端末１０は、第１多角形の一例である四角形と第２多角形の一例である正方形とに基づき射影変換行列を算出する（ステップＳ２３）。具体的には、図１２（Ａ）（Ｂ）に示すように、制御部１６は、第１多角形である四角形Ｐ１の頂点ｘ１、ｘ２、ｘ３、ｘ４と、第２多角形の一例である正方形Ｐ１’の頂点ｘ１’、ｘ２’、ｘ３’、ｘ４’とに基づき射影変換行列を算出する。このように、携帯端末１０は、中心候補が射影変換される点を中心とする楕円に関連する第２多角形へ第１多角形を射影変換する射影変換行列を算出する射影変換行列算出手段の一例として機能する。また、携帯端末１０は、中心候補が射影変換される点を中心とする楕円に関連する正方形へ四角形を射影変換する射影変換行列を算出する射影変換行列算出手段として機能する。第２多角形は、例えば正多角形である。第２多角形の中心とは、例えば正多角形である第２多角形の重心、内心、または外心である。本実施形態では、第２多角形として正方形を用いている。また、本実施形態では、第２多角形である正方形Ｐ１’は、中心候補が射影変換される点を中心とする楕円（本実施形態では真円）Ｅ１’に外接する。なお、楕円の中心とは、楕円の長軸と短軸との交点をいう。楕円とは、長軸の長さと短軸の長さとが一致する真円も含む。射影変換行列については後述する。
　次に、携帯端末１０は、射影変換行列に基づき、対象画像を標準画像に変換する（ステップＳ２４）。具体的には、制御部１６は、四角形Ｐ１（ｘ１、ｘ２、ｘ３、ｘ４）から正方形Ｐ１’（ｘ１’、ｘ２’、ｘ３’、ｘ４’）に変換する射影変換行列に基づき、記憶部に記憶しておいた対象画像の画像データの各ピクセルに対して変換を行う。
　次に、携帯端末１０は、標準画像の修正が必要か否かを判定する（ステップＳ２５）。具体的には、制御部１６は、楕円近似と花全体の輪郭との誤差や、標準画像の歪や、標準画像の花芯部分の歪み等に基づき、標準画像の修正が必要か否かを判定する。または、人間が標準画像を見て、修正が必要な場合、制御部１６は、操作部１４から入力を受け付け、標準画像の修正が必要か否かを判定する。そして、修正が必要な場合（ステップＳ２５；ＹＥＳ）、制御部１６は、ステップＳ２０に戻り、楕円形状や中心候補の位置を調整する。一方、修正が不要の場合（ステップＳ２５；ＮＯ）、制御部１６は、サブルーチンを終了する。
　ここで、楕円近似について説明する。なお、楕円を一般化した円錐曲線（２次曲線）により説明する。
　２次曲線は係数Ａ～Ｆを用いて以下の式で表すことができる。
　　Ａｘ２＋ ２Ｂｘｙ ＋ Ｃｙ２ ＋ ２Ｄｘ ＋ ２Ｅｙ ＋ Ｆ ＝ ０　・・・（１）
　特に、ＡＣ－Ｂ２ ＞ ０ を満たすときに楕円を表す。さらにベクトルｖ、ｃを用いて置換すると、以下の式で書き換えられる。
　　ｖＴｃ ＝ １　・・・（２）
　　ｃ＝－１／Ｆ［Ａ，２Ｂ，Ｃ，２Ｄ，２Ｅ］Ｔ　・・・（３）
　　ｃ＝［ｘ２，ｘｙ，ｙ２，ｘ，ｙ］Ｔ　・・・（４）
　平面上にＮ（＝５）個の点列（ｘｉ，ｙｉ）（ｉ＝１・・・Ｎ）が与えられたとき、それらを近似する２次曲線は，ベクトルｖをＮ本束ねた行列Ｖ ＝ ［ｖ１，・・・，ｖＮ］Ｔを用いて，以下の５元連立方程式に帰着できる。
　　Ｖｃ＝１　・・・（５）
　Ｎ＞５のとき，過剰決定系の連立方程式となり解が一意に求まらないため、最小二乗法による近似を行う。与えられた点列からなるＶｃと，右辺の１との残差を最小にするために、以下の式（６）を解くことにより、式（７）に示すように近似解ｃ~が得られる。
　　∂／∂ｃ∥Ｖｃ－１∥２＝０　・・・（６）
　　ｃ~＝（ＶＴＶ）－１ＶＴ＝Ｖ＋１　・・・（７）
　Ｖ＋は擬似逆行列と呼ばれる。
　次に、射影変換行列および２次曲線の射影変換について図に基づき説明する。
　図１３において、（Ａ）は、射影変換行列を説明するための平面を示す模式図であり、（Ｂ）は２次曲線の射影変換を説明するための平面を示す模式図である。
　図１３（Ａ）に示すように、空間に任意の２つの平面を取り、原点を観測点として平面π上の点ｘ＝（ｘ、ｙ）を、平面π’上の点ｘ’＝（ｘ’、ｙ’）に射影することを考える。
　係数ａｉｊ（ｉ，ｊ＝１，２，３）を用いると、同一点に対応する座標ｘとｘ’は、以下の式が成り立つ。
Figure JPOXMLDOC01-appb-M000001
　この式はそれぞれの方程式が任意定数で通分でき、独立した８係数からなる方程式である。よって、任意の１係数を固定することができ、ここではａ３３＝１とする。８係数ａｉｊは、同一点に対応する４組の座標ｘｋ，ｘｋ’（ｋ＝１，２，３，４） から一意に求められる。これは、平面π上のｘｋからなる四角形の領域を、平面π’上のｘｋ’からなる四角形の領域に射影変換することを意味する。これら８点の座標を式（８）に代入して解き、その係数から射影変換行列Ｐを以下で定義する。
Figure JPOXMLDOC01-appb-M000002
　次に、２次曲線の射影変換について説明する。
　３個の数字の組｛Ｘ１，Ｘ２，Ｘ３｝と｛ｋＸ１，ｋＸ２，ｋＸ３｝（ｋ≠０）とが同じ座標を表すとき、これを同次座標と呼ぶ。図１３（Ｂ）において、平面σの上のｘｙ座標から平面σ’上のＸＹ座標への射影に相当する。点ｘとそれに対応する同次座標系の点Ｘは以下の関係を満たす。
　　Ｘ＝［Ｘ１，Ｘ２，Ｘ３］Ｔ　・・・（１０）
　　ｘ ＝ ［Ｘ１／Ｘ３， Ｘ２／Ｘ３］Ｔ　・・・（１１）
　同次座標を利用すると、式（１）の２次曲線は以下の式で書き換えられる。
　　ＡＸ１ ２＋２ＢＸ１Ｘ２＋ＣＸ２ ２＋２ＤＸ１Ｘ３＋２ＥＸ２Ｘ３＋ＦＸ３ ２＝０　・・・（１２）
　ここでＡ～Ｆの係数より行列Ｑを以下で定義する。
Figure JPOXMLDOC01-appb-M000003
　これと式（１０）により，式（１２）は、さらに以下の式に置き換えることができる。
　　ＸＴＱＸ ＝ ０　・・・（１４）
　また，射影変換行列の逆行列をＰ’＝Ｐ－１と置いたとき、同次座標形の点ＸからＸ’への射影変換と逆射影変換は、式（８）（９）（１０）より以下の式で表される。
　　Ｘ’ ＝ ＰＸ 　・・・（１５）
　　Ｘ ＝ Ｐ’Ｘ’　・・・（１６）
　式（１６）を式（１４）に代入することで得られる方程式Ｘ’Ｔ（Ｐ’ＴＱＰ’）Ｘ’＝０についてＱ’＝Ｐ’ＴＱＰ’と置換すると、式（１４）と対称な方程式Ｘ’ＴＱ’Ｘ’＝０が得られる。このときの置換に用いた式は、Ｑ’がＱの射影変換だということを表している。よって、２次曲線ＱのＰによる射影変換と逆射影変換は、それぞれ射影変換行列を用いて以下の式で表すことができる。
　　Ｑ＝ＰＴＱ’Ｐ 　・・・（１７）
　　Ｑ’＝Ｐ’ＴＱＰ’　・・・（１８）
　従って、２次曲線は射影変換を適用しても２次曲線の性質を保つことが示された。
　次に、四角形算出のサブルーチンについて図に基づき詳細に説明する。
　図１４は、図８のフローチャートにおける四角形算出のサブルーチンの一例を示すフローチャートである。ここで、このサブルーチンでは、射影変換の対象を、２次曲線のうち楕円に限定し、楕円Ｅ１から求められる仮想の四角形(変形対象領域)Ｐ１から、真円Ｅ１’が内接する正方形Ｐ１’へと射影変換することを考える。すなわち、楕円Ｅ１から真円Ｅ１’への射影変換と考える。
　このサブルーチンは、変形対象領域の四角形Ｐ１を以下の方法で求める。
　図１４に示すように、まず、携帯端末１０は、中心候補を通る第１基準直線を決定する（ステップＳ３０）。具体的には、携帯端末１０の制御部１６は、図１２（Ａ）に示すように、1つの楕円Ｅ１とその内側の点（中心候補）ＯＡに対して、中心候補ＯＡを通る任意の直線、例えば、楕円Ｅ１の長軸Ｅ１Ａに平行な第１基準直線ｌ０を決定する。このように、携帯端末１０は、中心候補を通る直線（第１基準直線ｌ０）を、楕円の長軸に平行な直線から求める多角形算出手段の一例として機能する。
　次に、携帯端末１０は、第１基準直線と楕円との交点から第１接点および第２接点を算出する（ステップＳ３１）。具体的には、制御部１６は、第１基準直線ｌ０と楕円Ｅ１と交点から第１接点ｑ１および第２接点ｑ２を算出する。
　次に、携帯端末１０は、第１接点を接点とする第１接線と、第２接点を接点とする第２接線とを算出する（ステップＳ３２）。具体的には、制御部１６は、第１接点ｑ１での楕円Ｅ１の第１接線ｍ１と、第２接点ｑ２での楕円Ｅ１の第２接線ｍ２とを算出する。
　次に、携帯端末１０は、第１接線と第２接線との交点より第１消失点を算出する（ステップＳ３３）。具体的には、制御部１６は、第１接線ｍ１と第２接線ｍ２との交点より第１消失点ｑ∞を算出する。ここで、第１消失点ｑ∞は極、基準直線ｌ０は極線と呼ばれ、一方が定まればもう一方も定まる双対の関係にある。
　次に、携帯端末１０は、第１消失点と中心候補とを通る第２基準直線を算出する（ステップＳ３４）。具体的には、制御部１６は、第１消失点q∞と中心候補ＯＡとを共に通る極線として、第２基準直線ｍ０を算出する。
　次に、携帯端末１０は、第２基準直線と楕円と交点より第３・第４接点を算出する（ステップＳ３５）。具体的には、制御部１６は、第２基準直線ｍ０と楕円Ｅ１と交点より第３接点ｐ１および第４接点ｐ２を算出する。
　次に、携帯端末１０は、第３接点を接点とする第３接線と、第４接点を接点とする第４接線とを算出する（ステップＳ３６）。具体的には、制御部１６は、第３接点ｐ１での楕円Ｅ１の第３接線ｌ１と、第４接点ｐ２での楕円Ｅ１の第４接線ｌ２とを算出する。
　次に、携帯端末１０は、第３接線と第４接線との交点より第２消失点を算出する（ステップＳ３７）。具体的には、制御部１６は、第３接線ｌ１と第４接線ｌ２との交点より極の第２消失点ｐ∞を算出する。
　次に、携帯端末１０は、第１～第４接線の交点より四角形の頂点を算出する（ステップＳ３８）。具体的には、制御部１６は、第１接線ｍ１と第４接線ｌ２とから交点ｘ１、第４接線ｌ２と第２接線ｍ２とから交点ｘ２、第２接線ｍ２と第３接線ｌ１とから交点ｘ３、および、第３接線ｌ１と第２接線ｍ１とから交点ｘ４を算出し、四角形Ｐ１の頂点とする。ここで、第１～第４接線によって囲まれた四角形Ｐ１が、変形対象領域であり、中心候補を通る直線と楕円との交点を接点とする第１多角形の一例である。このように、携帯端末１０は、中心候補を通る直線と楕円との交点を接点とする第１多角形の一例の四角形を算出する多角形算出手段の一例として機能する。
　そして、制御部１６は、サブルーチンを終了後、ステップＳ２３として、図１２（Ａ）に示す四角形Ｐ１の頂点ｘ１～ｘ４の座標と、図１２（Ｂ）に示す正方形Ｐ１’の頂点ｘ１’～ｘ４’の座標から、射影変換行列Ｐを算出する。そして、射影変換行列Ｐによって、楕円Ｅ１は、標準画像の一例の真円Ｅ１’に射影変換され、同時に中心候補ＯＡは真円の中心ＯＡ’に射影される。
　ここで、花の中央に位置している花芯の座標を用いれば、中心候補ＯＡを適切に取ることができる。よって、花全体から近似された楕円Ｅ１と、花芯から近似された楕円の中心座標（中心候補ＯＡの座標）から、変形対象領域の四角形Ｐ１を求められ、これを正方形Ｐ１’に射影変換することで正面の見た目が得られる。
　このように本実施形態によれば、携帯端末１０は、画像処理を行う対象画像を記憶部１５に記憶し、対象画像（例えば、花の全体の輪郭Ｆ１）を近似する楕円Ｅ１を算出し、対象画像の中心候補ＯＡを決定し、楕円および中心候補に関連した第１多角形（例えば、四角形Ｐ１）を算出し、中心候補が射影変換される点を中心とする楕円に関連する第２多角形（例えば、正方形Ｐ１’）へ第１多角形を射影変換する射影変換行列Ｐを算出し、記憶部１５に記憶された対象画像を射影変換行列に基づき射影変換して、対象画像の変換画像を取得することにより、花等のように直線部分の輪郭が無い対象画像でも所望の向きに表示された画像に変換できる。
　また、携帯端末１０は、被写体を正面から撮影したような標準画像、すなわち所望の向きに表示された画像に変換できるため、ユーザが撮影のアングルを気にしない等、ユーザの負担を軽減させることができる。例えば、従来は、被写体が花の場合は、花の向きや形状を揃えるためや不要な背景を自動で除去するため、ユーザが、花を黒い背景の上に置いたり、花の真正面から画面全体に撮影したりしていた。そのため、撮影時にアングルを調整する等、ユーザの負担が大きかった。また、山では簡単に撮影できない所に生息している花も多く、従来技術では、既に撮影された写真を後から所望の向きに表示された画像に直すことができなかった。しかし、本実施形態によれば、直線部分がない被写体でも、正面から撮影したような画像に変換できる。
　また、携帯端末１０は、撮影後に画像に表示される向きを変換できるため、照明の反射を気にせず被写体を撮影でき、ユーザの利便性を向上させることができる。
　また、野外で撮影したものが何であるかその場で検索する場合、キーワードによる検索と異なり、撮影対象の撮影角度により、様々な対象画像になり検索が難しくなる場合がある。これに対し、本実施形態によれば、対象画像に基づき対象画像に関する情報を検索する場合、対象画像を正面から撮影されたような画像に変換して、当該変換画像に基づき検索するため、標準化された特徴量により検索しやすく、検索速度や検索の精度を向上させることができる。
　また、本実施形態によれば、例えば正面画像のように表示の向きが特定された画像のみに関連づけて検索のためのデータベースの構築でき、被写体の様々なアングルから撮影した画像データを予め用意する必要がないため、データベースを構築しやすく、また簡素化できる。そのため、携帯端末１０がデータベースを備え、検索を行うことも可能である。
　また、携帯端末１０が、多角形算出手段として、中心候補ＯＡを通る直線ｌ０、ｍ０と楕円Ｅ１との交点ｑ１、ｑ２、ｐ１、ｐ２に接する第１多角形（例えば、四角形Ｐ１）を算出する場合、楕円および中心候補に関連した第１多角形を容易に一意的に求めることができ、第１多角形の頂点の座標等から射影変換行列を決定できる。
　携帯端末１０が、多角形算出手段として、中心候補ＯＡを通る直線ｌ０を楕円の長軸Ｅ１Ａに平行な直線から求める場合、歪の少ない標準画像が求まり、変換後の画像が見やすくなる。また、歪の少ない標準画像のため、検索精度も向上する。
　また、携帯端末１０が、多角形算出手段として、楕円Ｅ１および中心候補ＯＡに関連した四角形Ｐ１を算出し、射影変換行列算出手段として、中心候補ＯＡに対応した中心候補ＯＡ’を中心とする真円Ｅ１’に関連する正方形Ｐ１’へ四角形を射影変換する射影変換行列を算出する場合、射影変換行列を求めるための４つの座標を、四角形Ｐ１の頂点等から容易に算出することができる。
　また、携帯端末１０が、中心候補決定手段として、花の全体画像等の対象画像の中から中心候補（花芯）を含む中心候補画像を抽出し、抽出した中心候補画像を楕円近似した楕円Ｅ２の長軸Ｅ２Ａと短軸Ｅ２Ｂとの交点（点ＯＡ）から中心候補を決定する場合、客観的に奥行きの情報が中心候補から得られ、正面から撮影された画像により近い標準画像を求めることができる。
　また、対象画像が花画像（花の輪郭Ｆ１）であって、携帯端末１０が、楕円算出手段として、花画像を近似する楕円Ｅ１を算出し、中心候補決定手段として、花画像の花芯（花芯の輪郭Ｆ２）部分から花画像の中心候補ＯＡを決定する場合、撮影場所やアングルが限られた画像でも、花を雌しべの方から見た正面画像のような花の標準画像を求めることできる。また、携帯端末１０は、花の標準画像により、花の種類等が特定できる。
　また、携帯端末１０が、対象画像を含む画像を取得する画像取得手段の一例として撮像部１１を備えた場合、山など外出先で、花等の対象画像を撮影して、その場で、花の正面画像等の所望の向きに表示された標準画像を得ることができ、花の種類を特定する等、対象画像を特定しやすくなる。
　また、携帯端末１０が、ステップＳ２のように、取得された画像から、対象画像を抽出する対象画像抽出手段を備えた場合、背景画像と対象画像とを切り離し、背景画像の影響を除去できるため、精度が良い標準画像が得られたり、標準画像に基づく検索精度が向上したりする。また、花の部分および背景の部分の色の情報に基づき、対象画像の抽出をすると、ユーザは、コントラストを気にせず対象画像の撮影ができ、携帯端末１０が、撮影時のユーザの負担を軽減させることができる。
　また、画像検索サーバ２０が、携帯端末１０から送信された標準画像に基づき対象画像を特定する情報を検索する場合、携帯端末１０が検索結果を受信することにより、山の中でも画像の情報検索が可能となり、例えば、山中で撮影した花の写真から、その花の情報を簡単に検索するシステムを構築することができる。また、例えば正面から撮影されたような標準画像に基づき対象画像を特定するため、標準化された特徴量によって検索することができ、検索速度や検索の精度を向上させたり、データベースを簡素化したりできる。
　また、画像検索サーバ２０が、検索手段として、標準画像より画像の特徴量を抽出し、特徴量に基づき、対象画像を特定する情報を検索する場合、検索の精度を向上させることができる。
　次に、変形対象領域の四角形を求める第１変形例について図に基づき説明する。
　図１５は、楕円に接する四角形を求める第１・２変形例における四角形算出のサブルーチンの一例を示すフローチャートである。図１６は、楕円に接する四角形を求める第１変形例を示す模式図である。図１７は、楕円に接する四角形を求める第２変形例を示す模式図である。
　図１５に示すように、まず、携帯端末１０は、画像枠に水平で楕円に接する第１接点および第１接線を決定する（ステップＳ４０）。具体的には、携帯端末１０の制御部１６は、図１６に示すように、画像枠３０の上辺３０ａまたは下辺に水平で楕円Ｅ１に接する第１接点ｑ２および第１接線ｍ２を決定する。ここで画像枠３０は、例えば、撮像された２次元の画像全体を囲う長方形の枠である。
　次に、携帯端末１０は、第１接点と中心候補とを通る第１基準直線を算出する（ステップＳ４１）。具体的には、制御部１６は、第１接点ｑ２と中心候補ＯＡとを通る第１基準直線ｌ０を算出する。
　次に、携帯端末１０は、第１基準直線と楕円とにより第２接点および第２接線を算出する（ステップＳ４２）。具体的には、制御部１６は、第１基準直線ｌ０と楕円Ｅ１との交点より第２接点ｑ１を求め、第２接点ｑ１で楕円Ｅ１に接する第２接線ｍ１を算出する。
　次に、携帯端末１０は、第１接線と第２接線との交点より第１消失点を算出する（ステップＳ４３）。具体的には、制御部１６は、第１接線ｍ２と第２接線ｍ１との交点より第１消失点ｑ∞を算出する。なお、ステップＳ４４～ステップＳ４８は、ステップＳ３４～ステップＳ３８と同じであり、最終的に、図１６に示すような四角形Ｐ２を得ることができる。
　このように、携帯端末１０は、中心候補ＯＡを通る直線と楕円Ｅ１との交点を接点ｑ２とする第１多角形の一例の四角形を算出する多角形算出手段の一例として機能する。また、携帯端末１０は、対象画像を取り囲む画像枠３０のいずれかの辺３０ａに平行な直線ｍ２と楕円Ｅ１とが接する点を接点ｑ２とする多角形算出手段の一例として機能する。
　本変形例によれば、四角形Ｐ２から正方形Ｐ１’への射影変換により、対象画像が射影変換された際、対象画像に対して、円周方向の画像回転が少ない標準画像を得ることができる。そのため、ユーザが対象画像と変換されて得た標準画像とを見比べやすくなり、画像の編集がしやすくなる。
　なお、図１７に示すように、変形対象領域の四角形を求める第２変形例として、ステップＳ４０で、画像枠３０の上辺３０ａまたは下辺に水平で楕円Ｅ１に接する第１接点ｑ１および第１接線ｍ１を決定してもよい。最終的に、四角形Ｐ３の形状は異なるが、第１変形例と同様の効果が得られる。このように、携帯端末１０は、中心候補ＯＡを通る直線と楕円Ｅ１との交点を接点ｑ１とする第１多角形の一例の四角形を算出する多角形算出手段の一例として機能する。また、携帯端末１０は、対象画像を取り囲む画像枠３０のいずれかの辺３０ａに平行な直線ｍ１と楕円Ｅ１とが接する点を接点ｑ１とする多角形算出手段の一例として機能する。なお、基準直線ｌ０、ｍ０は、中心候補ＯＡを通る任意の直線で、かつ、お互いに中心候補ＯＡで交差する直線であればよく、様々なバリエーションが考えられる。
　次に、変形対象領域の四角形を求める第３変形例について図に基づき説明する。
　図１８は、楕円に接する四角形を求める第３変形例であって、（Ａ）は、楕円に内接する四角形の一例を示す模式図であり、（Ｂ）は射影変換後の様子を示す模式図である。
　図１８（Ａ）に示すように、射影変換行列Ｐを求めるための四角形は、接点ｐ１、ｑ１、ｐ２、ｑ２を頂点とする四角形Ｐ４になる。この四角形Ｐ４は、楕円Ｅ１に内接する。この場合、射影変換行列Ｐを求めるための第２多角形は、図１８（Ｂ）に示すように、接点ｐ１’、ｑ１’、ｐ２’、ｑ２’を頂点とし、真円Ｅ１’に内接する正方形Ｐ４’になる。この場合、射影変換行列算出手段は、中心候補ＯＡが射影変換される点ＯＡ’を中心とする楕円（本変形例では真円Ｅ１’）が内接する正方形Ｐ４’へ四角形Ｐ４を射影変換する射影変換行列を算出する。
　本変形例の場合、ステップＳ３５までやステップＳ４５までにおいて、第１接点、第２接点、第３接点、第４接点が求まれば、四角形Ｐ４の頂点が算出されたことになる。
　このように、携帯端末１０は、楕円および中心候補に関連した第１多角形を算出する多角形算出手段の一例として機能する。また、携帯端末１０は、中心候補を通る直線と楕円との交点を接点とする第１多角形の一例の四角形を算出する多角形算出手段の一例として機能する。
　本変形例の場合、射影変換行列Ｐを求めるための四角形Ｐ４の頂点が、第１接点、第２接点、第３接点、第４接点として容易に求まる。
　次に、変形対象領域の四角形を求める第４変形例について図に基づき説明する。
　図１９は、楕円に接する四角形を求める第４変形例であって、（Ａ）は、楕円に接する四角形の一例を示す模式図であり、（Ｂ）は射影変換後の様子を示す模式図である。
　本変形例は、図１９（Ａ）に示すように、中心候補ＯＡが楕円Ｅ１の縁の近傍にある場合である。本変形例の場合、楕円Ｅ１に外接する四角形は、四角形Ｐ５となり、楕円Ｅ１に内接する四角形は、四角形Ｐ６となる。なお、第１基準直線ｌ０や第２基準直線ｍ０は、中心候補ＯＡを通る任意の直線で、かつ、お互いに中心候補ＯＡで交差する直線として求めた。
　本変形例の場合、楕円Ｅ１に接点ｐ１、ｑ１、ｐ２、ｑ２で外接する四角形Ｐ５が、楕円Ｅ１を囲まない。このため、射影変換行列Ｐを求めるための第２多角形は、頂点ｘ３に対応するｘ３’の座標が（－∞、－∞）となり、概念的には、図１９（Ｂ）において、点線で示した第２多角形Ｐ５’となる。このように、四角形Ｐ５が、楕円Ｅ１を囲まない場合でも、射影変換行列Ｐを算出できる。この場合、射影変換行列算出手段は、中心候補ＯＡが射影変換される点ＯＡ’を中心とする楕円（本変形例では真円Ｅ１’）に関連する多角形Ｐ５’へ四角形Ｐ５を射影変換する射影変換行列を算出する。
　一方、楕円Ｅ１に接点ｐ１、ｑ１、ｐ２、ｑ２で内接する四角形Ｐ６の場合、射影変換行列Ｐを求めるための第２多角形は、図１９（Ｂ）に示すように、接点ｐ１’、ｑ１’、ｐ２’、ｑ２’を頂点とし、真円Ｅ１’に内接する正方形Ｐ６’になる。このように、内接の四角形Ｐ６の場合、中心候補が、楕円の縁に近い場合でも、直感的に第２多角形が観念しやすい。この場合、射影変換行列算出手段は、中心候補ＯＡが射影変換される点ＯＡ’を中心とする楕円（本変形例では真円Ｅ１’）が外接する正方形Ｐ６’へ四角形Ｐ６を射影変換する射影変換行列を算出する。
　なお、多角形の一例として、三角形や五角形でもよい。射影変換行列Ｐが算出できるように、変換前の対象画像において、楕円Ｅ１および中心候補ＯＡに関連して少なくとも４点の座標が決まればよい。三角形の場合、射影変換行列Ｐを求めるため、３つの頂点以外に、ある辺上の点や、三角形の内部の重心、内心、外心等の点を第４の座標とすればよい。また、第２多角形は、例えば、正三角形、正方形、長方形、正五角形等の等角の多角形や、正多角形であり、射影変換後の真円Ｅ１’と関連づく図形で、射影変換行列Ｐが算出できればよい。また、第２多角形は、正多角形に限られない。中心候補が射影変換される点を中心とする、第２多角形に内接または外接する楕円は、真円に限られない。
　また、画像検索サーバ２０側が、画像処理装置として、対象画像から所望の向きに表示された変換画像である標準画像を求めてもよい。例えば、携帯端末１０が撮像した対象画像を含む画像データを検索要求画像として、ネットワーク３を通して、画像検索サーバ２０側に送信する。そして、画像検索サーバ２０側の受信部が、画像取得手段として機能し、画像検索サーバ２０側で、標準画像に変換し、画像検索サーバ２０が、標準画像に基づき検索する。そして画像検索サーバ２０が、検索結果を携帯端末１０に送信する。
　また、携帯型無線電話機のような携帯端末１０に限らず、デジタルカメラで撮影した対象画像を、本実施形態の方法が機能するプログラムがインストールされたパーソナルコンピュータに取り込み、所望の向きに表示された変換画像である標準画像を求める形態でもよい。また、画像検索システム１の画像検索サーバ２０の処理は、１台のサーバで行ってもよいし、複数のサーバに分散させてもよい。また、検索サーバを備えず、例えば単に標準画像を求めてもよく、あるいは、得られた標準画像を利用して検索とは異なる処理をしてもよい。
　また、対象画像は花画像に限らず、例えば他の円形形状のものであってもよく、皿、カップ、ＣＤ、ＤＶＤ、時計の文字盤、道路標識などであってもよい。あるいは、対象画像は、花画像に限らず、例えば楕円形かつ平面的な物体であってもよい。
　さらに、本発明は、上記各実施形態に限定されるものではない。上記各実施形態は、例示であり、本発明の特許請求の範囲に記載された技術的思想と実質的に同一な構成を有し、同様な作用効果を奏するものは、いかなるものであっても本発明の技術的範囲に包含される。
　１０：携帯端末
　１５：記憶部
　１４：撮像部
　１６：制御部
　２０：画像検索サーバ
　２１：制御部
　２１ｂ：記憶部
　２２：データベース
　３０：画像枠
　Ｅ１：楕円
　Ｆ１：花の輪郭
　Ｆ２：花芯の輪郭
　ＯＡ：中心候補
　Ｐ１：四角形（第１多角形）
　Ｐ１’：正方形（第２多角形）

Claims (18)

  1. 　対象画像に対して画像処理を行う画像処理装置であって、
    　前記対象画像を近似する楕円を算出する楕円算出手段と、
    　前記対象画像の中心候補を決定する中心候補決定手段と、
    　前記楕円および前記中心候補に関連した第１多角形を算出する多角形算出手段と、
    　前記中心候補が射影変換される点を中心とする楕円に関連する第２多角形へ前記第１多角形を射影変換する射影変換行列を算出する射影変換行列算出手段と、
    　前記対象画像を前記射影変換行列に基づき射影変換して、変換画像を取得する変換画像取得手段と、
    　を備えたことを特徴とする画像処理装置。
  2. 　請求項１に記載の画像処理装置において、
    　前記射影変換行列算出手段が、前記中心候補が射影変換される点を中心とする楕円が内接または外接する第２多角形へ前記第１多角形を射影変換する射影変換行列を算出することを特徴とする画像処理装置。
  3. 　前記射影変換行列算出手段における前記中心候補が射影変換される点を中心とする楕円は真円であることを特徴とする請求項１又は２に記載の画像処理装置。
  4. 　請求項１から３のいずれか１項に記載の画像処理装置において、
    　前記多角形算出手段が、
    　前記中心候補を通る直線と前記楕円との交点を接点とする前記第１多角形を算出することを特徴とする画像処理装置。
  5. 　請求項４に記載の画像処理装置において、
    　前記多角形算出手段が、
    　前記中心候補を通る直線を前記楕円の長軸に平行な直線から求めることを特徴とする画像処理装置。
  6. 　請求項４に記載の画像処理装置において、
    　前記多角形算出手段が、
    　前記対象画像を取り囲む画像枠のいずれかの辺に平行な直線と前記楕円とが接する点を前記接点とすることを特徴とする画像処理装置。
  7. 　請求項１から請求項６のいずれか１項に記載の画像処理装置において、
    　前記多角形算出手段が、前記楕円および前記中心候補に関連した四角形を算出し、
    　前記射影変換行列算出手段が、前記中心候補が射影変換される点を中心とする楕円に関連する正方形へ前記四角形を射影変換する射影変換行列を算出することを特徴とする画像処理装置。
  8. 　請求項１から請求項７のいずれか１項に記載の画像処理装置において、
    　前記中心候補決定手段が、
    　前記対象画像の中から前記中心候補を含む中心候補画像を抽出し、
    　抽出した前記中心候補画像を楕円近似した楕円の長軸と短軸との交点から前記中心候補を決定することを特徴とする画像処理装置。
  9. 　請求項１から請求項８のいずれか１項に記載の画像処理装置において、
    　前記対象画像が花画像であって、
    　前記楕円算出手段が、前記花画像を近似する前記楕円を算出し、
    　前記中心候補決定手段が、前記花画像の花芯部分から前記花画像の前記中心候補を決定することを特徴とする画像処理装置。
  10. 　請求項１から請求項９のいずれか１項に記載の画像処理装置において、
    　前記対象画像を含む画像を取得する画像取得手段を更に備えたことを特徴とする画像処理装置。
  11. 　請求項１０に記載の画像処理装置において、
    　前記取得された画像から、前記対象画像を抽出する対象画像抽出手段を更に備えたことを特徴とする画像処理装置。
  12. 　請求項１から請求項１１のいずれか１項に記載の画像処理装置において、
    　前記変換画像に基づき、前記対象画像を特定する情報を検索する検索手段を更に備えたことを特徴とする画像処理装置。
  13. 　請求項１２に記載の画像処理装置において、
    　前記検索手段が、
    　前記変換画像より画像の特徴量を抽出し、
    　前記特徴量に基づき、前記対象画像を特定する情報を検索することを特徴とする画像処理装置。
  14. 　請求項１から１３のいずれか１項に記載の画像処理装置において、
    　前記第２多角形が正多角形であることを特徴とする画像処理装置。
  15. 　請求項１から１４のいずれか１項に記載の画像処理装置において、
    　前記対象画像を記憶する記憶手段を更に備えたことを特徴とする画像処理装置。
  16. 　対象画像に対して画像処理を行う画像処理方法であって、
    　前記対象画像を近似する楕円を算出する楕円算出ステップと、
    　前記画像処理後における前記対象画像の中心候補を決定する中心候補決定ステップと、
    　前記楕円および前記中心候補に関連した第１多角形を算出する多角形算出ステップと、
    　前記中心候補が射影変換される点を中心とする楕円に関連する第２多角形へ前記第１多角形を射影変換する射影変換行列を算出する射影変換行列算出ステップと、
    　前記対象画像を前記射影変換行列に基づき射影変換して、変換画像を取得する変換画像取得ステップと、
    　を有することを特徴とする画像処理方法。
  17. 　コンピュータを、
    　画像処理の対象画像を近似する楕円を算出する楕円算出手段、
    　前記画像処理後における前記対象画像の中心候補を決定する中心候補決定手段、
    　前記楕円および前記中心候補に関連した第１多角形を算出する多角形算出手段、
    　前記中心候補が射影変換される点を中心とする楕円に関連する第２多角形へ前記第１多角形を射影変換する射影変換行列を算出する射影変換行列算出手段、および、
    　前記対象画像を前記射影変換行列に基づき射影変換して、変換画像を取得する変換画像取得手段として機能させることを特徴とする画像処理プログラム。
  18. 　コンピュータを、
    　画像処理の対象画像を近似する楕円を算出する楕円算出手段、
    　前記画像処理後における前記対象画像の中心候補を決定する中心候補決定手段、
    　前記楕円および前記中心候補に関連した第１多角形を算出する多角形算出手段、
    　前記中心候補が射影変換される点を中心とする楕円に関連する第２多角形へ前記第１多角形を射影変換する射影変換行列を算出する射影変換行列算出手段、および、
    　前記対象画像を前記射影変換行列に基づき射影変換して、変換画像を取得する変換画像取得手段として機能させることを特徴とする画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
PCT/JP2010/068281 2009-10-20 2010-10-18 画像処理装置、画像処理方法、画像処理プログラム、および、記録媒体 Ceased WO2011049046A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020127012887A KR101379066B1 (ko) 2009-10-20 2010-10-18 화상 처리 장치, 화상 처리 방법, 및, 기록 매체
EP10824895.6A EP2477152B1 (en) 2009-10-20 2010-10-18 Image processing device, image processing method, image processing program, and recording medium
US13/502,972 US8660309B2 (en) 2009-10-20 2010-10-18 Image processing apparatus, image processing method, image processing program and recording medium
CN201080053867.3A CN102656605B (zh) 2009-10-20 2010-10-18 图像处理装置、图像处理方法
CA2776881A CA2776881C (en) 2009-10-20 2010-10-18 Image processing device, image processing method, image processing program, and recording medium
ES10824895.6T ES2694762T3 (es) 2009-10-20 2010-10-18 Dispositivo de procesamiento de imágenes, procedimiento de procesamiento de imágenes, programa de procesamiento de imágenes y medio de grabación

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-241233 2009-10-20
JP2009241233A JP5075182B2 (ja) 2009-10-20 2009-10-20 画像処理装置、画像処理方法、および、画像処理プログラム

Publications (1)

Publication Number Publication Date
WO2011049046A1 true WO2011049046A1 (ja) 2011-04-28

Family

ID=43900272

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/068281 Ceased WO2011049046A1 (ja) 2009-10-20 2010-10-18 画像処理装置、画像処理方法、画像処理プログラム、および、記録媒体

Country Status (9)

Country Link
US (1) US8660309B2 (ja)
EP (1) EP2477152B1 (ja)
JP (1) JP5075182B2 (ja)
KR (1) KR101379066B1 (ja)
CN (1) CN102656605B (ja)
CA (1) CA2776881C (ja)
ES (1) ES2694762T3 (ja)
TW (1) TWI434567B (ja)
WO (1) WO2011049046A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109003327A (zh) * 2018-06-29 2018-12-14 平安科技（深圳）有限公司 图像处理方法、装置、计算机设备及存储介质

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI476730B (zh) * 2012-10-31 2015-03-11 Vivotek Inc 數位影像的反扭曲處理方法
CN106296578B (zh) * 2015-05-29 2020-04-28 阿里巴巴集团控股有限公司 一种图像处理方法及装置
US11568627B2 (en) 2015-11-18 2023-01-31 Adobe Inc. Utilizing interactive deep learning to select objects in digital visual media
US10192129B2 (en) * 2015-11-18 2019-01-29 Adobe Systems Incorporated Utilizing interactive deep learning to select objects in digital visual media
CN107767326B (zh) * 2017-09-28 2021-11-02 北京奇虎科技有限公司 图像中对象变换处理方法、装置及计算设备
CN108038880B (zh) * 2017-12-20 2019-12-13 百度在线网络技术（北京）有限公司 用于处理图像的方法和装置
US10719937B2 (en) * 2017-12-22 2020-07-21 ABYY Production LLC Automated detection and trimming of an ambiguous contour of a document in an image
WO2019181337A1 (ja) 2018-03-23 2019-09-26 株式会社 東芝 読取システム、読取方法、及び記憶媒体
JP6730379B2 (ja) * 2018-03-23 2020-07-29 株式会社東芝 読取システム、読取方法、プログラム、及び記憶媒体
JP6609345B2 (ja) 2018-04-27 2019-11-20 株式会社東芝 読取システム、読取方法、プログラム、及び記憶媒体
US11244195B2 (en) 2018-05-01 2022-02-08 Adobe Inc. Iteratively applying neural networks to automatically identify pixels of salient objects portrayed in digital images
CN110650239B (zh) * 2018-06-26 2021-03-16 百度在线网络技术（北京）有限公司 图像处理方法、装置、计算机设备及存储介质
JP6818002B2 (ja) 2018-12-12 2021-01-20 株式会社東芝 読取支援システム、移動体、読取支援方法、プログラム、及び記憶媒体
US11282208B2 (en) 2018-12-24 2022-03-22 Adobe Inc. Identifying target objects using scale-diverse segmentation neural networks
JP6763060B1 (ja) 2019-05-27 2020-09-30 株式会社東芝 読取システム、移動体、読取方法、プログラム、及び記憶媒体
CN110659370B (zh) * 2019-08-12 2024-04-02 深圳市华付信息技术有限公司 一种高效数据标注方法
CN113327863B (zh) * 2020-02-28 2022-06-21 芯恩（青岛）集成电路有限公司 半导体工艺方法
CN113469872B (zh) * 2020-03-31 2024-01-19 广东博智林机器人有限公司 一种区域显示方法、装置、设备及存储介质
US11335004B2 (en) 2020-08-07 2022-05-17 Adobe Inc. Generating refined segmentation masks based on uncertain pixels
JP2022036839A (ja) * 2020-08-24 2022-03-08 セイコーエプソン株式会社 画像処理装置、画像処理方法および画像処理プログラム
US11676279B2 (en) 2020-12-18 2023-06-13 Adobe Inc. Utilizing a segmentation neural network to process initial object segmentations and object user indicators within a digital image to generate improved object segmentations
CN113763439B (zh) * 2021-02-07 2025-03-18 北京沃东天骏信息技术有限公司 图像处理方法和装置
US11875510B2 (en) 2021-03-12 2024-01-16 Adobe Inc. Generating refined segmentations masks via meticulous object segmentation
US12020400B2 (en) 2021-10-23 2024-06-25 Adobe Inc. Upsampling and refining segmentation masks
CN115272448B (zh) * 2022-07-25 2026-03-06 武汉理工大学 一种视觉测量中离焦同心圆图像实际中心确定方法及装置
WO2024089763A1 (ja) * 2022-10-25 2024-05-02 日本電信電話株式会社 矩形領域推定装置、矩形領域推定方法及びプログラム
CN118364838B (zh) * 2024-05-06 2026-04-03 招商银行股份有限公司 图片变换方法、装置、设备以及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0290378A (ja) * 1988-09-28 1990-03-29 Agency Of Ind Science & Technol 円の３次元計測方法
JP2002203242A (ja) * 2000-12-28 2002-07-19 Japan Science & Technology Corp 植物認識システム
JP2005122320A (ja) 2003-10-14 2005-05-12 Casio Comput Co Ltd 撮影装置、その画像処理方法及びプログラム
JP2006277293A (ja) * 2005-03-29 2006-10-12 Dainippon Printing Co Ltd 回転体の三次元情報復元装置
JP2007200020A (ja) * 2006-01-26 2007-08-09 Nikon Corp 対象物認識システム
JP2007251720A (ja) * 2006-03-17 2007-09-27 Nikon Corp 対象物認識システム
JP2007251700A (ja) * 2006-03-17 2007-09-27 Casio Comput Co Ltd デジタルカメラ及び画像処理プログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2397423B (en) * 2001-09-17 2005-06-01 Ca Minister Agriculture & Food A method and apparatus for identifying and quantifying characteristics of seeds and other small objects
JP4033198B2 (ja) * 2004-02-27 2008-01-16 カシオ計算機株式会社 画像処理装置、画像投影装置、画像処理方法及びプログラム
KR100947002B1 (ko) * 2005-08-25 2010-03-11 가부시키가이샤 리코 화상 처리 방법 및 장치, 디지털 카메라, 및 화상 처리프로그램을 기록한 기록 매체

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0290378A (ja) * 1988-09-28 1990-03-29 Agency Of Ind Science & Technol 円の３次元計測方法
JP2002203242A (ja) * 2000-12-28 2002-07-19 Japan Science & Technology Corp 植物認識システム
JP2005122320A (ja) 2003-10-14 2005-05-12 Casio Comput Co Ltd 撮影装置、その画像処理方法及びプログラム
JP2006277293A (ja) * 2005-03-29 2006-10-12 Dainippon Printing Co Ltd 回転体の三次元情報復元装置
JP2007200020A (ja) * 2006-01-26 2007-08-09 Nikon Corp 対象物認識システム
JP2007251720A (ja) * 2006-03-17 2007-09-27 Nikon Corp 対象物認識システム
JP2007251700A (ja) * 2006-03-17 2007-09-27 Casio Comput Co Ltd デジタルカメラ及び画像処理プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109003327A (zh) * 2018-06-29 2018-12-14 平安科技（深圳）有限公司 图像处理方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
EP2477152B1 (en) 2018-10-17
US8660309B2 (en) 2014-02-25
CN102656605A (zh) 2012-09-05
CA2776881A1 (en) 2011-04-28
KR20120083486A (ko) 2012-07-25
US20120201423A1 (en) 2012-08-09
TWI434567B (zh) 2014-04-11
TW201143352A (en) 2011-12-01
EP2477152A1 (en) 2012-07-18
KR101379066B1 (ko) 2014-03-28
CA2776881C (en) 2016-01-05
ES2694762T3 (es) 2018-12-27
CN102656605B (zh) 2015-12-16
JP5075182B2 (ja) 2012-11-14
EP2477152A4 (en) 2014-01-15
JP2011090374A (ja) 2011-05-06

Similar Documents

Publication Publication Date Title
JP5075182B2 (ja) 画像処理装置、画像処理方法、および、画像処理プログラム
CN110568447B (zh) 视觉定位的方法、装置及计算机可读介质
EP2328125B1 (en) Image splicing method and device
JP7675288B2 (ja) 撮影測定方法、装置、機器及び記憶媒体
WO2018214365A1 (zh) 图像校正方法、装置、设备、系统及摄像设备和显示设备
CN107690673A (zh) 图像处理方法、装置及服务器
JP2014071850A (ja) 画像処理装置、端末装置、画像処理方法、およびプログラム
JP2011239361A (ja) 繰り返し撮影用ａｒナビゲーション及び差異抽出のシステム、方法及びプログラム
CN115641401A (zh) 一种三维实景模型的构建方法及相关装置
CN111693025B (zh) 一种遥感影像数据生成方法、系统及设备
JP2017208619A (ja) 画像処理装置、画像処理方法、プログラム及び撮像システム
KR101574636B1 (ko) 면형방식 디지털 항공카메라로 촬영한 시계열 항공사진을 입체시하여 좌표를 연동하고 변화지역을 판독하는 시스템
US10482571B2 (en) Dual fisheye, hemispherical image projection and stitching method, device and computer-readable medium
JP6486603B2 (ja) 画像処理装置
KR20110082903A (ko) 항공사진의 정사보정 및 최적화된 정사영상 제작 방법
CN112270702A (zh) 体积测量方法及装置、计算机可读介质和电子设备
JP2016212784A (ja) 画像処理装置、画像処理方法
JP2014164483A (ja) データベース生成装置、カメラ姿勢推定装置、データベース生成方法、カメラ姿勢推定方法、およびプログラム
CN114066731B (zh) 生成全景图的方法、装置、电子设备及存储介质
JP5216703B2 (ja) 映像表示システム、及び、映像表示方法
KR101598399B1 (ko) 로드뷰 사진이미지의 좌표정보를 이용한 자동 이미지 합성 시스템
JP6714819B2 (ja) 画像表示システム、情報処理装置、画像表示方法及び画像表示プログラム
CN113012160A (zh) 图像处理方法、装置、终端设备及计算机可读存储介质
JP6625654B2 (ja) 投影装置、投影方法、および、プログラム
KR100953737B1 (ko) 이미지 매칭을 이용한 맨홀 도화 시스템

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080053867.3

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10824895

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2776881

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: 2010824895

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13502972

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 1201001767

Country of ref document: TH

WWE Wipo information: entry into national phase

Ref document number: 4287/CHENP/2012

Country of ref document: IN

ENP Entry into the national phase

Ref document number: 20127012887

Country of ref document: KR

Kind code of ref document: A