WO2014203453A1 - 照明推定装置、照明推定方法および照明推定プログラム - Google Patents

照明推定装置、照明推定方法および照明推定プログラム Download PDF

Info

Publication number
WO2014203453A1
WO2014203453A1 PCT/JP2014/002683 JP2014002683W WO2014203453A1 WO 2014203453 A1 WO2014203453 A1 WO 2014203453A1 JP 2014002683 W JP2014002683 W JP 2014002683W WO 2014203453 A1 WO2014203453 A1 WO 2014203453A1
Authority
WO
WIPO (PCT)
Prior art keywords
illumination
distribution
information
estimation
distribution feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2014/002683
Other languages
English (en)
French (fr)
Inventor
瑛士 金子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2015522499A priority Critical patent/JP6376128B2/ja
Priority to US14/895,585 priority patent/US9692993B2/en
Priority to EP14814071.8A priority patent/EP3013045B1/en
Publication of WO2014203453A1 publication Critical patent/WO2014203453A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Definitions

  • the present invention relates to an image processing technique, and more particularly, to an illumination estimation device, an illumination estimation method, and an illumination estimation program for estimating a spectral characteristic of illumination from an image.
  • the observation spectrum includes illumination light characteristics in addition to the object reflection characteristics.
  • the observation spectrum recorded in each pixel of the multispectral image is obtained by capturing light reflected by the surface of an object with illumination light. For this reason, the observation spectrum includes illumination light characteristics in addition to the object reflection characteristics. Therefore, in an environment where the illumination varies, such as outdoors, the observation spectrum also varies under the influence of the illumination light. Even if such an observation spectrum is used, object information cannot be acquired correctly.
  • the characteristics of the illumination light at the time of shooting are acquired correctly, and the portion of the observation spectrum that reflects the characteristics of the illumination light is reflected from the multispectral image. Need to be removed.
  • the characteristic of light expressed as a spectral shape is referred to as a spectral characteristic.
  • Patent Document 1 associates an illumination range with a point on a black body locus, calculates and optimizes energy required to satisfy the following assumption while changing the color temperature. Estimate the color temperature of the lighting. Patent Document 1 uses the assumption that the skin color or gray area occupied by the object in the observation scene is wide. If the color temperature of the illumination can be estimated, the spectral characteristic of the illumination light can be estimated from the estimated color temperature.
  • Patent Document 1 assumes that the spectral reflectance of an observation object can be expressed using a known model, and estimates the spectral characteristics of illumination based on that assumption. .
  • the spectral reflectance of an object is a value unique to the object determined by its material and the like, and takes various values depending on the object to be observed.
  • Non-Patent Documents 1 and 2 In order to solve this problem, it is necessary to be able to estimate the spectral characteristics of illumination without making any assumptions on the surface reflectance of the object. As a method for realizing this, several methods using a dichroic reflection model have been proposed (for example, see Non-Patent Documents 1 and 2).
  • the dichroic reflection model is a model that expresses reflected light from an object as the sum of two types of reflection components, a specular reflection component and a diffuse reflection component.
  • Specular reflection component refers to a component of reflected light generated by specular reflection, which is a phenomenon in which light is reflected at the interface between an object and a medium that transmits light. In specular reflection, strong light is emitted in a direction in which the incident angle and the reflection angle are equal.
  • specular reflection component usually has the same spectral characteristics as the incident light.
  • the diffuse reflection component is a reflected light generated by diffuse reflection, which is a phenomenon that light that is incident on an object undergoes complex reflection inside the object near the boundary between the object and the medium that transmits the light, and then is emitted outside the object.
  • diffuse reflection a phenomenon that light that is incident on an object undergoes complex reflection inside the object near the boundary between the object and the medium that transmits the light, and then is emitted outside the object.
  • the ingredients In the process of reflection inside the object, absorption and scattering of different wavelength components occur for each object, so that the diffuse reflection component has a spectral characteristic different from that of incident light.
  • the following formula (1) is an example of a formula representing a dichroic reflection model.
  • the observation value of the reflected light from the object is expressed using a dichroic reflection model, it is expressed as the following equation (1).
  • ⁇ represents a wavelength.
  • ⁇ with an arrow represents an angle vector whose components are an incident angle, a reflection angle, and a phase angle (hereinafter, it is abbreviated as ⁇ except in the formula, and other vectors are also expressed in the same manner. ).
  • m s ( ⁇ ) represents the specular reflection amount
  • m b ( ⁇ ) represents the diffuse reflection amount.
  • i ( ⁇ ) represents the spectral characteristic of incident light
  • l obj ( ⁇ ) represents the spectral characteristic of diffuse reflected light.
  • the observed value l ( ⁇ , ⁇ ) is the sum of the specular reflection component “m s ( ⁇ ) i ( ⁇ )” and the diffuse reflection component “m b ( ⁇ ) l obj ( ⁇ )”. Represented as:
  • equation (2) the vector notation of equation (1) is shown in equation (2) below.
  • N-th order vectors whose components are values at wavelengths ⁇ 1 ,..., ⁇ n unless otherwise specified.
  • the Nth-order vector space is referred to as a spectrum space.
  • Non-Patent Document 1 considers the distribution of observation values according to a dichroic reflection model on a three-dimensional spectral space consisting of light intensity information of wavelengths corresponding to the three colors red, green, and blue. In particular, it is assumed that the observed values are distributed in a T shape, and the spectral characteristics of the illumination are estimated from the observed values based on such assumptions.
  • FIG. 10 is a schematic diagram schematically showing the distribution of the observed value L ( ⁇ ) assumed in Non-Patent Document 1 on the three-dimensional color space.
  • the specular reflection component and the diffuse reflection component are separated by assuming that the observed value L ( ⁇ ) is distributed in a T shape in a three-dimensional color space.
  • this assumption does not necessarily hold under circumstances other than those having isotropic reflection characteristics under a single light source. For example, in an object having a complicated surface shape such as a wavy water surface, the amounts of the two reflection components fluctuate simultaneously.
  • Non-Patent Document 1 has a problem that the specular reflection component and the diffuse reflection component cannot be correctly separated except when a smooth surface object is observed, and illumination cannot be estimated. .
  • Non-Patent Document 2 describes a method for estimating the spectral characteristics of illumination while avoiding such a separation problem of reflection components.
  • the method described in Non-Patent Document 2 utilizes the fact that a three-dimensional color space can be converted into a space composed of one-dimensional lightness and two-dimensional chromaticity.
  • the spectral characteristics at three wavelengths of red, green and blue can be expressed as points on a two-dimensional plane (referred to as a chromaticity diagram) representing chromaticity.
  • a chromaticity diagram representing chromaticity.
  • the illumination is modeled as a curve on the chromaticity diagram.
  • the chromaticity of the illumination at the time of observation is estimated by calculating
  • the estimated chromaticity of the illumination is output as information corresponding to the spectral characteristics of the illumination at the time of observation.
  • Non-Patent Document 2 In the method described in Non-Patent Document 2, it is assumed that the observation value is linearly approximated on the chromaticity diagram, so that the spectral characteristic of illumination at the time of observation can be obtained without separating the specular reflection component and the diffuse reflection component. Information on the chromaticity to be expressed can be obtained.
  • the chromaticity diagram is a two-dimensional plane represented based on a red, green, and blue three-dimensional color space.
  • the chromaticity diagram although it is possible to represent the characteristics of a spectrum composed of three wavelengths of red, green, and blue, it is not possible to uniquely represent the characteristics of a spectrum including information on light of multiple wavelengths. For this reason, the method described in Non-Patent Document 2 has a problem that it cannot cope with the case where the spectral characteristics of illumination are estimated using a multispectral image including information on multiple wavelengths.
  • Non-Patent Document 2 a simple dichroic reflection model is assumed as an observed value model to approximate the color distribution characteristics due to diffuse reflection and specular reflection as a straight line on the chromaticity diagram. To do. However, depending on the light environment at the time of shooting, the color distribution characteristics due to diffuse reflection and specular reflection may not approximate as a straight line on the chromaticity diagram, and in such a case, following a simple dichroic reflection model There is a problem that the spectral characteristics of illumination cannot be estimated correctly only with the assumption of.
  • the object to be observed is irradiated with indirect light (hereinafter referred to as ambient light) reflected and scattered by walls, clouds, sky, etc. in addition to the light directly emitted from the light source, and the amount of irradiation is ignored. If this is not possible, the observed values do not necessarily follow a simple dichroic reflection model as described above. In such a case, since the observed values are not distributed linearly on the chromaticity diagram, it is difficult to estimate the spectral characteristics of illumination by the method described in Non-Patent Document 2.
  • the present invention has been made in view of these problems, and the purpose thereof is from a multispectral image including information on multiple wavelengths without limiting the light environment at the time of photographing and the surface shape of an object.
  • An illumination estimation apparatus includes a target object region extraction unit that extracts an object region that is a region of an object including specular reflection from a multispectral image, and a distribution that is a characteristic of how the observation values in the object region are spread in the spectrum space
  • distribution feature estimation means for estimating information representing a subspace approximating the distribution of the observed values in the spectrum space, and a degeneration predetermined by the light environment from the distribution features estimated by the distribution feature estimation means
  • a dimension reduction means for selecting a distribution feature to be used according to the number of dimensions, and an illumination estimation means for estimating a spectral characteristic of the illumination based on information on a subspace represented by the distribution feature selected by the dimension reduction means. It is characterized by having.
  • the illumination estimation method is a feature of how an information processing device extracts an object region that is an object region including specular reflection from a multispectral image and spreads observation values in the object region in the spectrum space.
  • Information representing the partial space that approximates the distribution of the observed values in the spectrum space is estimated as the distribution feature, and the distribution feature to be used is selected from the estimated distribution features according to the degenerate dimension number determined in advance by the light environment.
  • the spectral characteristic of the illumination is estimated based on the information of the subspace represented by the selected distribution feature.
  • the illumination estimation program allows a computer to extract a target object region, which is an object region including specular reflection, from a multispectral image, and how to spread observation values in the spectral space in the object region.
  • a distribution feature that is a feature is a distribution feature estimation process that estimates information representing a subspace that approximates the distribution of the observed values in the spectrum space.
  • Illumination estimation that estimates the spectral characteristics of illumination based on dimension reduction processing that selects the distribution feature to be used according to the number of reduction dimensions that are used, and information on the subspace represented by the distribution feature selected in the dimension reduction processing Processing is executed.
  • the present invention it is possible to accurately estimate the spectral characteristics of illumination from a multispectral image including information on multiple wavelengths without limiting the light environment at the time of photographing and the surface shape of the object. For example, even if the illumination includes ambient light or the surface of the observation target object is not smooth, the spectral characteristics of the illumination can be accurately estimated from the multispectral image including information on multiple wavelengths.
  • FIG. 1 It is explanatory drawing which shows an example of distribution of an observation value by making a wavelength into a dimension. It is a block diagram which shows the minimum structural example of the illumination estimation apparatus by this invention. It is a schematic diagram which shows typically distribution in the three-dimensional color space of the observed value assumed by the nonpatent literature 1.
  • FIG. 1 It is explanatory drawing which shows an example of distribution of an observation value by making a wavelength into a dimension. It is a block diagram which shows the minimum structural example of the illumination estimation apparatus by this invention. It is a schematic diagram which shows typically distribution in the three-dimensional color space of the observed value assumed by the nonpatent literature 1. FIG.
  • FIG. 1 is a block diagram illustrating a configuration example of an illumination estimation apparatus according to the first embodiment of the present invention.
  • the illumination estimation apparatus 100 illustrated in FIG. 1 includes an image reading unit 101, a target object region extraction unit 102, a distribution feature estimation unit 103, a dimension reduction unit 104, an illumination estimation unit 105, and an illumination information storage unit 106. I have.
  • the image reading unit 101 reads an image photographed by the photographing device 20.
  • the target object region extraction unit 102 extracts an object region having a specular reflection component (hereinafter referred to as an object region) from the image read by the image reading unit 101.
  • An existing method can be used as the object region extraction method.
  • the distribution feature estimation unit 103 estimates a feature of how the observation value spreads in the spectrum space as a distribution feature based on the observation value obtained from each pixel of the object region extracted by the target object region extraction unit 102. .
  • the distribution feature estimation unit 103 is a feature vector that spans the partial space obtained as a result of approximating the distribution of the observed value in the spectral space to a subspace by dimension. May be extracted as a distribution feature.
  • the distribution feature estimation unit 103 may extract, for example, a principal component vector in a set of observation values as a distribution feature. Further, when outputting the distribution feature, the distribution feature estimation unit 103 may rearrange the feature vectors or principal component vectors extracted as the distribution feature in descending order of eigenvalues and output them.
  • the dimension reduction unit 104 selects a distribution feature to be used from the distribution features extracted by the distribution feature estimation unit 103 according to the number of reduction dimensions determined by the light environment. As a result, the dimension of the subspace that approximates the distribution of the observed values in the spectrum space is determined.
  • the illumination information storage unit 106 stores information necessary for configuring the illumination model used by the illumination estimation unit 105. For example, parameters used for the illumination model are stored.
  • the illumination model is not particularly limited, but is preferably a model that expresses the spectral characteristics of illumination based on a physical quantity that does not depend on an observed object such as a correlated color temperature.
  • the illumination estimation unit 105 includes a partial space represented by the reduced number of dimensions represented by the distribution feature selected by the dimension reduction unit 104, and an illumination model configured based on information stored in the illumination information storage unit 106. Use to estimate the spectral characteristics of the illumination at the time of shooting. The estimated spectral characteristics are output via the output device 30, for example.
  • the image reading unit 101, the target object region extraction unit 102, the distribution feature estimation unit 103, the dimension reduction unit 104, and the illumination estimation unit 105 are realized by a CPU that operates according to a program, for example.
  • the illumination information storage unit 106 is realized by a storage device, for example.
  • the illumination estimation apparatus 100 includes, for example, a CPU (Central Processing Unit) that operates according to a program, various storage devices (hard disk drive, nonvolatile memory, volatile memory, SSD (Solid State Drive), etc.), an imaging device 20 and an output.
  • An information processing apparatus including a communication interface with the apparatus 30 may be used.
  • the illumination estimation apparatus 100, the imaging apparatus 20, and the output apparatus 30 are illustrated as separate apparatuses.
  • the illumination estimation apparatus 100 includes the imaging apparatus 20 and the output apparatus 30 or any one of these. It may be a configuration.
  • FIG. 1 shows a configuration in which one device includes the image reading unit 101 to the illumination estimation unit 105. However, even if a part of these devices is mounted on another information processing device. Good. In this case, it is assumed that the information processing apparatuses are communicably connected.
  • FIG. 2 is a flowchart showing an example of the operation of the illumination estimation apparatus 100 of the present embodiment.
  • the image reading unit 101 reads an image photographed by the photographing device 20 (step S ⁇ b> 101).
  • the target object region extraction unit 102 extracts an object region having a specular reflection component from the image read by the image reading unit 101 (step S102).
  • the distribution feature estimation unit 103 estimates, as a distribution feature, how the observation value spreads in the spectrum space based on the observation value obtained from the object region extracted by the target object region extraction unit 102. (Step S103).
  • the dimension reduction unit 104 selects a distribution feature to be used from the distribution features estimated by the distribution feature estimation unit 103 according to the number of reduction dimensions determined by the light environment (step S104).
  • the illumination estimation unit 105 reads information stored in the illumination information storage unit 106 and constructs an illumination model (step S105).
  • the operation in step S105 may be performed in advance or in parallel with the above operation.
  • the illumination estimation unit 105 uses the partial space represented by the distribution feature selected by the dimension reduction unit 104 and the illumination model configured based on the information stored in the illumination information storage unit 106 to perform illumination. Is estimated (step S106).
  • the distribution feature estimation unit 103 extracts the feature of how the observation value spreads in the N-dimensional space using the observation value obtained from the region of the target object having the specular reflection component. For example, the distribution feature estimation unit 103 assumes that observation values are distributed in a space including the origin, and includes characteristic vectors v 1 , v 2 ,. v N is extracted.
  • These vectors can be calculated on the basis of a set of observation values.
  • a set of observation values consisting of N wavelengths in M pixels belonging to the target object region is represented as a matrix X of N rows and M columns, XX T It can be expressed as an eigenvector.
  • the eigenvalues gamma 1 to provide these eigenvectors, ⁇ 2, ⁇ , v 1 , v 2 in the order gamma N is large, ..., when v N, served
  • D represents an N-dimensional unit vector.
  • the distribution feature estimation unit 103 performs principal component analysis on the observation value set X, for example, and obtains the first principal component vector, second principal component vector,. the principal component vectors in order, the feature vector v 1, v 2, ⁇ ⁇ ⁇ , may be v N.
  • the dimension reduction unit 104 determines from the feature vectors v 1 , v 2 ,..., V N estimated as the distribution features by the distribution feature estimation unit 103 and spans a space approximating the distribution of observation values, depending on the assumed light environment.
  • a feature vector to be used is selected according to the degenerated dimension number P determined.
  • feature vectors v 1 , v 2 ,..., V P are selected on the assumption that feature vectors of dimensions up to the number of dimensions P are used in the order in which the features of the observation value spread are well represented.
  • the degenerated dimension number P is the number of dimensions of the subspace in the spectral space where the distribution of the observed values according to the light environment at the time of photographing is well expressed, more specifically, the vector component constituting the observation model according to the light environment. Decide as the same value as the number.
  • a model based on a dichroic reflection model was used as an observation model. That is, a model that expresses observation values using two types of reflection components, a specular reflection component and a diffuse reflection component, was used, such as a dichroic reflection model. However, unlike the dichroic reflection model described in Non-Patent Document 1, reflection by ambient light was also considered as reflected light. Note that the observation model used in the present embodiment is not limited to the dichroic reflection model as long as the observation value is expressed using at least a component that can specify the spectral characteristic of illumination.
  • the number of vector components that make up the observation model depends on the light environment assumed by the observation model. For example, it depends on the number of illumination lights (including ambient light) having different spectral characteristics in the light environment and the presence or absence of specular reflection components and diffuse reflection components in the observation object. Therefore, a plurality of light environments may be assumed in advance from the viewpoint of the number of illumination lights and the presence or absence of each reflection component, and the degenerate dimension number P for each light environment may be set according to the assumed contents. In this case, for example, when an operator who inputs an image designates a light environment expected from the image, the degenerate dimension number P corresponding to the light environment may be set. It is also possible for the operator to directly specify the number of reduced dimensions.
  • the degenerate dimension number P is set to an appropriate value from 1 to N according to the light environment.
  • Two examples of the reduced dimension number P corresponding to the light environment and the selected distribution feature are shown below.
  • the degenerate dimension number P 2 and 2 from the distribution feature estimated by the distribution feature estimation unit 103.
  • Two feature vectors v 1 and v 2 are selected.
  • the observation value in the observation model corresponding to the light environment of this example is composed of two vector components of the spectral characteristic I of illumination and the spectral characteristic L obj of reflected light of the object. This is because these two vectors are distributed on a two-dimensional plane in an N-dimensional spectrum space.
  • the illumination estimation unit 105 of the present embodiment uses that the spectral characteristic I of illumination at the time of photographing can be expressed as a vector on a two-dimensional plane spanned by the feature vectors v 1 and v 2 .
  • the observed value includes four vector components obtained by adding the specular reflection component I s and the diffuse reflection component L obj — s of the sky light to the specular reflection component I and the diffuse reflection component L obj of the light source. This is based on the assumption that observation values are distributed in a four-dimensional space in an N-dimensional spectral space spanned by these four vectors.
  • the specular reflection component I of the light source having the same spectral characteristic as the spectral characteristic of the illumination at the time of shooting is on a four-dimensional plane on which the feature vectors v 1 , v 2 , v 3 , v 4 are stretched.
  • the illumination can be accurately estimated even when the ambient light included in the illumination cannot be ignored.
  • An example of an observation model corresponding to the light environment of this example is shown in the following formula (4).
  • m ss ( ⁇ ) and m sb ( ⁇ ) represent the specular reflection amount and the diffuse reflection amount of the sky light, respectively. Further, I s and L obj — s respectively represent the specular reflection component and the diffuse reflection component of the sky light.
  • the illumination information storage unit 106 stores information necessary for configuring an illumination model.
  • the spectral characteristics of daylight are determined based on the correlated color temperature Tc .
  • the daylight spectral characteristics are obtained from an average vector S o , a first principal component vector S 1, and a second principal component vector obtained from a database observed outdoors. Expressed as a linear sum of S 2 .
  • the weighting factors M 1 and M 2 of the principal component vector in the equation (5) are determined by a function having the correlated color temperature T c as an input.
  • the illumination information storage unit 106 uses the average vector S o , the first principal component vector S 1 , the second principal component vector S 2 and the correlated color temperature T c as illumination information.
  • the function parameters for calculating the weighting factors M 1 and M 2 from the above may be stored.
  • the illumination estimation unit 105 constructs an illumination condition that is closest to the partial space that approximates the distribution of the observation values indicated by the selected feature vector from the information stored in the illumination information storage unit 106.
  • the spectral characteristics I est of the illumination selected from the selected illumination model and specified thereby may be used as the estimated value.
  • FIG. 3 is a conceptual diagram illustrating the illumination estimation method according to the present embodiment.
  • FIG. 3 shows a conceptual diagram of an illumination estimation method when two vectors v 1 and v 2 are selected as characteristic vectors extending a partial plane that approximates an observation value.
  • the illumination estimation unit 105 determines the intersection of the two-dimensional plane spanned by the feature vectors v 1 and v 2 in the spectrum space and the approximate curve on the spectrum space of the illumination indicated by the illumination model. It is good also as an estimated value.
  • the illumination estimation problem is the same as solving the problem shown in the following equation (6). That is, the correlated color temperature T C is changed, and the distance between the spectral characteristic I CIE (T C ) of the illumination indicated by the given CIE daylight model and the vector space having the selected feature vector as a base vector is repeated. It can be calculated by taking out the spectral characteristics of daylight when this distance is minimum.
  • the term ⁇ in the equation (6) is a vector in the subspace, and the illumination spectral characteristic I CIE (T C ) specified by the illumination model when a certain correlated color temperature T C is given is the most. Represents an approximate vector.
  • the derivation of the values of a 1 , a 2 ,..., A P that satisfy this condition can be solved analytically. For example, given the spectral characteristic I CIE (T C ) of illumination and the basis vectors v 1 , v 2 ,..., V P shown by the CIE daylight model, as shown in the following equation (7): It can be calculated.
  • the illumination model may be an illumination model other than the CIE daylight model.
  • a physical model representing daylight by Bird et al. This model simulates direct sunlight and atmospheric scattered light using parameters representing the solar zenith angle calculated from the location and time and the state of the atmosphere, and calculates daylight in fine weather.
  • this model first, default values are set for parameters that have little influence on the simulation result, and measurable parameters are given to the model.
  • the spectral characteristics of the illumination can be estimated by selecting the daylight that minimizes the distance from the partial space spanned by the basis vectors v 1 , v 2 ,..., V P while changing the remaining unknown parameters. .
  • Non-patent Document 4 It is conceivable to use a model of daylight that corresponds to cloudy weather by Kaneko et al. In this model, daylight in cloudy weather is expressed as a mixture of direct sunlight in fine weather and atmospheric scattered light in fine weather, and the mixing ratio is changed according to the cloudiness. When using this model, while changing the mixing ratio of the spectral characteristics of the illumination basis vectors v 1, v 2, ⁇ , v the distance between the subspace P spanned by picking out daylight to minimize Can be estimated.
  • the spectral characteristics of the illumination can be obtained from the multispectral image including information on multiple wavelengths. It can be estimated accurately. This is because, in the illumination estimation method of this embodiment, N feature vectors are estimated and represented as representing the characteristics (distribution characteristics) of how the observation value spreads while including the specular reflection component and the diffuse reflection component.
  • illumination In order to estimate illumination from a partial space that approximates the distribution of observed values represented by feature vectors for the reduced number of dimensions of the feature vectors, and an illumination model that is configured based on illumination information, This is because the illumination can be estimated while avoiding the problem of separation between the specular reflection component and the diffuse reflection component, which is difficult to solve when the ambient light is included or the surface shape of the observation object is complicated.
  • the distribution feature estimation unit 103 first extracts the distribution feature in the spectrum space of the observation value, and then the dimension reduction unit 104 uses the distribution according to the number of reduction dimensions determined by the light environment. Since the feature selection method is used, the observation value is projected to a variable and arbitrary dimensional subspace according to the input image instead of a fixed and two-dimensional subspace called the chromaticity plane.
  • the illumination can be estimated based on Therefore, even in the case of a multispectral image including light information of multiple wavelengths, the spectral characteristics of illumination can be estimated using a partial space corresponding to the input image without limiting the information component (wavelength, etc.) to be used. .
  • FIG. 4 is a block diagram illustrating a configuration example of the illumination estimation apparatus according to the second embodiment of the present invention.
  • the illumination estimation apparatus 200 illustrated in FIG. 4 includes an image reading unit 101, a target object region extraction unit 102, a distribution feature estimation unit 203, a dimension reduction unit 204, and an illumination estimation unit 205.
  • the image reading unit 101 and the target object region extraction unit 102 may be the same as those in the first embodiment, and thus the same reference numerals are given and description thereof is omitted.
  • the illumination information storage unit 106 is not necessary.
  • the distribution feature estimation unit 203 estimates a feature of how the observation value spreads in the spectrum space as a distribution feature based on the observation value of the object region including the specular reflection component extracted by the target object region extraction unit 102.
  • the dimension reduction unit 204 selects a distribution feature to be used from the distribution features estimated by the distribution feature estimation unit 203 according to the number of reduction dimensions determined by the light environment.
  • the illumination estimation unit 205 estimates the spectral characteristics of the illumination using the partial space represented by the reduced number of dimensions represented by the distribution feature selected by the dimension reduction unit 204. Note that the illumination estimation unit 205 of the present embodiment does not use an illumination model. The illumination estimation unit 205 estimates the spectral characteristic of illumination from the distribution of observation values in the partial space represented by the feature vector selected by the dimension reduction unit 204.
  • the dimension reduction unit 204 selects a dimension distribution feature in which the distribution of observation values in the partial space well represents the spectral characteristics of illumination included in the observation values.
  • the distribution feature estimation unit 203 extracts the distribution features so as to include at least such dimensions.
  • distribution feature extraction processing, dimension reduction processing, and illumination spectral characteristic estimation processing may be executed in accordance with predetermined methods.
  • FIG. 5 is a flowchart showing an example of the operation of the illumination estimation apparatus 200 of the present embodiment.
  • the image reading unit 101 reads an image photographed by the photographing device 20 (step S101).
  • the target object region extraction unit 102 extracts an object region having a specular reflection component from the image read by the image reading unit 101 (step S102).
  • the distribution feature estimation unit 203 outputs, as a distribution feature, a feature of how the observation value spreads in the spectrum space based on the observation value of the object region including the specular reflection component extracted by the target object region extraction unit 102. (Step S203).
  • the dimension reduction unit 204 selects the distribution feature to be used from the distribution features estimated by the distribution feature estimation unit 203 according to the number of reduction dimensions determined by the light environment (step S204).
  • the illumination estimation unit 205 estimates the spectral characteristic of illumination using the partial space represented by the distribution feature selected by the dimension reduction unit 204 (step S205).
  • m ss ( ⁇ ) represents the amount of specular reflection of ambient light from the sky, that is, sky light
  • m sb ( ⁇ ) represents the amount of diffuse reflection of sky light
  • I s represents the specular component of the skylight
  • L obj_s represents a diffuse reflection component skylight.
  • the illumination light does not include direct light from the sun as the light source. Therefore, the specular reflection component and the diffuse reflection component of direct light can be ignored. Also, in many waters that exist in nature such as the sea surface and lake surface, assuming that the sky accounted for a high proportion of the whole sky, and that the sky condition is uniform, the spectral characteristics of illumination are the ambient light from the sky. That is, it becomes the spectral characteristic itself of the specular reflection component Is of skylight. With this assumption, the water surface of the observation light can be expressed as the sum of the diffuse reflection component L Obj_s the specular component of the skylight I s and skylight as shown in equation (8).
  • the amount of two reflection components fluctuates simultaneously, and as a result, the two vectors are distributed on a two-dimensional plane. It is possible.
  • FIG. 6 is a conceptual diagram showing the distribution of observed values on the spectrum space obtained from an image obtained by photographing the water surface in this case, that is, in an outdoor cloudy environment.
  • the distribution of observation values can be approximated using a two-dimensional plane as shown in FIG.
  • the vector I s of the skylight is a vector on the two-dimensional plane.
  • FIG. 7 is a conceptual diagram showing the relationship between the observed value distribution and the vector representing the distribution feature in this case.
  • FIG. 8 is an explanatory diagram showing an example of the distribution of observed values in this case, with the wavelengths as dimensions. Note that the example shown in FIG. 8 is an example of the distribution of observed values when the amount of specular reflection varies greatly.
  • a vector L 1 representing the direction with the largest fluctuation represents a first principal component vector of the observed value L cloudy ( ⁇ ) and represents a sky light.
  • the distribution feature estimation unit 203 of the present embodiment is configured to spread the observation value in the spectrum space (fluctuation). ), That is, information representing the distribution feature, the average vector of the observed values and the first to Nth principal component vectors L 1 , L 2 ,..., L N are estimated.
  • the dimension reduction unit 204 extracts the first principal component vector L 1 from the vectors representing the distribution features estimated by the distribution feature estimation unit 203. Lighting estimating section 205, the estimated value of the spectral characteristics I S of the illumination vector L 1 taken out by the dimensionality reduction unit 204.
  • the present embodiment it is possible to estimate the spectral characteristics of illumination based on a multispectral image including information on multi-wavelength light captured in a predetermined light environment without using an illumination model. . Even in this embodiment, this is not a fixed and two-dimensional subspace called a chromaticity plane, but a projection onto a variable and arbitrary dimensional subspace corresponding to the input image. This is because the illumination is estimated based on the space.
  • FIG. 9 is a block diagram showing a minimum configuration example of the illumination estimation apparatus according to the present invention.
  • the illumination estimation apparatus includes target object region extraction means 501, distribution feature estimation means 502, dimension reduction means 503, and illumination estimation means 504 as minimum components.
  • the target object region extraction unit 501 (for example, the target object region extraction unit 102) extracts an object region that is a region of an object including specular reflection from the multispectral image.
  • the distribution feature estimation unit 502 (for example, the distribution feature estimation unit 103 or 203) is a partial space that approximates the distribution of the observation value in the spectrum space as a distribution feature that is a feature of how the observation value in the object region spreads in the spectrum space. Estimate information representing.
  • the dimension reduction means 503 selects a distribution feature to be used from the distribution features estimated by the distribution feature estimation means 502 according to the number of reduction dimensions predetermined by the light environment. select.
  • the illumination estimation unit 504 estimates the spectral characteristics of the illumination based on the partial space information represented by the distribution feature selected by the dimension reduction unit 503. Therefore, according to the illumination estimation device with the minimum configuration, observation is performed with a degenerate dimension number corresponding to the light environment, which is specifically selected from those estimated to represent the characteristics of the spread of the observation values in the object region (distribution characteristics). Since the spectral characteristics of the illumination are estimated based on a subspace that approximates the distribution of values, even if the illumination contains ambient light or the surface shape of the observation object is complex, it contains information on multiple wavelengths The spectral characteristics of illumination can be accurately estimated from the multispectral image.
  • each unit can be configured by hardware, but can also be realized by a computer program.
  • functions and operations similar to those of the above-described embodiments are realized by a processor that operates according to a program stored in the program memory.
  • only some functions of the above-described embodiments can be realized by a computer program.
  • Target object region extraction means for extracting an object region that is an object region including specular reflection from a multispectral image, and observation as a distribution feature that is a feature of how observation values in the object region are spread in the spectrum space
  • a distribution feature estimation unit that estimates information representing a subspace that approximates the distribution of values in the spectrum space, and a distribution feature estimated by the distribution feature estimation unit according to a degenerate dimension number predetermined by the light environment.
  • Dimensional reduction means for selecting the distribution feature to be used, and illumination estimation means for estimating the spectral characteristics of the illumination based on the partial space information represented by the distribution feature selected by the dimensional reduction means.
  • a featured illumination estimation device for selecting the distribution feature to be used, and illumination estimation means for estimating the spectral characteristics of the illumination based on the partial space information represented by the distribution feature selected by the dimensional reduction means.
  • the illumination estimation means is based on the information memorize
  • the distribution feature estimation means estimates a vector extending a partial space obtained by approximating the distribution of the observed value in the spectrum space as a partial space including the origin as the distribution feature. Lighting estimation device.
  • Information processing apparatus extracts the object area
  • An illumination estimation method wherein spectral characteristics of illumination are estimated based on partial space information represented by the distribution characteristics.
  • Information processing apparatus memorize
  • Target object region extraction processing for extracting an object region that is a region of an object including specular reflection from a multispectral image to a computer, and distribution features that are characteristics of how observation values in the object region are spread in the spectrum space
  • the distribution feature estimation process for estimating information representing a subspace approximating the distribution of the observed values in the spectrum space, and the distribution feature estimated by the distribution feature estimation process, to a degenerate dimension number predetermined by the light environment
  • the dimension reduction process for selecting the distribution feature to be used and the illumination estimation process for estimating the spectral characteristics of the illumination based on the information on the subspace represented by the distribution feature selected in the dimension reduction process Lighting estimation program.
  • Supplementary note 9 or Supplementary note 10 causes a computer to estimate, as a distribution feature, a vector spanning a partial space obtained as a result of approximating the distribution of the observed value in the spectral space as a partial space including the origin in the distribution feature estimation process. Illumination estimation program described in 1.
  • the present invention can estimate the spectral characteristics of illumination at the time of shooting the image using only the image as information at the time of shooting, for example, the type, material, state, etc. of the object in the image using a multispectral image
  • the present invention can be suitably applied to a purpose of grasping various information with high accuracy.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Mathematical Physics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Signal Processing (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Image Analysis (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

　撮影時の光環境や物体の表面形状に限定を加えることなしに、多波長の情報を含むマルチスペクトル画像から、照明の分光特性を精度よく推定する。本発明による照明推定装置は、マルチスペクトル画像から鏡面反射を含む物体の領域である物体領域を抽出する対象物体領域抽出手段５０１と、物体領域における観測値のスペクトル空間上の広がり方の特徴である分布特徴として、観測値のスペクトル空間における分布を近似する部分空間を表す情報を推定する分布特徴推定手段５０２と、分布特徴推定手段５０２によって推定された分布特徴の中から、光環境によって予め定められている縮退次元数に応じて、用いる分布特徴を選択する次元縮退手段５０３と、次元縮退手段５０３によって選択された分布特徴によって表される部分空間の情報に基づいて、照明の分光特性を推定する照明推定手段５０４とを備える。

Description

照明推定装置、照明推定方法および照明推定プログラム
　本発明は、画像処理技術に関し、特に、画像から照明の分光特性を推定する照明推定装置、照明推定方法および照明推定プログラムに関する。
　撮影シーン中の物体の種類、材質、状態などの様々な情報を高精度に把握する技術として、多数の波長の光を記録したマルチスペクトル画像を利用する方法がある。各波長の光が物体表面で反射されるときの振る舞いは、物体の種類や状態によって異なる。そのため、マルチスペクトル画像の各画素に記録される観測値である観測スペクトルから物体の反射特性を得ることができれば、物体の種類や状態などを把握できるようになる。
　しかし、観測スペクトルから物体の情報を正しく取得するのは困難である。これは、観測スペクトルには、物体の反射特性以外に照明光の特性も含まれているためである。マルチスペクトル画像の各画素に記録される観測スペクトルは、照明光が物体の表面で反射した光をセンサでとらえたものである。このため、観測スペクトルには、物体の反射特性以外に照明光の特性が含まれる。したがって、屋外など照明が変動する環境下では、照明光の影響を受けて観測スペクトルも変動する。このような観測スペクトルを用いても、物体の情報を正しく取得できない。
　物体の情報を正しく取得するためには、撮影時の照明光の特性を正しく取得して、マルチスペクトル画像から撮影時の照明の影響すなわち観測スペクトルのうち照明光の特性を反映している部分を除去する必要がある。以下、スペクトル形状として表される光の特性を、分光特性と呼ぶ。
　撮影時の照明の分光特性を取得する方法の一つとして、照明光を直接計測する方法が考えられる。しかし、この方法は、照明光計測用のセンサを別途必要とすることに加え、画像センサと照明光計測センサを統合するシステムの構築も必要とする。結果として、コストの増加やシステムの大型化といったデメリットが生じる。また、照明光計測センサは測定対象と同じ場所、もしくは近接する場所に設置する必要があるため、航空機からの地表観測などのように測定対象と画像センサの距離が遠い場合には、次のような問題も生じる。すなわち、照明光計測センサを物理的に設置できないといった問題や、設置できたとしても多くの労力やコストがかかるといった問題が生じる。
　これらの問題を回避するために、観測されたマルチスペクトル画像の情報のみを用いて照明の分光特性を推定することが望まれている。
　マルチスペクトル画像の情報から撮影時の照明の分光特性を推定する方法の１つに、観測対象物の波長ごとの表面反射率（分光反射率）の情報を用いる方法がある（例えば、特許文献１参照）。
　特許文献１に記載されている方法は、照明の範囲を黒体軌跡上の点に対応付け、色温度を変化させながら、次の仮定を満たすのに必要なエネルギーを算出、最適化することによって照明の色温度を推定する。特許文献１では、観測シーン中の物体に占める肌色またはグレーの面積が広いという仮定を用いている。照明の色温度が推定できれば、推定された色温度から照明光の分光特性を推定できる。
　しかし、特許文献１に記載されている方法は、観測対象物の分光反射率が既知のモデルを用いて表現可能であることを仮定し、その仮定に基づいて照明の分光特性を推定している。このため、次のような問題があった。すなわち、物体の分光反射率は、その材質等によって定まる物体固有の値であり、観測対象物体に応じて多種多様な値をとる。このため、任意の観測対象物体に対して、その分光反射率が既知のモデルを用いて表現可能であるとする仮定は必ずしも成り立たない。したがって、そのような仮定を置く方法では、任意の観測対象物に対して必ずしも正しく照明の分光特性を推定できないという問題があった。
　この問題を解決するためには、物体の表面反射率に何らかの仮定を置くことなく、照明の分光特性を推定できる必要がある。これを実現する方法として、二色性反射モデルを利用する方法がいくつか提案されている（例えば、非特許文献１，２参照）。
特開２００３－２０９８５６号公報
Gudrun J. Klinker, Steven A. Shafer, Takeo Kanade, "A Physical Approach to Color Image Understanding", International journal of Computer Vision , 1990. Graham D. Finlayson, Gerald Schaefer, "Solving for Colour Constancy using a Constrained Dichromatic Reflection Model", International journal of Computer Vision , 2001.
　二色性反射モデルは、物体からの反射光を、鏡面反射成分と拡散反射成分の２種類の反射成分の和として表現するモデルである。
　鏡面反射成分は、光が物体と光を伝達する媒質との境界面で反射する現象である鏡面反射によって生じる反射光の成分をいう。鏡面反射では入射角と反射角が等しくなる方向に強い光を放出する。鏡面反射成分は通常、入射光と同じ分光特性を持つ。
　一方、拡散反射成分は、物体に入射した光が物体と光を伝達する媒質との境界付近の物体内部で複雑な反射を経た後に、物体外部に放出される現象である拡散反射によって生じる反射光の成分をいう。物体内部の反射の過程で、物体ごとに異なる波長成分の吸収および散乱が発生するため、拡散反射成分は入射光とは異なる分光特性を持つ。
　以下の式（１）は、二色性反射モデルを表す式の一例である。物体からの反射光の観測値を二色性反射モデルを用いて表現すると、以下の式（１）のように表される。
Figure JPOXMLDOC01-appb-M000001
　式（１）において、λは波長を表す。また、矢印付きθは入射角と反射角と位相角を成分とする角度ベクトルを表す（以下、式中以外においてはθと略しベクトルを表すものとする。他のベクトルについても同様に表記する。）。また、ｍｓ（θ）は鏡面反射量、ｍｂ（θ）は拡散反射量を表す。また、ｉ（λ）は入射光の分光特性、ｌｏｂｊ（λ）は拡散反射光の分光特性を表す。式（１）によれば、観測値ｌ（λ，θ）は、鏡面反射成分「ｍｓ（θ）ｉ（λ）」と拡散反射成分「ｍｂ（θ）ｌｏｂｊ（λ）」の和として表される。
　以降の説明のため、式（１）のベクトル表記を以下の式（２）に示す。
Figure JPOXMLDOC01-appb-M000002
　Ｌ（θ），Ｉ，Ｌｏｂｊはそれぞれ、センサの測定対象となるＮ個の波長をλ１，・・・，λｎとするとき、式（１）のｌ（λ，θ），ｉ（λ），ｌｏｂｊ（λ）を成分とするＮ次のベクトルである（ただし、ｉ＝１，・・・，Ｎ）。以下、本明細書に示される全てのベクトルは、特に説明がない限り、波長λ１，・・・，λｎにおける値を成分とするＮ次のベクトルを示す。また、このＮ次のベクトル空間をスペクトル空間と呼ぶ。
　非特許文献１に記載されている方法は、赤，緑，青の３色に対応した波長の光の強度情報からなる３次元スペクトル空間上で、二色性反射モデルに従う観測値の分布を考えたときに、特に観測値がＴ字型に分布することを仮定し、そのような仮定に基づいて照明の分光特性を観測値から推定する。
　例えば、単一光源下において、プラスチックに代表される等方性反射特性を持つ、滑らかな表面の物体を観測する場合を考える。このような場合、角度ベクトルθが変化すると、鏡面反射量が０とみなせる領域では拡散反射量は変動する。一方、鏡面反射量が有意となる領域では拡散反射量はほぼ変動しない。その結果、観測値は３次元色空間で図１０に示すようにＴ字型に分布する。
　図１０は、非特許文献１で仮定されている観測値Ｌ（θ）の３次元色空間上での分布を模式的に示す模式図である。非特許文献１に記載されている方法では、３次元色空間上で観測値Ｌ（θ）がＴ字型に分布すると仮定することで、鏡面反射成分と拡散反射成分の分離を行っている。しかし、この仮定は単一光源下において等方性反射特性を持つ状況以外の状況下では必ずしも成り立たない。例えば、波打つ水面などのように複雑な表面形状を持つ物体では、２つの反射成分の量は同時に変動する。すると、観測値Ｌ（θ）は照明の分光特性を表すベクトルＩと拡散反射光の分光特性を表すベクトルＬｏｂｊが張る２次元平面上に分布するが、その分布形状は必ずしもＴ字型とはならない。したがって、非特許文献１に記載されている方法は、滑らかな表面の物体を観測する場合以外の場合には、鏡面反射成分と拡散反射成分を正しく分離できず、照明を推定できないという問題がある。
　非特許文献２には、このような反射成分の分離問題を回避して照明の分光特性を推定する方法が記載されている。非特許文献２に記載されている方法は、３次元色空間が１次元の明度と２次元の色度からなる空間に変換できることを利用している。このことを利用すると、赤緑青の３波長における分光特性を、色度を表す２次元平面（色度図と呼ぶ）上の点として表すことができる。非特許文献２に記載されている方法では、観測値が二色性反射モデルに従うことを仮定し、色度図に射影された観測値の分布を直線で近似する。また、照明を色度図上の曲線としてモデル化しておく。そして、色度図上で上述した観測値の分布を表す直線と照明モデルが表す曲線とが交差する点を求めることにより、観測時の照明の色度を推定する。推定された照明の色度は、観測時の照明の分光特性に相当する情報として出力される。
　非特許文献２に記載されている方法では、色度図上で観測値が直線近似すると仮定することによって、鏡面反射成分と拡散反射成分とを分離することなく、観測時の照明の分光特性を表す色度の情報を得ることができる。
　しかし、色度図は赤緑青の３次元色空間をもとに表される２次元平面である。色度図では、赤緑青の３波長からなるスペクトルの特性を表現することはできても、多波長の光の情報を含むスペクトルの特性を一意に表すことができない。そのため、非特許文献２に記載されている方法では、多波長の情報を含むマルチスペクトル画像を用いて照明の分光特性を推定する場合には、対応できないという問題がある。
　また、非特許文献２に記載されている方法では、観測値のモデルとして単純な二色性反射モデルを仮定することにより拡散反射と鏡面反射による色の分布特徴を色度図上の直線として近似する。しかし、撮影時の光環境によっては、拡散反射と鏡面反射による色の分布特徴が、色度図上の直線として近似しない場合があり、そのような場合には単純な二色性反射モデルに従うとの仮定だけでは照明の分光特性を正しく推定できないという問題がある。
　例えば、観測対象物体に対して、光源から直接発せられた光以外に壁や雲、空などで反射および散乱した間接的な光（以下、環境光と記す）が照射し、その照射量が無視できない場合、観測値は必ずしも上述したような単純な二色性反射モデルには従わない。このような場合、色度図上に観測値が直線的に分布しないため、非特許文献２に記載されている方法では照明の分光特性を推定することは困難である。
　本発明は、これらの課題に鑑みてなされたものであって、その目的は、撮影時の光環境や物体の表面形状に限定を加えることなしに、多波長の情報を含むマルチスペクトル画像から、照明の分光特性を精度よく推定できる照明推定装置、照明推定方法および照明推定プログラムを提供することである。
　本発明による照明推定装置は、マルチスペクトル画像から鏡面反射を含む物体の領域である物体領域を抽出する対象物体領域抽出手段と、物体領域における観測値のスペクトル空間上の広がり方の特徴である分布特徴として、観測値のスペクトル空間における分布を近似する部分空間を表す情報を推定する分布特徴推定手段と、分布特徴推定手段によって推定された分布特徴の中から、光環境によって予め定められている縮退次元数に応じて、用いる分布特徴を選択する次元縮退手段と、次元縮退手段によって選択された分布特徴によって表される部分空間の情報に基づいて、照明の分光特性を推定する照明推定手段とを備えたことを特徴とする。
　また、本発明による照明推定方法は、情報処理装置が、マルチスペクトル画像から鏡面反射を含む物体の領域である物体領域を抽出し、物体領域における観測値のスペクトル空間上の広がり方の特徴である分布特徴として、観測値のスペクトル空間における分布を近似する部分空間を表す情報を推定し、推定された分布特徴の中から、光環境によって予め定められている縮退次元数に応じて、用いる分布特徴を選択し、選択された分布特徴によって表される部分空間の情報に基づいて、照明の分光特性を推定することを特徴とする。
　また、本発明による照明推定プログラムは、コンピュータに、マルチスペクトル画像から鏡面反射を含む物体の領域である物体領域を抽出する対象物体領域抽出処理、物体領域における観測値のスペクトル空間上の広がり方の特徴である分布特徴として、観測値のスペクトル空間における分布を近似する部分空間を表す情報を推定する分布特徴推定処理、分布特徴推定処理で推定された分布特徴の中から、光環境によって予め定められている縮退次元数に応じて、用いる分布特徴を選択する次元縮退処理、および次元縮退処理で選択された分布特徴によって表される部分空間の情報に基づいて、照明の分光特性を推定する照明推定処理を実行させることを特徴とする。
　本発明によれば、撮影時の光環境や物体の表面形状に限定を加えることなしに、多波長の情報を含むマルチスペクトル画像から、照明の分光特性を精度よく推定できる。例えば、照明が環境光を含んでいる場合や観察対象物体の表面が滑らかでない場合であっても、多波長の情報を含むマルチスペクトル画像から、照明の分光特性を精度よく推定できる。
第１の実施形態の照明推定装置の構成例を示すブロック図である。 第１の実施形態の照明推定装置の動作の一例を示すフローチャートである。 第１の実施形態による照明推定方法を表す概念図である。 第２の実施形態の照明推定装置の構成例を示すブロック図である。 第２の実施形態の照明推定装置の動作の一例を示すフローチャートである。 屋外曇天環境下における水面を撮影した画像から得られる観測値のスペクトル空間上の分布の様子を表す概念図である。 観測値の分布と分布特徴を表すベクトルとの関係の一例を示す概念図である。 観測値の分布の一例を、波長を次元にして示す説明図である。 本発明による照明推定装置の最小の構成例を示すブロック図である。 非特許文献１で仮定されている観測値の３次元色空間上での分布を模式的に示す模式図である。
　実施形態１．
　以下、本発明の実施形態について図面を参照して説明する。図１は、本発明の第１の実施形態の照明推定装置の構成例を示すブロック図である。図１に示す照明推定装置１００は、画像読込部１０１と、対象物体領域抽出部１０２と、分布特徴推定部１０３と、次元縮退部１０４と、照明推定部１０５と、照明情報記憶部１０６とを備えている。
　画像読込部１０１は、撮影装置２０によって撮影された画像を読み込む。
　対象物体領域抽出部１０２は、画像読込部１０１によって読み込まれた画像から鏡面反射成分をもつ物体の領域（以下、物体領域という。）を抽出する。物体領域の抽出方法は、既存の方法を用いることができる。
　分布特徴推定部１０３は、対象物体領域抽出部１０２が抽出した物体領域の各画素から得られる観測値をもとに、観測値のスペクトル空間内での広がり方の特徴を、分布特徴として推定する。分布特徴推定部１０３は、例えば、観測値がＮ次元のスペクトル空間に分布をもつ場合に、観測値のスペクトル空間における分布を次元別の部分空間に近似した結果得られる該部分空間を張る特徴ベクトルを分布特徴として抽出してもよい。また、分布特徴推定部１０３は、例えば、観測値の集合における主成分ベクトルを分布特徴として抽出してもよい。また、分布特徴推定部１０３は、分布特徴を出力する際に、当該分布特徴として抽出された各次元の特徴ベクトルまたは主成分ベクトルを固有値の大きい順に並び替えた上で出力してもよい。
　次元縮退部１０４は分布特徴推定部１０３によって抽出された分布特徴から、光環境によって決まる縮退次元数に応じて、利用する分布特徴を選択する。これにより、スペクトル空間内における観測値の分布を近似する部分空間の次元を決定する。
　照明情報記憶部１０６は、照明推定部１０５が用いる照明のモデルを構成するために必要な情報を記憶する。例えば、照明モデルに用いるパラメータなどを記憶する。照明のモデルは特に限定されないが、相関色温度等観測物体に依存しない物理量に基づいて照明の分光特性を表現するモデルであることが好ましい。
　照明推定部１０５は、次元縮退部１０４によって選択された分布特徴が表す、縮退された次元数による部分空間と、照明情報記憶部１０６に記憶された情報をもとに構成された照明モデルとを用いて、撮影時の照明の分光特性を推定する。推定された分光特性は、例えば出力装置３０を介して出力される。
　本実施形態において、画像読込部１０１、対象物体領域抽出部１０２、分布特徴推定部１０３、次元縮退部１０４および照明推定部１０５は、例えばプログラムに従って動作するＣＰＵによって実現される。また、照明情報記憶部１０６は、例えば記憶装置によって実現される。
　照明推定装置１００は、例えば、プログラムに従って動作するＣＰＵ（Central Processing Unit）と、各種記憶装置（ハードディスクドライブ、不揮発性メモリ、揮発性メモリ、ＳＳＤ（Solid State Drive）等）と、撮影装置２０や出力装置３０との通信インタフェースとを備えた情報処理装置であってもよい。なお、図１には、照明推定装置１００と撮影装置２０と出力装置３０とを別々の装置として示しているが、照明推定装置１００が、撮影装置２０と出力装置３０またはこれらのいずれかを備える構成であってもよい。また、図１には、１つの装置が画像読込部１０１から照明推定部１０５までを備える構成が示されているが、これらの一部が別の情報処理装置に実装される構成であってもよい。なお、その場合、各情報処理装置間が通信可能に接続されているものとする。
　図２は、本実施形態の照明推定装置１００の動作の一例を示すフローチャートである。図２に示す例では、まず、画像読込部１０１が撮影装置２０によって撮影された画像を読み込む（ステップＳ１０１）。次いで、対象物体領域抽出部１０２は、画像読込部１０１によって読み込まれた画像から鏡面反射成分をもつ物体の領域を抽出する（ステップＳ１０２）。
　次いで、分布特徴推定部１０３は、対象物体領域抽出部１０２が抽出した物体の領域から得られる観測値をもとに、観測値のスペクトル空間内での広がり方の特徴を、分布特徴として推定する（ステップＳ１０３）。
　次いで、次元縮退部１０４は、分布特徴推定部１０３が推定した分布特徴から、光環境によって決まる縮退次元数に応じて、利用する分布特徴を選択する（ステップＳ１０４）。
　次いで、照明推定部１０５は、照明情報記憶部１０６に記憶されている情報を読み込み、照明モデルを構築する（ステップＳ１０５）。なお、ステップＳ１０５の動作は予めまたは上記動作と並列に行っていてもよい。
　そして、照明推定部１０５は、次元縮退部１０４によって選択された分布特徴が表す、部分空間と、照明情報記憶部１０６に記憶された情報をもとに構成された照明モデルとを用いて、照明の分光特性を推定する（ステップＳ１０６）。
　以下、具体例を用いて本実施形態の動作を説明する。
　例えば、波打つ水面のように表面形状が複雑な物体を撮影したとする。表面形状が複雑な物体の場合、その反射光は鏡面反射量と拡散反射量とが同時に変動する。結果として、観測値は、照明の分光特性を表すベクトルＩと拡散反射光の分光特性を表すベクトルＬｏｂｊが張る２次元平面上に任意の形状で分布することが考えられる。
　以下では、このような観測スペクトルが得られる環境下において、撮影されたマルチスペクトル画像から観測される波長が赤緑青を表す３波長でなくとも、照明の分光特性を精度よく推定する例を説明する。また、その過程で、屋外環境のように、照明に含まれる環境光が無視できない場合でも、撮影されたマルチスペクトル画像から照明の分光特性を精度よく推定する例についても説明する。
　本例において、分布特徴推定部１０３は、鏡面反射成分を有する対象物体の領域から得られる観測値を用いて、観測値のＮ次元空間内での広がり方の特徴を抽出する。例えば、分布特徴推定部１０３は、観測値が原点を含む空間に分布することを仮定し、原点を含みかつ観測値の分布する空間を張る特徴的なベクトルｖ１，ｖ２，・・・，ｖＮを抽出する。
　これらのベクトルは、観測値の集合をもとに算出でき、対象物体領域に属するＭ個の画素におけるＮ個の波長からなる観測値の集合をＮ行Ｍ列の行列Ｘとして表すとき、ＸＸＴの固有ベクトルとして表せる。
　加えて、以下の式（３）に示すように、これら固有ベクトルを与える固有値γ１，γ２，・・・，γＮが大きい順にｖ１，ｖ２，・・・，ｖＮとすると、添え字の値が小さいほど観測値の広がり方の特徴をよく表す特徴ベクトルとなる。
Figure JPOXMLDOC01-appb-M000003
　なお、ｄはＮ次元の単位ベクトルを表す。行列Ｘからγｉ（ｉ＝１，・・・，Ｎ）およびｖｉ（ｉ＝１，・・・，Ｎ）を求める方法については、固有値問題のどのような解法を用いてもよい。例えば、ＱＲ法を用いて解くことができる。
　また、分布特徴推定部１０３は、上記以外の方法として、例えば観測値の集合Ｘに対し主成分分析を行い、得られた第一主成分ベクトル，第二主成分ベクトル，・・・，第Ｎ主成分ベクトルを順に、特徴ベクトルｖ１，ｖ２，・・・，ｖＮとしてもよい。
　次元縮退部１０４は、分布特徴推定部１０３で分布特徴として推定された、観測値の分布を近似する空間を張る特徴ベクトルｖ１，ｖ２，・・・，ｖＮから、想定する光環境によって決まる縮退次元数Ｐに応じて、利用する特徴ベクトルを選択する。ここでは、観測値の広がり方の特徴をよく表している順に、次元数Ｐまでの次元の特徴ベクトルを利用するとして、特徴ベクトルｖ１，ｖ２，・・・，ｖＰを選択する。
　縮退次元数Ｐは、撮影時の光環境に応じた観測値の分布がよく表れるスペクトル空間内の部分空間の次元数、より具体的には、光環境に応じた観測モデルを構成するベクトル成分の数と同じ値として決める。以下に示す例では、観測モデルとして、二色性反射モデルを基礎とするモデルを用いた。すなわち、二色性反射モデルのように鏡面反射成分と拡散反射成分の２種類の反射成分を用いて観測値を表現するモデルを用いた。ただし、非特許文献１に記載されている二色性反射モデルとは異なり、反射光として環境光による反射も考慮した。なお、本実施形態で用いる観測モデルは少なくとも照明の分光特性を特定できる成分を用いて観測値が表現されていればよく、必ずしも二色性反射モデルを基礎としなくてもよい。
　観測モデルを構成するベクトル成分の数は、観測モデルが想定する光環境によって異なる。例えば、その光環境において、異なる分光特性を持つ照明光（環境光を含む）の数や、観測物体における鏡面反射成分と拡散反射成分の有無に依存する。そのため、予め照明光の数や各反射成分の有無といった観点から複数の光環境を想定しておき、それらの想定内容に応じて光環境ごとの縮退次元数Ｐを設定しておいてもよい。その場合、例えば画像を入力するオペレータがその画像から予想される光環境を指定することにより、該光環境に応じた縮退次元数Ｐが設定されるようにしてもよい。また、オペレータが直接縮退次元数を指定することも可能である。
　いずれの場合においても、縮退次元数Ｐには、光環境に応じて１からＮまでの適切な値が設定されるものとする。光環境に応じた縮減次元数Ｐおよび選択される分布特徴について以下に二つの例を示す。例えば、観測値が上述の式（２）に示す二色性反射モデルで表せるような光環境を想定する場合、縮退次元数Ｐ＝２として、分布特徴推定部１０３で推定された分布特徴から２つの特徴ベクトルｖ１，ｖ２を選択する。
　これは、本例の光環境に応じた観測モデル、すなわち式（２）に示すモデルにおいて観測値が、照明の分光特性Ｉと物体の反射光の分光特性Ｌｏｂｊの２つのベクトル成分によって構成され、この２つのベクトルが張るＮ次元のスペクトル空間における２次元平面上に分布するためである。本実施形態の照明推定部１０５では、撮影時の照明の分光特性Ｉが、特徴ベクトルｖ１，ｖ２が張る２次元平面上のベクトルとして表せることを利用する。
　また、他の例として、照明に空からの一様な環境光すなわち天空光が含まれ、その量が無視できない光環境を考える。このような光環境の場合は、縮退次元数Ｐ＝４として、分布特徴推定部１０３で推定された分布特徴から４つの特徴ベクトルｖ１，ｖ２，ｖ３，ｖ４を選択する。これは、本例の場合、光源の鏡面反射成分Ｉと拡散反射成分Ｌｏｂｊに、天空光の鏡面反射成分Ｉｓと拡散反射成分Ｌｏｂｊ＿ｓを加えた４つのベクトル成分が観測値に含まれており、この４つのベクトルが張るＮ次元のスペクトル空間における４次元空間に観測値が分布するとの仮定による。本実施形態の照明推定部１０５では、撮影時の照明の分光特性と同じ分光特性を有する光源の鏡面反射成分Ｉが、特徴ベクトルｖ１，ｖ２，ｖ３，ｖ４が張る４次元平面上のベクトルとして表せることを利用する。この方法を用いることで、照明に含まれる環境光が無視できない場合でも照明を精度よく推定できる。本例の光環境に応じた観測モデルの例を以下の式（４）に示す。
Figure JPOXMLDOC01-appb-M000004
　式（４）において、ｍｓｓ（θ）とｍｓｂ（θ）はそれぞれ、天空光の鏡面反射量と拡散反射量を表す。また、ＩｓとＬｏｂｊ＿ｓはそれぞれ、天空光の鏡面反射成分と拡散反射成分を表す。
　また、照明情報記憶部１０６は、照明のモデルを構成するために必要な情報を格納する。例えば、ＣＩＥ（Commission Internationale de l'Eclairage：国際照明委員会）が規定する昼光のモデルでは、昼光の分光特性は相関色温度Ｔｃをもとに決定される。この照明モデルでは、以下の式（５）に示すように、昼光の分光特性を、屋外で観測されたデータベースから求めた平均ベクトルＳｏと第一主成分ベクトルＳ１と第二主成分ベクトルＳ２の線形和として表す。
Figure JPOXMLDOC01-appb-M000005
　なお、式（５）における主成分ベクトルの重み係数Ｍ１，Ｍ２は、相関色温度Ｔｃを入力とする関数で決定される。例えば、このモデルを照明モデルとして用いる場合には、照明情報記憶部１０６は、照明情報として、平均ベクトルＳｏ、第一主成分ベクトルＳ１、第二主成分ベクトルＳ２と相関色温度Ｔｃから重み係数Ｍ１，Ｍ２を算出する際の関数パラメータを格納してもよい。
　そのような場合、照明推定部１０５では、選ばれた特徴ベクトルによって示される観測値の分布を近似する部分空間に最も近くなるような照明条件を、照明情報記憶部１０６に格納された情報から構築される照明モデルから選び出し、それによって特定される照明の分光特性Ｉestを推定値としてもよい。
　図３は、本実施形態による照明推定方法を表す概念図である。なお、図３には、観測値を近似する部分平面を張る特徴的なベクトルとして２つのベクトルｖ１，ｖ２が選ばれた場合の照明推定方法の概念図が示されている。照明推定部１０５は、図３に示すように、スペクトル空間において特徴ベクトルｖ１，ｖ２が張る２次元平面と、照明モデルによって示される照明のスペクトル空間上の近似曲線との交点を、照明の推定値としてもよい。
　以下、照明モデルとして、式（５）に示すＣＩＥの昼光モデルが与えられた場合の照明の分光特性の推定方法の具体例を示す。この場合、照明の推定問題は、以下の式（６）に示す問題を解くことと同じである。すなわち、相関色温度ＴＣを変え、与えられたＣＩＥの昼光モデルによって示される照明の分光特性ＩＣＩＥ（ＴＣ）と、選ばれた特徴ベクトルを基底ベクトルとするベクトル空間との距離を繰り返し計算し、この距離が最小となるときの昼光の分光特性を取り出すことで算出できる。
Figure JPOXMLDOC01-appb-M000006
　なお、式（６）におけるΣの項は上記部分空間内のベクトルであり、ある相関色温度ＴＣが与えられたときの照明モデルにより特定される照明の分光特性ＩＣＩＥ（ＴＣ）を最も近似するベクトルを表す。この条件を満たすａ１，ａ２，・・・，ａＰの値の導出については解析的に解くことができる。例えば、ＣＩＥの昼光モデルにより示される照明の分光特性ＩＣＩＥ（ＴＣ）、基底ベクトルｖ１，ｖ２，・・・，ｖＰが与えられれば、以下の式（７）に示すように算出できる。
Figure JPOXMLDOC01-appb-M000007
　なお、照明モデルはＣＩＥの昼光モデル以外の照明モデルを用いてよい。例えば、文献「R. E. Bird, C. Riordan, ”Simple Solar Spectral Model for Direct and Diffuse Irradiance on Horizontal and Tilted Planes at the Earth's Surface for Cloudless Atmospheres”,Journal of Applied Meteorology and Climatology, Vol25,Issue1, 1986.」（非特許文献３）に示すＢｉｒｄらによる昼光を表す物理モデルを用いることが考えられる。このモデルでは、場所や時刻から算出される太陽天頂角や、大気の状態を表すパラメータを用いて直射日光と大気散乱光をシミュレートし、晴天時の昼光を算出する。このモデルを用いる場合は、まず、シミュレート結果へ及ぼす影響の少ないパラメータには既定値を設定し、計測可能なパラメータはモデルに与える。次に、残った未知のパラメータを変えながら、基底ベクトルｖ１，ｖ２，・・・，ｖＰが張る部分空間との距離を最小化する昼光を選び出すことで照明の分光特性を推定できる。
　また、例えば文献「E. Kaneko, M. Toda, H. Aoki, M. Tsukada, ”Daylight spectrum model under weather conditions from clear sky to cloudy”, Pattern Recognition(ICPR), 2012.」（非特許文献４）に示す金子らによる曇天対応型の昼光のモデルを用いることが考えられる。このモデルでは、曇天時の昼光を、晴天時直射日光と晴天時大気散乱光の混合として表し、曇り具合に応じて混合比を変える。このモデルを用いる場合は、上記の混合比を変えながら、基底ベクトルｖ１，ｖ２，・・・，ｖＰが張る部分空間との距離を最小化する昼光を選び出すことで照明の分光特性を推定できる。
　以上のように、本実施形態によれば照明が環境光を含む場合や、観測物体の表面形状が複雑な場合であっても、多波長の情報を含むマルチスペクトル画像から、照明の分光特性を精度よく推定できる。なぜなら、本実施形態の照明推定方法では、鏡面反射成分と拡散反射成分を含んだままの状態で観測値の広がり方の特徴（分布特徴）を表すものとしてＮ個の特徴ベクトルを推定し、推定した特徴ベクトルのうちの縮退された次元数分の特徴ベクトルによって表される観測値の分布を近似する部分空間と、照明情報を基に構成される照明モデルとから照明を推定するため、照明が環境光を含む場合や観測物体の表面形状が複雑な場合に解くことが難しい鏡面反射成分と拡散反射成分との分離問題を回避して、照明を推定できるからである。
　また、本実施形態の照明推定方法では、まず分布特徴推定部１０３が観測値のスペクトル空間における分布特徴を抽出し、次いで次元縮退部１０４が光環境によって決まる縮退次元数に応じて、利用する分布特徴を選択する方法を採っているため、観測値に対して、色度平面という固定かつ二次元の部分空間ではなく、入力画像に応じた可変かつ任意次元の部分空間への射影を行ったものを基に照明を推定できる。したがって、多波長の光の情報を含むマルチスペクトル画像であっても、用いる情報の成分（波長等）を限定することなく、その入力画像に応じた部分空間を用いて照明の分光特性を推定できる。
実施形態２．
　次に、本発明の第２の実施形態について説明する。図４は、本発明の第２の実施形態の照明推定装置の構成例を示すブロック図である。図４に示す照明推定装置２００は、画像読込部１０１と、対象物体領域抽出部１０２と、分布特徴推定部２０３と、次元縮退部２０４と、照明推定部２０５とを備えている。なお、画像読込部１０１と対象物体領域抽出部１０２とについては、第１の実施形態と同様でよいため、同じ符号を付し説明を省略する。また、本実施形態では、照明情報記憶部１０６は不要である。
　分布特徴推定部２０３は、対象物体領域抽出部１０２が抽出した鏡面反射成分を含む物体領域の観測値をもとに、観測値のスペクトル空間内での広がり方の特徴を分布特徴として推定する。
　次元縮退部２０４は、分布特徴推定部２０３が推定した分布特徴から、光環境によって決まる縮退次元数に応じて、利用する分布特徴を選択する。
　照明推定部２０５は、次元縮退部２０４によって選択された分布特徴が表す、縮退された次元数による部分空間を用いて、照明の分光特性を推定する。なお、本実施形態の照明推定部２０５は、照明モデルを用いない。照明推定部２０５は、次元縮退部２０４によって選択された特徴ベクトルによって表される部分空間における観測値の分布から、照明の分光特性を推定する。
　したがって、次元縮退部２０４は、その部分空間における観測値の分布が、観測値に含まれる照明の分光特性をよく表すことになる次元の分布特徴を選択する。
　また、分布特徴推定部２０３は、そのような次元を少なくとも含むように分布特徴を抽出する。なお、具体的な実現方法としては、本実施形態においても同様、予め定められた方法に従って、それぞれ分布特徴の抽出処理、次元の縮退処理、照明の分光特性推定処理を実行すればよい。
　図５は、本実施形態の照明推定装置２００の動作の一例を示すフローチャートである。
　図５に示す例では、第１の実施形態と同様、まず画像読込部１０１が撮影装置２０によって撮影された画像を読み込む（ステップＳ１０１）。次いで、対象物体領域抽出部１０２は、画像読込部１０１によって読み込まれた画像から鏡面反射成分をもつ物体の領域を抽出する（ステップＳ１０２）。
　次いで、分布特徴推定部２０３は、対象物体領域抽出部１０２が抽出した鏡面反射成分を含む物体領域の観測値をもとに、観測値のスペクトル空間内での広がり方の特徴を分布特徴として出力する（ステップＳ２０３）。
　次いで、次元縮退部２０４は、分布特徴推定部２０３が推定した分布特徴から、光環境によって決まる縮退次元数に応じて、利用する分布特徴を選択する（ステップＳ２０４）。
　照明推定部２０５は、次元縮退部２０４によって選択された分布特徴が表す部分空間を用いて、照明の分光特性を推定する（ステップＳ２０５）。
　以下、具体例を用いて本実施形態の動作を説明する。以下では、説明のため、照明が環境光のみを含む場合の代表例として、屋外曇天環境下における水面を撮影した際の観測値を考える。
　このような場合の観測値の数理モデルの一例を、以下の式（８）に示す。式（８）において、ｍｓｓ（θ）は空からの環境光すなわち天空光の鏡面反射量を表し、ｍｓｂ（θ）は天空光の拡散反射量を表す。また、Ｉｓは天空光の鏡面反射成分を表し、Ｌｏｂｊ＿ｓは天空光の拡散反射成分を表す。
Figure JPOXMLDOC01-appb-M000008
　屋外曇天環境下では太陽が雲に隠れるので、照明光に光源である太陽からの直射光が含まれない。そのため、直射光の鏡面反射成分および拡散反射成分は無視できる。また、海面や湖面など自然界に存在する多くの水域では全天空の占める空の割合が高いこと、および空の状態が一様であることを仮定すると、照明の分光特性は、空からの環境光すなわち天空光の鏡面反射成分Ｉｓの分光特性そのものとなる。このように仮定すると、水面の観測光は、式（８）に示すように天空光の鏡面反射成分Ｉｓと天空光の拡散反射成分Ｌｏｂｊ＿ｓの和として表せる。特に、波打つ水面などのように表面の形状が複雑である物体を撮影した画像の場合などでは、２つの反射成分の量は同時に変動し、結果として２つのベクトルが張る２次元平面上に分布することが考えられる。
　図６は、本ケースすなわち屋外曇天環境下における水面を撮影した画像から得られる観測値のスペクトル空間上の分布の様子を表す概念図である。上記仮定の下で、観測値をＮ次元空間にプロットするとき、図６に示すような２次元平面を用いて観測値の分布を近似できる。またこのとき、天空光のベクトルＩｓは、上記２次元平面上のベクトルとなる。
　特に、曇天のような環境下では、観測値が天空光方向Ｉｓに広く分布しやすい。図７は、本ケースにおける観測値の分布と分布特徴を表すベクトルとの関係を示す概念図である。また、図８は、本ケースにおける観測値の分布の一例を、波長を次元にして示す説明図である。なお、図８に示す例は、鏡面反射量の変動が大きい場合の観測値の分布例となっている。
　図７に示すように、本例が想定するケースの場合、最も変動の大きい方向を表すベクトルＬ１は、観測値Ｌｃｌｏｕｄｙ（θ）の第一主成分ベクトルを表し、かつ天空光を表すベクトルＩＳと同じ方向を指すベクトルとなる。スペクトル空間上で同じ方向を指すということは、スペクトル形状が同じであることを意味する。すなわち、第一主成分ベクトルを求めることで、天空光すなわち照明の分光特性を推定できる。本例ではこの特徴を用いて照明の分光特性Ｉを推定する。
　以下、より具体的に説明すると、天空光のみを照明とする波打つ水面における観測値を入力とする場合、本実施形態の分布特徴推定部２０３は、観測値のスペクトル空間内での広がり方（変動）の特徴すなわち分布特徴を表す情報として、観測値の平均ベクトルおよび第一から第Ｎ主成分ベクトルＬ１，Ｌ２，・・・，ＬＮを推定する。次元縮退部２０４は、分布特徴推定部２０３が推定した分布特徴を表すベクトルのうち、第一主成分ベクトルＬ１を取り出す。照明推定部２０５は、次元縮退部２０４によって取り出されたベクトルＬ１を照明の分光特性ＩＳの推定値とする。
　以上のように、本実施形態によれば、照明モデルを用いなくても、所定の光環境下において撮影された多波長の光の情報を含むマルチスペクトル画像を基に照明の分光特性を推定できる。これは、本実施形態においても、観測値に対して、色度平面という固定かつ二次元の部分空間ではなく、入力画像に応じた可変かつ任意次元の部分空間への射影を行い、それによって部分空間を基に照明を推定するからである。
　次に、本発明による照明推定装置の最小構成について説明する。図９は、本発明による照明推定装置の最小の構成例を示すブロック図である。
　図９に示すように、本発明による照明推定装置は、最小の構成要素として、対象物体領域抽出手段５０１と、分布特徴推定手段５０２と、次元縮退手段５０３と、照明推定手段５０４とを備える。
　図９に示す最小構成の照明推定装置では、対象物体領域抽出手段５０１（例えば、対象物体領域抽出部１０２）は、マルチスペクトル画像から鏡面反射を含む物体の領域である物体領域を抽出する。
　分布特徴推定手段５０２（例えば、分布特徴推定部１０３、２０３）は、物体領域における観測値のスペクトル空間上の広がり方の特徴である分布特徴として、観測値のスペクトル空間における分布を近似する部分空間を表す情報を推定する。
　次元縮退手段５０３（例えば、次元縮退部１０４、２０４）は、分布特徴推定手段５０２によって推定された分布特徴の中から、光環境によって予め定められている縮退次元数に応じて、用いる分布特徴を選択する。
　照明推定手段５０４（例えば、照明推定部１０５、２０５）は、次元縮退手段５０３によって選択された分布特徴によって表される部分空間の情報に基づいて、照明の分光特性を推定する。
　従って、最小構成の照明推定装置によれば、物体領域の観測値の広がり方の特徴（分布特徴）を表すものとして推定した中から特に選択した、光環境に応じた縮退次元数の次元で観測値の分布を近似する部分空間に基づいて、照明の分光特性を推定するので、照明が環境光を含む場合や、観測物体の表面形状が複雑な場合であっても、多波長の情報を含むマルチスペクトル画像から照明の分光特性を精度よく推定できる。
　以上、これまで述べてきた各実施の形態は、本発明の好的な実施形態であり、上記実施の形態のみに本発明の範囲を限定するものではなく、本発明の要旨を逸脱しない範囲において種々の変更を施した形態での実施が可能である。
　なお、上述した説明からも明らかなように、各部をハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。この場合、プログラムメモリに格納されているプログラムで動作するプロセッサによって、上述した各実施の形態と同様の機能、動作を実現させる。また、上述した実施の形態の一部の機能のみをコンピュータプログラムにより実現することも可能である。
　また、上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
　（付記１）マルチスペクトル画像から鏡面反射を含む物体の領域である物体領域を抽出する対象物体領域抽出手段と、物体領域における観測値のスペクトル空間上の広がり方の特徴である分布特徴として、観測値のスペクトル空間における分布を近似する部分空間を表す情報を推定する分布特徴推定手段と、分布特徴推定手段によって推定された分布特徴の中から、光環境によって予め定められている縮退次元数に応じて、用いる分布特徴を選択する次元縮退手段と、次元縮退手段によって選択された分布特徴によって表される部分空間の情報に基づいて、照明の分光特性を推定する照明推定手段とを備えたことを特徴とする照明推定装置。
　（付記２）照明のモデルを構築するための各種パラメータの情報を記憶する照明情報記憶手段を備え、照明推定手段は、部分空間の情報と、照明情報記憶手段に記憶されている情報を基に構築された照明のモデルとに基づいて、照明の分光特性を推定する付記１に記載の照明推定装置。
　（付記３）分布特徴推定手段は、観測値の集合における主成分ベクトルを、分布特徴として推定する付記１または付記２に記載の照明推定装置。
　（付記４）分布特徴推定手段は、観測値のスペクトル空間における分布を、原点を含む部分空間として近似した結果得られる部分空間を張るベクトルを、分布特徴として推定する付記１または付記２に記載の照明推定装置。
　（付記５）情報処理装置が、マルチスペクトル画像から鏡面反射を含む物体の領域である物体領域を抽出し、物体領域における観測値のスペクトル空間上の広がり方の特徴である分布特徴として、観測値のスペクトル空間における分布を近似する部分空間を表す情報を推定し、推定された分布特徴の中から、光環境によって予め定められている縮退次元数に応じて、用いる分布特徴を選択し、選択された分布特徴によって表される部分空間の情報に基づいて、照明の分光特性を推定することを特徴とする照明推定方法。
　（付記６）情報処理装置が、予め照明のモデルを構築するための各種パラメータの情報を記憶しておき、部分空間の情報と、記憶されている情報を基に構築された照明のモデルとに基づいて、照明の分光特性を推定する付記５に記載の照明推定方法。
　（付記７）情報処理装置が、観測値の集合における主成分ベクトルを、分布特徴として推定する付記５または付記６に記載の照明推定方法。
　（付記８）情報処理装置が、観測値のスペクトル空間における分布を、原点を含む部分空間として近似した結果得られる部分空間を張るベクトルを、分布特徴として推定する付記５または付記６に記載の照明推定方法。
　（付記９）コンピュータに、マルチスペクトル画像から鏡面反射を含む物体の領域である物体領域を抽出する対象物体領域抽出処理、物体領域における観測値のスペクトル空間上の広がり方の特徴である分布特徴として、観測値のスペクトル空間における分布を近似する部分空間を表す情報を推定する分布特徴推定処理、分布特徴推定処理で推定された分布特徴の中から、光環境によって予め定められている縮退次元数に応じて、用いる分布特徴を選択する次元縮退処理、および次元縮退処理で選択された分布特徴によって表される部分空間の情報に基づいて、照明の分光特性を推定する照明推定処理を実行させるための照明推定プログラム。
　（付記１０）照明のモデルを構築するための各種パラメータの情報を記憶する照明情報記憶手段を備えたコンピュータに、照明推定処理で、部分空間の情報と、照明情報記憶手段に記憶されている情報を基に構築された照明のモデルとに基づいて、照明の分光特性を推定させる付記９に記載の照明推定プログラム。
　（付記１１）コンピュータに、分布特徴推定処理で、観測値の集合における主成分ベクトルを、分布特徴として推定させる付記９または付記１０に記載の照明推定プログラム。
　（付記１２）コンピュータに、分布特徴推定処理で、観測値のスペクトル空間における分布を、原点を含む部分空間として近似した結果得られる部分空間を張るベクトルを、分布特徴として推定させる付記９または付記１０に記載の照明推定プログラム。
　以上、実施形態を参照して本願発明を説明したが、本願発明は上記の実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０１３年６月１９日に出願された日本特許出願２０１３－１２８７５４を基礎とする優先権を主張し、その開示の全てをここに取り込む。
産業上の利用の可能性
　本発明は、撮影時の情報として画像のみを用いて当該画像の撮影時の照明の分光特性を推定できるので、例えばマルチスペクトル画像を利用して該画像中の物体の種類や材質、状態などの様々な情報を高精度に把握する用途に好適に適用可能である。
　１００、２００　照明推定装置
　１０１　画像読込部
　１０２　対象物体領域抽出部
　１０３、２０３　分布特徴推定部
　１０４、２０４　次元縮退部
　１０５、２０５　照明推定部
　１０６　照明情報記憶部
　２０　撮影装置
　３０　出力装置
　５０１　対象物体領域抽出手段
　５０２　分布特徴推定手段
　５０３　次元縮退手段
　５０４　照明推定手段

Claims (10)

  1. 　マルチスペクトル画像から鏡面反射を含む物体の領域である物体領域を抽出する対象物体領域抽出手段と、
    　前記物体領域における観測値のスペクトル空間上の広がり方の特徴である分布特徴として、前記観測値のスペクトル空間における分布を近似する部分空間を表す情報を推定する分布特徴推定手段と、
    　前記分布特徴推定手段によって推定された分布特徴の中から、光環境によって予め定められている縮退次元数に応じて、用いる分布特徴を選択する次元縮退手段と、
    　前記次元縮退手段によって選択された分布特徴によって表される部分空間の情報に基づいて、照明の分光特性を推定する照明推定手段とを備えた
    　ことを特徴とする照明推定装置。
  2. 　照明のモデルを構築するための各種パラメータの情報を記憶する照明情報記憶手段を備え、
    　前記照明推定手段は、前記部分空間の情報と、前記照明情報記憶手段に記憶されている情報を基に構築された照明のモデルとに基づいて、照明の分光特性を推定する
    　請求項１に記載の照明推定装置。
  3. 　前記分布特徴推定手段は、観測値の集合における主成分ベクトルを、分布特徴として推定する
    　請求項１または請求項２に記載の照明推定装置。
  4. 　前記分布特徴推定手段は、観測値のスペクトル空間における分布を、原点を含む部分空間として近似した結果得られる前記部分空間を張るベクトルを、分布特徴として推定する
    　請求項１または請求項２に記載の照明推定装置。
  5. 　情報処理装置が、
    　マルチスペクトル画像から鏡面反射を含む物体の領域である物体領域を抽出し、
    　前記物体領域における観測値のスペクトル空間上の広がり方の特徴である分布特徴として、前記観測値のスペクトル空間における分布を近似する部分空間を表す情報を推定し、
    　推定された前記分布特徴の中から、光環境によって予め定められている縮退次元数に応じて、用いる分布特徴を選択し、
    　選択された前記分布特徴によって表される部分空間の情報に基づいて、照明の分光特性を推定する
    　ことを特徴とする照明推定方法。
  6. 　前記情報処理装置が、
    　予め照明のモデルを構築するための各種パラメータの情報を記憶しておき、
    　前記部分空間の情報と、前記記憶されている情報を基に構築された照明のモデルとに基づいて、照明の分光特性を推定する
    　請求項５に記載の照明推定方法。
  7. 　前記情報処理装置が、観測値の集合における主成分ベクトルを、分布特徴として推定する
    　請求項５または請求項６に記載の照明推定方法。
  8. 　前記情報処理装置が、観測値のスペクトル空間における分布を、原点を含む部分空間として近似した結果得られる前記部分空間を張るベクトルを、分布特徴として推定する
    　請求項５または請求項６に記載の照明推定方法。
  9. 　コンピュータに、
    　マルチスペクトル画像から鏡面反射を含む物体の領域である物体領域を抽出する対象物体領域抽出処理、
    　前記物体領域における観測値のスペクトル空間上の広がり方の特徴である分布特徴として、前記観測値のスペクトル空間における分布を近似する部分空間を表す情報を推定する分布特徴推定処理、
    　前記分布特徴推定処理で推定された分布特徴の中から、光環境によって予め定められている縮退次元数に応じて、用いる分布特徴を選択する次元縮退処理、および
    　前記次元縮退処理で選択された分布特徴によって表される部分空間の情報に基づいて、照明の分光特性を推定する照明推定処理
    　を実行させるための照明推定プログラム。
  10. 　照明のモデルを構築するための各種パラメータの情報を記憶する照明情報記憶手段を備えた前記コンピュータに、
    　前記照明推定処理で、前記部分空間の情報と、前記照明情報記憶手段に記憶されている情報を基に構築された照明のモデルとに基づいて、照明の分光特性を推定させる
    　請求項９に記載の照明推定プログラム。
PCT/JP2014/002683 2013-06-19 2014-05-22 照明推定装置、照明推定方法および照明推定プログラム Ceased WO2014203453A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015522499A JP6376128B2 (ja) 2013-06-19 2014-05-22 照明推定装置、照明推定方法および照明推定プログラム
US14/895,585 US9692993B2 (en) 2013-06-19 2014-05-22 Illumination estimation device, illumination estimation method, and storage medium
EP14814071.8A EP3013045B1 (en) 2013-06-19 2014-05-22 Illumination estimation device, illumination estimation method, and illumination estimation program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013128754 2013-06-19
JP2013-128754 2013-06-19

Publications (1)

Publication Number Publication Date
WO2014203453A1 true WO2014203453A1 (ja) 2014-12-24

Family

ID=52104207

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/002683 Ceased WO2014203453A1 (ja) 2013-06-19 2014-05-22 照明推定装置、照明推定方法および照明推定プログラム

Country Status (4)

Country Link
US (1) US9692993B2 (ja)
EP (1) EP3013045B1 (ja)
JP (1) JP6376128B2 (ja)
WO (1) WO2014203453A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022163423A1 (ja) 2021-01-29 2022-08-04 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP2022539281A (ja) * 2020-03-30 2022-09-08 深▲せん▼市海譜納米光学科技有限公司 検出対象物質のスペクトル情報を抽出する方法
US12329491B2 (en) 2018-07-31 2025-06-17 Deutsches Krebsforschungszentrum Stiftung des öffentlichen Rechts Method and system for augmented imaging in open treatment using multispectral information
WO2025126817A1 (ja) * 2023-12-12 2025-06-19 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、プログラム

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9792522B2 (en) * 2015-12-01 2017-10-17 Bloomsky, Inc. Weather information extraction using sequential images
US20190122397A1 (en) * 2016-07-12 2019-04-25 Mindshare Medical, Inc. Medical analytics system
CN111753407A (zh) * 2020-06-09 2020-10-09 中国人民解放军63921部队 一种水域照明系统的照度计算方法
KR102710265B1 (ko) * 2021-05-24 2024-09-27 에이아이루덴스 주식회사 딥러닝을 통한 광학 환경 제공 시스템 및 제공 방법
JP7700856B2 (ja) * 2021-07-01 2025-07-01 日本電気株式会社 学習システム、推定システム、学習方法、及びコンピュータプログラム
US20250232652A1 (en) * 2022-03-22 2025-07-17 Signify Holding B.V. Security system and method for estimation of intrusion by an object in a space

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001186540A (ja) * 1999-12-27 2001-07-06 Toppan Printing Co Ltd 測色変換係数算出方法と測色画像変換方法、及び、測色変換係数算出装置と測色画像変換装置、並びに、測色変換係数算出プログラム又は測色的撮像プログラムを記録したコンピュータ読み取り可能な情報記録媒体
JP2003209856A (ja) 2001-11-08 2003-07-25 Fuji Photo Film Co Ltd ホワイトバランス補正方法
JP2005311581A (ja) * 2004-04-20 2005-11-04 Konica Minolta Holdings Inc 画像入力システム、変換マトリックス算出方法、及びプログラム
JP2011022044A (ja) * 2009-07-16 2011-02-03 Canon Inc 光源推定装置および光源推定方法
JP2012237609A (ja) * 2011-05-10 2012-12-06 Canon Inc 色処理装置およびその方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7123844B2 (en) * 1999-04-06 2006-10-17 Myrick Michael L Optical computational system
US8644911B1 (en) * 2006-06-30 2014-02-04 Hypermed Imaging, Inc. OxyVu-1 hyperspectral tissue oxygenation (HTO) measurement system
US8538195B2 (en) * 2007-09-17 2013-09-17 Raytheon Company Hyperspectral image dimension reduction system and method
US9572494B2 (en) * 2008-08-12 2017-02-21 New Jersy Institute of Technology Method and apparatus for multi-spectral imaging and analysis of skin lesions and biological tissues
EP2473834B1 (en) * 2009-09-03 2021-09-08 National ICT Australia Limited Illumination spectrum recovery
US9593982B2 (en) * 2012-05-21 2017-03-14 Digimarc Corporation Sensor-synchronized spectrally-structured-light imaging

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001186540A (ja) * 1999-12-27 2001-07-06 Toppan Printing Co Ltd 測色変換係数算出方法と測色画像変換方法、及び、測色変換係数算出装置と測色画像変換装置、並びに、測色変換係数算出プログラム又は測色的撮像プログラムを記録したコンピュータ読み取り可能な情報記録媒体
JP2003209856A (ja) 2001-11-08 2003-07-25 Fuji Photo Film Co Ltd ホワイトバランス補正方法
JP2005311581A (ja) * 2004-04-20 2005-11-04 Konica Minolta Holdings Inc 画像入力システム、変換マトリックス算出方法、及びプログラム
JP2011022044A (ja) * 2009-07-16 2011-02-03 Canon Inc 光源推定装置および光源推定方法
JP2012237609A (ja) * 2011-05-10 2012-12-06 Canon Inc 色処理装置およびその方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
E. KANEKO; M. TODA; H. AOKI; M. TSUKADA: "Daylight spectrum model under weather conditions from clear sky to cloudy", PATTERN RECOGNITION (ICPR, 2012
EIJI KANEKO: "Daylight Spectrum Model under Weather Conditions from Clear Sky to Cloudy", IPSJ SIG NOTES, 2012 (HEISEI 24) NENDO ?1?, no. 32, 2 July 2012 (2012-07-02), VOLUME : 2012-CV1M-182, pages 1 - 6, XP032329600 *
GRAHAM D. FINLAYSON; GERALD SCHAEFER: "Solving for Colour Constancy using a Constrained Dichromatic Reflection Model", INTERNATIONAL JOURNAL OF COMPUTER VISION, 2001
GUDRUN J. KLINKER; STEVEN A. SHAFER; TAKEO KANADE: "A Physical Approach to Color Image Understanding", INTERNATIONAL JOURNAL OF COMPUTER VISION, 1990
R.E. BIRD; C. RIORDAN: "Simple Solar Spectral Model for Direct and Diffuse Irradiance on Horizontal and Tilted Planes at the Earth's Surface for Cloudless Atmospheres", JOURNAL OF APPLIED METEOROLOGY AND CLIMATOLOGY, vol. 25, no. 1, 1986
See also references of EP3013045A4

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12329491B2 (en) 2018-07-31 2025-06-17 Deutsches Krebsforschungszentrum Stiftung des öffentlichen Rechts Method and system for augmented imaging in open treatment using multispectral information
JP2022539281A (ja) * 2020-03-30 2022-09-08 深▲せん▼市海譜納米光学科技有限公司 検出対象物質のスペクトル情報を抽出する方法
JP7533966B2 (ja) 2020-03-30 2024-08-14 深▲せん▼市海譜納米光学科技有限公司 検出対象物質のスペクトル情報を抽出する方法
WO2022163423A1 (ja) 2021-01-29 2022-08-04 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法及び画像処理プログラム
WO2025126817A1 (ja) * 2023-12-12 2025-06-19 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、プログラム

Also Published As

Publication number Publication date
JP6376128B2 (ja) 2018-08-22
JPWO2014203453A1 (ja) 2017-02-23
US9692993B2 (en) 2017-06-27
EP3013045A4 (en) 2017-01-25
US20160119558A1 (en) 2016-04-28
EP3013045B1 (en) 2021-07-07
EP3013045A1 (en) 2016-04-27

Similar Documents

Publication Publication Date Title
JP6376128B2 (ja) 照明推定装置、照明推定方法および照明推定プログラム
AU2021221407B2 (en) Hyperspectral imager method and apparatus
US8670620B2 (en) Decomposing hyperspectral or multispectral image data
JP6943251B2 (ja) 画像処理装置、画像処理方法及びコンピュータ読み取り可能記録媒体
US8559714B2 (en) Post processing for improved generation of intrinsic images
JP6201507B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2014203459A (ja) ２つ以上の光源の組によって照光されたシーンの２つ以上の入力画像の組から照明基底画像の組を復元する方法
EP2776979B1 (en) Post processing for improved generation of intrinsic images
US8428352B1 (en) Post processing for improved generation of intrinsic images
AU2022396941B2 (en) Illumination spectrum recovery
JP7059930B2 (ja) 画像処理装置および画像処理方法
JP2020091256A (ja) 処理装置、撮像装置、処理方法、およびプログラム
JP6023653B2 (ja) 照明光色推定装置、照明光色推定方法及びプログラム
JP6200821B2 (ja) 林相解析装置、林相解析方法及びプログラム
US20170337709A1 (en) Method to determine chromatic component of illumination sources of an image
Widipaminto et al. Roof Materials Identification Based on Pleiades Spectral Responses Using Specular Correction
Melnikova LANDSAT IMAGE PROCESSING AND CLASSIFICATION IN IDRISI SELVA

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14814071

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015522499

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2014814071

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14895585

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE