WO2013145388A1 - 階調補正方法、イプシロンフィルタの閾値決定装置またはその方法 - Google Patents

階調補正方法、イプシロンフィルタの閾値決定装置またはその方法 Download PDF

Info

Publication number
WO2013145388A1
WO2013145388A1 PCT/JP2012/076108 JP2012076108W WO2013145388A1 WO 2013145388 A1 WO2013145388 A1 WO 2013145388A1 JP 2012076108 W JP2012076108 W JP 2012076108W WO 2013145388 A1 WO2013145388 A1 WO 2013145388A1
Authority
WO
WIPO (PCT)
Prior art keywords
value
threshold value
gradation
luminance
epsilon filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2012/076108
Other languages
English (en)
French (fr)
Inventor
玲央 安倍
政史 中尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Eizo Corp
Original Assignee
Eizo Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eizo Corp filed Critical Eizo Corp
Priority to RU2014137567A priority Critical patent/RU2611005C2/ru
Priority to CN201280072052.9A priority patent/CN104246865B/zh
Priority to US14/389,611 priority patent/US9336581B2/en
Priority to AU2012374716A priority patent/AU2012374716B2/en
Priority to EP12872830.0A priority patent/EP2833355B1/en
Priority to IN8974DEN2014 priority patent/IN2014DN08974A/en
Publication of WO2013145388A1 publication Critical patent/WO2013145388A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/407—Control or modification of tonal gradation or of extreme levels, e.g. background level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • H04N9/69—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits for modifying the colour signals by gamma correction
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/16—Calculation or use of calculated indices related to luminance levels in display data

Definitions

  • the present invention relates to Retinex processing, and more particularly, to gradation correction capable of achieving a balance between halo artifacts and Retinex processing.
  • Retinex processing is known as a technique for compressing the dynamic range by image processing.
  • the original image is divided into a reflected light component and an illumination light component using a low-pass filter, the illumination light component is corrected, and the corrected illumination light component and reflected light component are combined. Is output.
  • the edge reproduction is improved.
  • the filter size of the low-pass filter is increased, a halo artifact may occur at the boundary with the edge portion.
  • an edge-preserving low-pass filter has been proposed, and an ⁇ filter is known as one of them.
  • the ⁇ filter is provided with a threshold value ⁇ in advance, and among all the pixels in the fixed region, only a pixel whose pixel value is within the threshold value ⁇ with respect to the central pixel in the fixed region is adopted as a calculation target.
  • the threshold value ⁇ is reduced, halo artifacts can be reduced.
  • the stereoscopic effect that is the effect of the Retinex processing is also impaired.
  • Patent Document 1 discloses a technique for changing the threshold value ⁇ according to the edge strength in the target region. This is because the threshold value ⁇ is determined by focusing on the edge portion where the halo artifact occurs. Only.
  • An object of the present invention is to provide an epsilon filter threshold value determining apparatus or method based on the visibility characteristics and / or taking into account the influence of ambient light, and a gradation correction method, which solve the above problems. .
  • a gradation correction method is a gradation correction method for performing gradation correction based on Retinex theory in a display device, and each processing based on the maximum luminance and the minimum luminance for each display device.
  • An assigned luminance value assigned to a unit gradation is obtained, a threshold value in the epsilon filter is determined based on a luminance difference that can be distinguished in each processing unit gradation so as to have a monotonically increasing relationship with each assigned luminance value, and the epsilon
  • gradation correction is performed using the threshold value of the epsilon filter corresponding to the central representative value of the input image data.
  • gradation correction can be performed for each region.
  • the distinguishable luminance difference is determined based on the luminance difference correspondence data that can be distinguished for each luminance. Therefore, gradation correction according to human identification ability is possible.
  • the assigned luminance value of each processing unit gradation is obtained based on ambient light in addition to the maximum luminance and the minimum luminance. Therefore, it is possible to perform gradation correction in consideration of ambient light.
  • the relational expression of the threshold value in the epsilon filter in each processing unit gradation is dynamically changed based on the environmental light detected by the environmental light detection means. Therefore, even if the ambient light fluctuates, it is possible to perform gradation correction according to this.
  • a gradation correction apparatus is a gradation correction apparatus that performs gradation correction based on Retinex theory in a display device, and is provided with input image data of a predetermined region input to the epsilon filter.
  • An extraction unit that extracts a central representative value located in the vicinity of the center of the peripheral pixel region used in the epsilon filter calculation, stores a correspondence relationship between the central representative candidate value and the threshold value of the epsilon filter, and stores the central representative value Is given, a threshold value determination unit that determines a corresponding threshold value based on the correspondence relationship, and smoothing calculation is performed on the input image data of the input predetermined region using the threshold value determined by the threshold value determination unit.
  • An epsilon filter, and a gradation correction unit that performs gradation correction that performs gradation correction using an output value of the epsilon filter as an illumination light component.
  • gradation correction As described above, by varying the threshold value in the epsilon filter in each processing unit gradation according to the central representative value, appropriate gradation correction can be performed for each region.
  • the distinguishable luminance difference is determined based on the luminance difference correspondence data that can be distinguished for each luminance. Therefore, gradation correction according to human identification ability is possible.
  • An epsilon filter threshold value determination device is an extraction unit that extracts a central representative value located in the vicinity of the center of a peripheral pixel region used in an epsilon filter calculation, the central representative candidate value and the threshold value of the epsilon filter.
  • a correspondence relationship is stored, and when the central representative value is given, a threshold value determination unit that outputs a corresponding threshold value based on the correspondence relationship, and a correspondence relationship between the central representative candidate value and the threshold value of the epsilon filter Is a simple increase relationship determined based on a luminance difference that can be distinguished at a specific luminance value.
  • the central representative value is the luminance of the central pixel in the peripheral pixel region used in the epsilon filter calculation. Therefore, the peripheral pixels used for the epsilon filtering calculation can be dynamically changed based on the central representative luminance.
  • ⁇ (central representative value * ⁇ ) + ⁇ ⁇ and ⁇ are decimal numbers from 0 to 1, and the central representative value is normalized to 0 to 1.
  • peripheral pixels used for the epsilon filtering calculation can be dynamically changed according to the pixel characteristics of the region.
  • An epsilon filter threshold value variation apparatus includes an ambient light detection unit that detects ambient light, and the threshold determination unit includes the central representative candidate value and the epsilon according to the value of the ambient light.
  • a plurality of correspondence relationships with the threshold values of the filter are stored, and one of the plurality of correspondence relationships is selected based on the detected ambient light, and the corresponding threshold value is output. Therefore, the threshold value can be changed in accordance with changes in ambient light.
  • the epsilon filter threshold value determining method is configured to discriminate each processing unit gradation for each assigned luminance value of each processing unit gradation based on luminance difference correspondence data that can be distinguished for each luminance. A possible luminance difference is obtained, and based on the luminance difference that can be distinguished for each processing unit gradation, the relationship with the central representative value given to the epsilon filter is simply increased, so that each processing unit gradation is The assigned luminance and the threshold value of the epsilon filter are determined.
  • the threshold value can be varied from a high-luminance region in which halo artifacts are likely to be felt to a large value, and to a low-luminance region in which halo artifacts are likely to be felt if the threshold value is not small.
  • a gradation correction method is a gradation correction method for performing gradation correction based on Retinex theory in a display device, and each processing based on the maximum luminance and the minimum luminance for each display device.
  • An assigned luminance value assigned to a unit gradation is obtained, and a luminance difference that can be discriminated for each assigned luminance value in each processing unit gradation is obtained based on luminance difference correspondence data that can be distinguished for each luminance.
  • the luminance difference that can be distinguished in unit gradation is normalized by the difference between the maximum luminance and the minimum luminance of the display device to obtain a normalized distinguishable luminance difference, and thereby the normalized distinguishable luminance in each processing unit gradation A difference is obtained, and a threshold in the epsilon filter in each processing unit gradation is determined based on the normalized distinguishable luminance difference in each processing unit gradation, and the epsilon
  • gradation correction is performed using the threshold value of the epsilon filter corresponding to the central representative value of the input image data.
  • the distinguishable luminance difference is determined based on the luminance difference correspondence data that can be distinguished for each luminance. Therefore, gradation correction according to human identification ability is possible.
  • the “brightness value” uses the V value in the HSV color space, but it may take into account not only the V value itself but also a change in luminance due to the backlight and / or ambient illumination light. .
  • Center representative value refers to the brightness value of the pixel obtained in the vicinity of the center of the peripheral pixel region in the epsilon filter.
  • luminance is adopted as a value indicating brightness, but the present invention is not limited to this.
  • the luminance value of the central pixel is adopted, but the present invention is not limited to this, and includes the case of further considering the luminance of the peripheral pixels in addition to the central pixel. Furthermore, it includes a case where the weighted average is used instead of the simple average.
  • the luminance difference that can be distinguished for each luminance refers to a luminance difference that is just (minimum) identifiable by the average observer, and is a concept that includes JND (Just-Noticeable Difference).
  • JND index (hereinafter referred to as“ JNDI ”)” refers to a perceptual index determined so that one step in JNDI results in a luminance difference of JND. That is, it is an index that the average observer recognizes as “brightness” at regular intervals.
  • DICOM Digital Imaging and Communications in Medicine
  • GSDF grayscale standard display function
  • Determine permissible value based on JND indicates how far the JND value, which is a luminance difference that can be discriminated, is permissible, and is 10 JND in the following embodiment, but is not limited thereto. .
  • “Unit gradation” means one unit constituting each gradation. For example, it means one gradation in 256 gradations.
  • “Processing unit gradation” means a gradation for obtaining correspondence between the ⁇ value and unit gradation. In this embodiment, one unit gradation is adopted as the processing unit gradation. May be adopted.
  • the relationship of monotonous increase is a concept including not only a linear shape as in the embodiment but also non-linearity as shown in FIG. 3B.
  • FIG. 5 is a detailed block diagram of an illumination light separating unit 23.
  • FIG. 1 shows a schematic diagram of an image gradation adjusting apparatus including a gradation correcting apparatus according to the present invention.
  • the illumination light separation unit 23 corresponds to a gradation correction device.
  • HSV color space conversion unit 21 performs conversion from RGB color space to HSV color space.
  • the conversion from the HSV color space to the RGB color space is performed using a normal conversion formula.
  • HSV color space it is possible to eliminate the saturation reduction effect caused by the brightness adjustment in the YUV color space and to achieve a visually favorable brightness correction.
  • the illumination light separation unit 23 is an edge preserving LPF, and calculates a weighted average value of local brightness, that is, an illumination light component.
  • the histogram analysis unit 37 generates a 32-part gradation histogram based on the V component of the input image and the output image in the HSV space, and calculates the feature amount of the entire image.
  • the parameter automatic adjustment unit 39 determines the illumination light correction amount parameter based on the image feature amount obtained as a result of the histogram analysis.
  • the illumination light correction unit 25 corrects the low gradation region of the illumination light component from the parameter value of the illumination light correction amount given from the parameter automatic adjustment unit 39 and the illumination light component L given from the illumination light separation unit 23. .
  • the reflectance calculating unit 27 calculates and outputs the reflectance from the logarithmic difference between the illumination light component and the reflected light component (input V value) obtained by the illumination light separating unit 23.
  • the image re-synthesis unit 29 calculates a corrected image from the corrected illumination light component calculated by the illumination light correction unit 25 and the reflectance component calculated by the reflectance calculation unit 27.
  • the range correction unit 31 performs range correction of the V component of the pixel based on the parameter value of the range correction amount.
  • the illumination light correction unit 25 corrects local brightness, and the range correction unit 31 corrects brightness for the entire image. Thereby, the contrast in the whole image can be optimized.
  • the histogram analysis unit 37 generates a gradation histogram of 32 divisions from the V value corrected by the range correction unit 31, calculates the feature amount of the entire image, and gives it to the parameter automatic control unit 39.
  • the parameter automatic adjustment unit 39 determines a range correction amount parameter based on the given feature amount.
  • the saturation correction unit 35 corrects the saturation in the low gradation region. In this embodiment, either enhancement or reduction is selected as the saturation correction in the low gradation region.
  • the RGB color space conversion unit 33 performs conversion from the HSV color space to the RGB color space.
  • the line memory 3 stores the HSV input value and outputs the HSV value of the extraction range M * M pixel centered on the target pixel.
  • the target pixel luminance calculator 5 extracts the central representative value in the extraction range and gives it to the threshold value determiner 7.
  • the V value of the central pixel in the extraction range is used as it is as the central representative value.
  • the threshold value determiner 7 receives the central representative value and determines the threshold value ⁇ according to the following equation (1).
  • Threshold value ⁇ (central representative value * ⁇ ) + ⁇ (1)
  • the central representative value is 0 to 1 because it is the V value of the HSV color space.
  • the epsilon filter 12 uses the V value of the M * M pixel given from the line memory 3 and the threshold value ⁇ given from the threshold value determiner 7 to obtain only pixels whose pixel difference value from the target center pixel is less than ⁇ . Extract and perform filtering.
  • JND is known as a threshold value that allows a person to recognize the difference in brightness.
  • the JND value the luminance difference between the plurality of pixels.
  • Such a JND value is small at low luminance and large at high luminance. This is due to the human visual characteristic that it is sensitive to low luminance at low luminance and insensitive to high luminance.
  • the present inventor obtains a JND value with respect to pixel luminance for each unit gradation determined from the optical characteristics of each device, and determines the relationship between the central representative value and the threshold value ⁇ from the JND value, so that halo artifacts are obtained. We thought that correction by Retinex processing could be balanced.
  • FIG. 3A shows the relationship of the luminance L corresponding to each unit gradation (X) (0 to 1) of the obtained panel.
  • the corresponding JND value (identifiable luminance difference) is obtained for the luminance value in the unit gradation (X) (0 to 1) of the obtained panel.
  • the unit gradation (X) (0 to For each 1), a corresponding identifiable brightness is obtained.
  • the JNDI corresponding to the luminance is obtained from the equation (3), and the luminance corresponding to the JNDI is obtained from the equation (4).
  • the difference between the luminance corresponding to the target JNDI and the luminance corresponding to the next JNDI, that is, the JND value at the target luminance is obtained by the following equation (5).
  • JND value j2v (JND_INDEX + 1)? J2v (JND_INDEX) ...
  • JND or JNDI models include Barten model, Weber model (applicable in medium brightness region), DeVries-Rose model (applicable in low brightness region), or T.
  • Various mathematical models such as the Ji model have been proposed.
  • the Barten model is a physiological model of the visual system constructed by mathematical description. The conversion formula from luminance to Barten-JNDI can be approximated by Blume et al.
  • the JNDI may be a mathematical model or a numerical value found experimentally or empirically by sensory evaluation or the like.
  • a model more suitable for visual characteristics may be used.
  • the JND value (luminance difference) for each unit gradation is shown in FIG. 3B.
  • a pixel value corresponding to the JND value is obtained for each unit gradation of the panel, and this is set as a threshold ⁇ for each unit gradation.
  • the unit gradation of the panel corresponding to the JND value is obtained by the following formulas (6) and (7).
  • ⁇ _luminance JND / (Lmax-Lmin) (6)
  • ⁇ ⁇ _luminance ⁇ (1 / 2.2) (7)
  • the threshold ⁇ is obtained by performing inverse gamma correction on the JND value that can be identified for each unit gradation (X) (0 to 1) of the panel to the ratio of the maximum output value of the panel. As a result, the relationship shown in FIG. 3C is obtained.
  • FIG. 3D shows an approximation result obtained from a linear function using the least square method.
  • the smoothing process in the epsilon filter 12 shown in FIG. 2 is the same as the conventional one, but in the present embodiment, the weighted average is obtained by the following equation (8).
  • Equation 1 ⁇ means an operation on a pixel of the size of a low-pass filter (for example, an M * M pixel block, and f (x) and k (x) are expressed by Equation (9) and Equation (10).
  • f (xi, j) * Fi, j and k (xi, j) * Fi, j mean convolution operations.
  • the Gaussian filter coefficient F (i, j) may be arbitrarily determined.
  • the threshold value ⁇ is a variable value that varies based on the central representative value of the extraction range, as in the number (1). That is, the ⁇ Gaussian filter employed in the present embodiment can be said to be an adaptive ⁇ Gaussian filter with a central representative value.
  • the input pixel value I includes an AC component at pixel positions 0 to 350. In particular, large alternating current components are contained in the pixel positions 50 to 100, 150 to 200, and 250 to 300.
  • the pixel positions 50 to 100, 150 to 200, and 250 to 300 have an alternating current component having a larger amplitude as the peripheral luminance value is higher. That is, the area around the pixel positions 50 to 100 has the largest amplitude. Even in such a case, it is possible to effectively separate the alternating current component (reflectance component) and the direct current component (illumination light component) by adopting a filter using a JND that varies the threshold value.
  • the AC components are almost removed from the pixel positions 50 to 100, 150 to 200, and 250 to 300.
  • the reflectance R as shown in FIG. 4C, no ripple occurs at the end portions of the pixel positions 50 to 100, but there is a ripple at the end portions of the pixel positions 150 to 200 and 250 to 300. Has occurred.
  • FIG. 4E the halo artifact in the portion with the largest illuminance difference was reduced, but the halo artifact should occur in the portion with the small illuminance difference.
  • the illumination light component L is almost free of alternating current components at pixel positions 50 to 100, 150 to 200, and 250 to 300.
  • the reflectance R as shown in FIG. 5C, the pixel positions 50 to 100 and 150 to 200 have no ripple, but the pixel positions 250 to 300 have some ripples.
  • the illuminance difference from which the halo is removed can be reduced.
  • the illumination light component L has not been able to remove the AC component having a large amplitude at the pixel positions 50 to 100.
  • output data is blurred at pixel positions 50 to 100 having a high luminance value and a large amplitude.
  • ⁇ 0.7 * (center pixel value) +0.3 as a linear function of the center representative value.
  • FIG. 8C some ripples are generated at the ends of the pixel positions 50 to 100, 150 to 200, and 250 to 300.
  • FIG. 8E some halo is generated. This is because at this level, the three-dimensional effect can be emphasized and, as already explained, humans hardly feel it.
  • the threshold value ⁇ is a simple increase function with respect to the central pixel value. Accordingly, even if the halo artifact is present to some extent, the high-luminance region where it is difficult for humans to feel it may increase the threshold value, and the low-luminance region where the halo artifact is likely to be felt unless the threshold value is small may decrease the threshold value. it can.
  • the threshold ⁇ based on the V value of the center pixel of the low-pass filter
  • a different threshold ⁇ can be adopted for each region.
  • the threshold value ⁇ is linearly varied so that the V value of the center pixel of the low-pass filter increases as the value increases and decreases as the value decreases.
  • a value obtained by multiplying the corrected identifiable luminance difference by a predetermined coefficient in accordance with the allowable number of JND steps may be used as the threshold value of the epsilon filter in each unit gradation.
  • the brightness in the HSV color space is adopted as the pixel value, but the luminance in the HLS color space may be adopted. Moreover, you may employ
  • the threshold value is changed by the luminance of the central pixel of the low-pass filter.
  • the luminance of the central pixel not only the luminance of the central pixel but also the luminance of the surrounding pixels may be further considered.
  • an average value of 3 * 3 pixels including the central pixel may be adopted as the central representative value.
  • the weighted average may be obtained by increasing the weight as it is located in the center. Further, for example, it may be a weighted average of the entire area of the low-pass filter of 20 * 20 pixels.
  • the correspondence between the assigned luminance value assigned to the pixel and each unit gradation is determined by assuming ambient light. That is, the threshold value ⁇ is determined by obtaining the above equation (1) with the ambient light as an assumed fixed value.
  • the present invention is not limited to this, and an ambient light sensor 9 for measuring ambient light as shown in FIG. In this way, by using the detection value by the ambient light detection unit, the relational expression with the threshold ⁇ in unit gradation luminance can be dynamically changed.
  • the calculation in FIG. 3 may be performed each time, and the ⁇ value when the ambient light fluctuates from the minimum assumed value to the maximum assumed value is calculated in advance, and this correspondence table is calculated. You may make it refer.
  • the above units may be realized by either hardware or software.
  • the assigned luminance value assigned to the pixel and each unit gradation when determining the correspondence between the assigned luminance value assigned to the pixel and each unit gradation, and further considering the ⁇ characteristics, the assigned luminance value assigned to the pixel and the correspondence between each unit gradation.
  • correction for removing the ⁇ characteristic correction is performed on the identifiable luminance difference, and a correspondence between the identifiable luminance difference after the correction and each unit gradation is obtained. This is because the correspondence between the specific luminance and the JND in the luminance has already been obtained as a model in consideration of the ⁇ characteristics that JNDI requires. Therefore, after the ⁇ correction is performed once, the inverse ⁇ correction is performed. Yes. Therefore, such processing is optional.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Processing Of Color Television Signals (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

階調補正方法、イプシロンフィルタの閾値決定装置またはその方法
　この発明は、レティネックス処理に関し、特に、ハローアーチファクトとレティネックス処理によるバランスがとれる階調補正に関する。
　画像処理によってダイナミックレンジを圧縮する手法として、レティネックス処理（Ｒｅｔｉｎｅｘ処理）が知られている。レティネックス処理では、元の画像を、ローパスフィルタを用いて反射光成分と照明光成分に分け、照明光成分を補正する処理を行い、補正後の照明光成分と反射光成分とを合成したものを出力する。
　前記ローパスフィルタのフィルタサイズを小さくすると、エッジ再現は良好となる。一方、ローパスフィルタのフィルタサイズを大きくすると、エッジ部分との境界にハローアーチファクトが発生する場合がある。
　上記ハローアーチファクトを防止するために、エッジ保存型ローパスフィルタが提言され、その一つにεフィルタが知られている。εフィルタは、予め閾値εを設けておき、前記一定領域内の全画素のうち、前記一定領域内の中心画素との差分が閾値ε以内の画素値の画素だけを演算対象として採用する。
　かかる閾値εを小さくすればハローアーチファクトを少なくすることはできるが、一方、レティネックス処理の効果である立体感も損なわれる。
　このように、従来は、ローパスフィルタとしての効果を維持しつつ、かつ、ハローアーチファクトを視覚的には認識ができない程度に、調整することはできなかった。
　なお、特許文献１には、対象領域内のエッジ強度により、閾値εを変動させる技術が開示されているが、これは、ハローアーチファクトが発生するエッジ部分に着目して閾値εを決定するものにすぎない。
KONICA MINOLTA TECHNOLOGY REPORT. VOL.4,「広ダイナミックレンジ画像の高コントラスト化画像処理」http://www.konicaminolta.jp/about/research/technology_report/2007/pdf/introduce_011.pdf 特開２００３－８９３５号公報
　この発明は、上記問題を解決し、視感度特性に基づく、又は/及び環境光の影響を考慮したイプシロンフィルタの閾値決定装置またはその方法、さらに、階調補正方法を提供することを目的とする。
　(1)本発明にかかる階調補正方法は、表示装置における、レティネックス理論に基づく階調補正をおこなう階調補正方法であって、表示装置ごとの最大輝度および最小輝度に基づいて、各処理単位階調に割り当てられる割り当て輝度値を求め、前記各処理単位階調における弁別可能な輝度差に基づき、前記各割り当て輝度値と単調増加の関係となるようイプシロンフィルタにおける閾値を決定し、前記イプシロンフィルタに所定領域の入力画像データが与えられると、この入力画像データの中央代表値に対応するイプシロンフィルタの閾値を用いて、階調補正を行う。
　このように、前記各処理単位階調におけるイプシロンフィルタにおける閾値を決定することにより、領域毎に適切な階調補正が可能となる。また、前記識別可能輝度差は、前記輝度毎の弁別可能な輝度差対応データに基づいて決定されている。したがって、人間の識別能力に応じた階調補正が可能となる。
　(2)本発明にかかる階調補正方法は、前記最大輝度および前記最小輝度に加えて環境光に基づいて、各処理単位階調の前記割り当て輝度値を求める。したがって、環境光を考慮した階調補正が可能となる。
　(3)本発明にかかる階調補正方法は、環境光検出手段によって検出された環境光に基づいて、前記各処理単位階調における前記イプシロンフィルタにおける閾値の関係式を動的に変動させる。したがって、環境光が変動しても、これに応じた階調補正が可能となる。
　(4)本発明にかかる階調補正装置は、表示装置における、レティネックス理論に基づく階調補正をおこなう階調補正装置であって、前記イプシロンフィルタに入力される所定領域の入力画像データが与えられると、イプシロンフィルタ演算で用いる周辺画素領域の中央近辺に位置する中央代表値を抽出する抽出部、前記中央代表候補値とイプシロンフィルタの閾値との対応関係を記憶しており、前記中央代表値が与えられると、前記対応関係に基づき、対応する閾値を決定する閾値決定部、入力された所定領域の入力画像データについて、前記閾値決定部で決定された閾値を用いて、平滑化演算を行うイプシロンフィルタ、前記イプシロンフィルタの出力値を照明光成分として、階調補正を行う階調補正を行う階調補正部、を備えている。
　このように、前記各処理単位階調におけるイプシロンフィルタにおける閾値を前記中央代表値によって変動させることにより領域毎に適切な階調補正が可能となる。また、前記識別可能輝度差は、前記輝度毎の弁別可能な輝度差対応データに基づいて決定されている。したがって、人間の識別能力に応じた階調補正が可能となる。
　(5)本発明にかかるイプシロンフィルタの閾値決定装置は、イプシロンフィルタ演算で用いる周辺画素領域の中央近辺に位置する中央代表値を抽出する抽出部、前記中央代表候補値とイプシロンフィルタの閾値との対応関係を記憶しており、前記中央代表値が与えられると、前記対応関係に基づき、対応する閾値を出力する閾値決定部、を備え、前記中央代表候補値とイプシロンフィルタの閾値との対応関係は、特定の輝度値において弁別可能な輝度差に基づいて決定された単純増加関係である。
　したがって、前記中央代表値が大きい場合には、大きな閾値に、小さい場合には小さい閾値に変動させることができる。これにより、領域毎に適切なε演算が可能となる。
　(6)本発明にかかるイプシロンフィルタの閾値決定装置においては、前記中央代表値は、イプシロンフィルタ演算で用いる周辺画素領域における中央画素の輝度である。したがって、中央代表輝度に基づいて、イプシロンフィルタリング演算に用いる周辺画素を動的に変更することができる。
　(7)本発明にかかるイプシロンフィルタの閾値決定装置においては、前記中央代表候補値とイプシロンフィルタの閾値との対応関係は、下記式で表される。
　ε＝（中央代表値＊α）＋β
　αおよびβは、0から１の小数であり、前記中央代表値は０～１に正規化されている。
　したがって、領域の画素特性に応じてイプシロンフィルタリング演算に用いる周辺画素を動的に変更することができる。
　(8)本発明にかかるイプシロンフィルタの閾値変動装置においては、環境光を検出する環境光検出部を備え、前記閾値決定部は、前記環境光の値に応じた、前記中央代表候補値とイプシロンフィルタの閾値との対応関係を複数記憶しており、前記検出された環境光に基づいて、いずれかの複数の対応関係のうちのいずれかを選択して、対応する閾値を出力する。したがって、環境光が変化にあわせて、前記閾値を変動させることができる。
　(9)本発明にかかるイプシロンフィルタの閾値決定方法は、割り当てられた各処理単位階調の割り当て輝度値について、輝度毎の弁別可能な輝度差対応データに基づき、前記処理単位階調毎の弁別可能な輝度差を求め、前記処理単位階調毎の弁別可能な輝度差に基づいて、前記イプシロンフィルタに与えられる中央代表値との関係が単純増加関係となるように、処理単位階調毎の割り当て輝度と前記イプシロンフィルタの閾値を決定する。
　したがって、前記中央代表値が大きい場合には、大きな閾値に、小さい場合には小さい閾値に変動させることができる。これにより、前記閾値が比較的大きくても、ハローアーチファクトを感じやすい高輝度領域は前記閾値を大きく、前記閾値が小さくないとハローアーチファクトを感じやすい低輝度領域と、閾値を変動させることができる。
　(10)本発明にかかる階調補正方法は、表示装置における、レティネックス理論に基づく階調補正をおこなう階調補正方法であって、表示装置ごとの最大輝度および最小輝度に基づいて、各処理単位階調に割り当てられる割り当て輝度値を求め、輝度毎の弁別可能な輝度差対応データに基づき、前記各処理単位階調における、前記各割り当て輝度値について弁別可能な輝度差を求め、前記各処理単位階調における弁別可能な輝度差を、前記表示装置の最大輝度と最小輝度の差で正規化して正規化弁別可能輝度差を求め、これにより、前記各処理単位階調における正規化弁別可能輝度差を求め、前記各処理単位階調における前記正規化弁別可能輝度差に基づき、前記各処理単位階調におけるイプシロンフィルタにおける閾値を決定し、前記イプシロンフィルタに所定領域の入力画像データが与えられると、この入力画像データの中央代表値に対応するイプシロンフィルタの閾値を用いて、階調補正を行う。
　このように、前記各処理単位階調におけるイプシロンフィルタにおける閾値として、前記正規化識別可能輝度差を採用することにより、領域毎に適切な階調補正が可能となる。また、前記識別可能輝度差は、前記輝度毎の弁別可能な輝度差対応データに基づいて決定されている。したがって、人間の識別能力に応じた階調補正が可能となる。
　本明細書において「輝度値」とはHSV色空間におけるV値を採用したが、V値そのものだけでなく、バックライトによる輝度変化、およびまたは、周囲照明光等を考慮にいれるようにしてもよい。
　「中央代表値」とは、イプシロンフィルタにおける周辺画素領域の中央近傍で得られる画素の明るさの値をいう。下記実施形態においては、明るさを示す値として、輝度を採用したが、これに限定されない。また、下記実施形態では、中心画素の輝度値を採用したが、これに限定されず、中央画素に加えて、その周辺画素の輝度をさらに考慮する場合も含む。さらに、単純平均でなく、重み付け平均で求める場合も含む。
　「輝度毎の弁別可能な輝度差」とは、平均的観察者が丁度（最小）識別可能である輝度差をいい、ＪＮＤ（Just-NoticeableDifference）」を含む概念である。
　「ＪＮＤインデックス（以下、ＪＮＤＩという。）」とは、ＪＮＤＩにおける１ステップがＪＮＤである輝度差に帰着するように求められた知覚指数をいう。すなわち、平均的観察者が等間隔の「明るさ」として認識する指標をいう。ＤＩＣＯＭ（DigitalImagingandCommunicationsinMedicine）（PS3.14-1999；巻１４）ではBartenモデルを採用し、グレースケール標準表示関数（GrayscaleStandardDisplayFunction；以下、GSDFという。）として定義されている。
　「JNDを基準にして許容値を決定」とは、弁別できる輝度差であるJND値を基準として、どこまで許容するかを示し、下記実施形態では１０JNDとしたが、これに限定されるわけではない。
　「単位階調」とは、各階調を構成する1単位をいう。たとえば、２５６階調における1階調をいう。「処理単位階調」とは、本件ε値と単位階調との対応を求める階調をいい、本実施形態においては、処理単位階調として１単位階調を採用したが、複数単位階調を採用してもよい。
　「単調増加の関係」とは、実施形態のように線形である場合はもちろん、図３Ｂに示すような非線形も含む概念である。
画像階調調整装置のブロック図である。 照明光分離部２３の詳細ブロック図である。 JNDと画素値との関係を説明するための図である。 閾値ε＝０．７の場合の、入出力データを示す図である。 閾値ε＝０．３の場合の、入出力データを示す図である。 閾値ε＝０．１の場合の、入出力データを示す図である。 閾値εを入力画素値によって変動させた場合の、入出力データを示す図である。 閾値εを入力画素値によって変動させた場合の、入出力データを示す図である。 環境光センサを設けた場合の照明光分離部２３の詳細ブロック図である。
　以下、本発明における実施形態について、図面を参照して説明する。
（１．概要）
　図１に、本発明にかかる階調補正装置を含む画像階調調整装置の概要図を示す。この実施形態においては、照明光分離部２３が階調補正装置に該当する。
　HSV色空間変換部２１は、RGB色空間からHSV色空間への変換を行う。HSV色空間からRGB色空間 変換については、通常の変換式で行う。HSV色空間を用いることにより、YUV色空間による明るさ調整による彩度減少効果をなくし、視覚的に良好な明るさ補正を実現することができる。
　照明光分離部２３は、エッジ保存型LPFであり、局所的な明るさの加重平均値、すなわち、照明光成分の算出を行う。ヒストグラム解析部３７は、HSV空間における入力画像と出力画像のV成分に基づいた３２分割の階調ヒストグラムを生成し、画像全体の特徴量を計算する。パラメータ自動調整部３９は、ヒストグラム解析の結果得られた画像特徴量に基づき、照明光補正量のパラメータを決定する。
　照明光補正部２５は、パラメータ自動調整部３９から与えられた照明光補正量のパラメータ値および、照明光分離部２３から与えられる照明光成分Ｌから、照明光成分の低階調領域を補正する。
　反射率算出部２７は、照明光分離部２３が求めた照明光成分および反射光成分（入力V値）の対数差分から、反射率を求め、出力する。
　画像再合成部２９は、照明光補正部２５が演算した補正照明光成分と、反射率算出部２７が算出した反射率成分から、補正画像を演算する。レンジ補正部３１は、レンジ補正量のパラメータ値に基づき、画素のV成分のレンジ補正を行う。照明光補正部２５は局所的な明るさの補正を行い、レンジ補正部３１は画像全体に対する明るさの補正を行う。これより、画像全体におけるコントラストを最適化できる。
　ヒストグラム解析部３７は、レンジ補正部３１による補正後のV値から３２分割の階調ヒストグラムを生成し、画像全体の特徴量を計算し、パラメータ自動制御部３９に与える。パラメータ自動調整部３９は、与えられた特徴量に基づきレンジ補正量のパラメータを決定する。
　彩度補正部３５は、低階調領域における彩度を補正する。かかる低階調領域における彩度補正として、本実施形態においては、強調または低減のいずれかを選択させるようにした。 
　RGB色空間変換部３３は、HSV色空間からRGB色空間への変換を行う。
（２．詳細）
　図２を用いて、照明光分離部２３の詳細について説明する。
　ラインメモリ３は、HSV入力値を格納し、対象画素を中心とした抽出範囲M＊M画素のHSV値を出力する。注目画素輝度算出器５は、抽出範囲における中央代表値を抽出して、閾値決定器７に与える。本実施形態においては、中央代表値として、抽出範囲における中心ピクセルのV値をそのまま用いた。
　閾値決定器７は、前記中央代表値を受けて、下記式（１）により、閾値εを決定する。
　閾値ε＝（中央代表値＊α）＋β・・・式（１）
　中央代表値は、HSV色空間のＶ値なので、0～１である。本実施形態においては、下記に説明するようにして、α＝０．７、β＝０．３とした。
　イプシロンフィルタ１２は、ラインメモリ３から与えられたＭ＊Ｍ画素のV値と、閾値決定器７から与えられた閾値εを用いて、対象中心ピクセルとの画素差分値がε未満の画素だけを抽出して、フィルタリング処理を行う。
　上記式（１）の意義について、説明する。
　人が輝度の違いを認識できる閾値として、JNDが知られている。JNDの値（以下ＪＮＤ値という）より輝度差が小さい場合には、複数画素間の輝度差は、ほとんど気づかない。かかるJND値は、低輝度では小さく、高輝度では大きくなる。これは、輝度差に対して低輝度では敏感に、高輝度では鈍感となるという人間の視覚特性によるものである。
　本件発明者は、各装置の光学特性から決定される各単位階調について、画素輝度に対するJND値を求め、かかるJND値から、中央代表値と閾値εとの関係を決定すれば、ハローアーチファクトとレティネックス処理による補正のバランスがとれると考えた。
　具体的に説明する。例えば、液晶およびバックライトの光学特性として、パネルの最大輝度Lmax = 300 [cd/m^2]、パネルの最小輝度Lmin = 0.1 [cd/m^2]、ガンマ = 2.2、バックライト強度BL＝１（０～１に正規化）で、かつ、パネルの表面反射輝度（環境光）Latm = 30 [cd/m^2]と仮定すると、パネルの階調（X)（０～１に正規化）と単位階調ごとの輝度Lは、下記式（２）で求められる。
　L＝BL＊（Lmax－Lmin）＊（X)^2.2+Lmin+Latm　　・・式（２）
　得られたパネルの単位階調（X)（０～１）ごとに、対応する輝度Lの関係を、図３Ａに示す。
　つぎに、得られたパネルの単位階調（X)（０～１）における輝度値について、対応するJND値（識別可能な輝度差）を求める。
　このように、各単位階調の輝度について、当該輝度におけるJNDIに対応する輝度と、次のJNDIに対応する輝度との差分を計算することにより、このパネルの単位階調（X)（０～１）ごとに、対応する識別可能な輝度が得られる。
　本実施形態においては、式（３）により輝度に対応するＪＮＤＩを、式（４）によりＪＮＤＩに対応する輝度を求めた。
Figure JPOXMLDOC01-appb-M000001
　JNDI→輝度Lへの関係は下式の値を元に10のべき乗で求めることができる。
これをj2v(JNDI）と表す。
Figure JPOXMLDOC01-appb-M000002
　このとき、対象JNDIに対応する輝度と、次のJNDIに対応する輝度との差分、すなわち、対象輝度におけるJND値は、下記式（５）で求められる。
　 JND値 = j2v(JND_INDEX+1) ? j2v(JND_INDEX）・・・式(５)
　なお、JNDあるいはJNDIに関するモデルとしては、Bartenモデル、Weberモデル（中輝度領域で適用可能）、DeVries-Roseモデル（低輝度領域で適用可能）、あるいはT．Jiモデル等、様々な数理モデルが提案されている。Bartenモデルは、数学的記述によって構築された視覚系の生理学モデルである。輝度からBarten－JNDIへの変換式はBlumeらによる近似式を用いることができる。また、JNDIは、数理モデルによるものでも、官能評価等によって実験的又は経験的に見出された数値でもよい。さらに、特定のJNDIのみを用いるのではなく、より視覚特性に適合したモデルを用いるようにしてもよい。
　単位階調毎のJND値（輝度差）を図３Ｂに示す。
　つぎに、JND値に対応する画素値をパネルの単位階調ごとに求め、これを単位階調毎の閾値εとする。本実施形態においては、JND値に対応するパネルの単位階調を、下記式（６）（７）で求めた。
　ε_luminance = JND / (Lmax-Lmin) ・・・式（６）
　ε = ε_luminance ^ (1/2.2)　 ・・・式（７）
　なお、パネルの光学特性がγ=2.2とした場合の変換であり、かかるγについてはこれに限定されない。
　このように、パネルの単位階調（X)（０～１）毎の識別可能なJND値に、パネルの最大出力値との比率に逆ガンマ補正することにより、閾値εが求められる。これより図３Ｃに示すような関係が得られる。
　つぎに、ここから、最小２乗法を用いて、１次関数による近似結果を算出したものが、図３Ｄである。
　前記環境下において、1JNDを許容する場合、閾値εと単位階調毎の輝度の関係を示す一次関数は、α = 0.071, β = 0.031となる。
　かかる値を採用すると、領域毎に確実にハローアーチファクトを除去することはできる。
　ただ、本実施形態においては、後述するように、ほんの少しハローアーチファクトを残すことにより、視覚的には立体感が得られる階調補正が可能となるよう、10JNDを許容するとした。したがって、α=0.7、β= 0.3となる。
　図２に示すイプシロンフィルタ１２における平滑化処理は、従来と同様であるが、本実施形態においては、下記式（８）により、加重平均を求めるようにした。
Figure JPOXMLDOC01-appb-M000003
　式１において、Σはローパスフィルタのサイズの画素（例えば、Ｍ＊Ｍ画素のブロック全体に対する演算を意味し、f(x), k(x)は式（９）、式（１０）で表される。
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000005
　すなわち、画素xi,jの輝度と中央画素値CENTERの輝度との差の絶対値が、閾値よりも小さければ、f（xi,j)は画素xi,j の輝度となり、そうでなければ、f（xi,j)＝０となる。
　また、画素xi,jの輝度と中央画素値CENTERとの差の絶対値が、閾値よりも小さければ、k（xi,j)＝１とし、そうでなければ、k（xi,j)＝０となり、当該画素xi,jは、ローパスフィルタの演算対象とはならない。
　なお、f（xi,j)＊Fi,j　、k（xi,j)＊Fi,jはそれぞれたたみ込み演算を意味する。また、ガウシアンフィルタ係数 F(i,j) は任意に定めればよい。
　このように、本実施形態においては、数（１）のように、閾値εを、抽出範囲の中央代表値に基づいて変動させる変動型の値とした。すなわち、本実施形態において採用したεガウシアンフィルタは、中央代表値による適応型εガウシアンフィルタといえる。
　以下、閾値εを中央代表値に基づいて変動させた場合の効果について図４～図８を用いて説明する。
　図４～図８は、閾値εを変動させた場合の、入力画素値Ｉ、照明光成分Ｌ（εフィルタの出力値）、反射率Ｒ（＝Ｉ／Ｌ）、補正照明光成分Ｌ’、出力画素値Ｉ’（＝ＲＬ’）を、それぞれ示す図である。横軸が画素位置であり縦軸が画素値である。なお、これらの図では１次元で示しているが、２次元でも同様である。図４から図８において、入力画素値Ｉは、画素位置０～３５０に交流成分を含んでいる。特に、画素位置５０～１００，１５０～２００，２５０～３００に、大きな交流成分が含まれている。なお、画素位置５０～１００，１５０～２００，２５０～３００については、周辺輝度値が高いほど、大きな振幅をもつ交流成分を有する。すなわち、画素位置５０～１００のあたりが一番大きな振幅を有する。このような場合でも、JNDを用いた閾値が変動するフィルタを採用することにより、これらの交流成分（反射率成分）と直流成分（照明光成分）とを効果的に分離することができる。
　図４は、閾値ε＝０．７（固定値）とした場合である。この場合、図４Ｂに示すように、照明光成分Lは、画素位置５０～１００，１５０～２００，２５０～３００といずれも交流成分は、ほぼ取り去られている。これに対して、反射率Ｒについて、図４Ｃに示すように、画素位置５０～１００の端部についてはリップルは生じていないが、画素位置１５０～２００，２５０～３００の端部にはリップルが生じている。そして、この結果、図４Ｅに示すように、照度差の最も大きい部分のハローアーチファクトは軽減されたが、照度差が小さい部分に関してはハローアーチファクトが生じる 。
　図５は、閾値ε＝０．３（固定値）とした図４と比べて閾値を少し小さくした場合である。この場合、図４と同様に、照明光成分Lは、画素位置５０～１００，１５０～２００，２５０～３００といずれも交流成分は、ほぼ取り去られている。また、反射率Ｒについて、図５Ｃに示すように、画素位置５０～１００、１５０～２００についてはリップルは無しであるが、画素位置２５０～３００に多少、リップルが生じている。
　このように、閾値εの値を小さくすることにより、ハローが除去される照度差を小さくすることができる。
　図６は、閾値ε＝０．１（固定値）とした場合である。この場合、図４および図５と比べると、反射率Ｒについて、図６Ｃに示すように、リップルが存在しない。しかし、図６Ｂに示すように、照明光成分Lは、画素位置５０～１００について、大きな振幅をもつ交流成分を除去できていない。その結果、図６Ｅに示すように、輝度値が高くかつ振幅の大きな画素位置５０～１００において、出力データがなまっている。
　このように、閾値εを小さくしすぎると、本来のローパスフィルタとしての効果も低下する。
　図７に、中央代表値の一次関数ε＝０．５＊（中央画素値）として、閾値εを変化させた場合を示す。このように、中央代表値に応じて閾値εを変化させることにより、画素位置５０～１００、１５０～２００、２５０～３００について、リップルもなく、かつ、画素位置５０～１００のように振幅の大きな領域でも、補正照明光成分の分離を行うことができる。これによりローパスフィルタとしての効果を維持しながら、ハローアーチファクトをほぼ取り去ることができる。
　図８は、中央代表値の一次関数として、ε＝０．７＊（中央画素値）＋０．３とした場合である。図８Ｃに示すように、画素位置５０～１００、１５０～２００，２５０～３００の端部に多少のリップルが生じている。この結果、図８Ｅに示すように、多少のハローが生じている。これは、この程度であれば、立体感を強調でき、かつ、既に説明したように人間はほとんど感じないからである。
　このように、本実施形態においては、前記閾値εを中央画素値に対する単純増加関数としている。したがって、前記多少ハローアーチファクトが存在しても、人間がそれを感じにくい高輝度領域は前記閾値を大きく、前記閾値が小さくないとハローアーチファクトを感じやすい低輝度領域は、前記閾値を小さくすることができる。
　以上、説明したように、ローパスフィルタの中央画素のV値に基づいて上記閾値εを変更することにより、領域毎に異なる閾値εを採用することができる。また、ローパスフィルタの中央画素のV値が、大きくなれば大きく、小さくなれば小さくように線形に、閾値εを変動させている。これにより、ＪＮＤの技術的性質に応じた変動が可能となる。
　また、上記許容するJNDステップ数（本実施形態においては10JND）に応じて、上記式（１）を決定することにより、ハローアーチファクトとレティネックス処理のバランスのとれた階調補正が可能となる。また、閾値εと単位階調毎の輝度の関係を示す一次関数で定義することにより、α＝０、β＝１とすると、通常のガウシアンフィルタとなり、α＝１、β＝０とすると、中央画素の輝度値に応じて閾値εが動的に変化するのでローパスフィルタとしての効果を維持しつつ、ハローアーチファクトを軽減できる。
　このように、許容するJNDステップ数に応じて、前記補正後の識別可能輝度差に所定の係数をかけた値を、前記各単位階調におけるイプシロンフィルタの閾値とすればよい。
（３.他の実施形態）
　本実施形態においては、画素値として HSV色空間における明度を採用したが、HLS色空間における輝度を採用してもよい。また、ＲＧＢ値、ＹＵＶ値を採用してもよい。
　本実施形態においては、ローパスフィルタの中央画素の輝度で前記閾値を変動させるようにしたが、中央画素の輝度だけでなく、その周辺画素の輝度をさらに考慮するようにしてもよい。例えば、２０＊２０画素のサイズのローパスフィルタの場合に、中央画素を含む３＊３画素の平均値を中央代表値として、採用してもよい。この場合、中央に位置するほど重みを大きくした重み付け平均で求めるようにしてもよい。また、例えば、前記２０＊２０画素のローパスフィルタの全領域の重み付け平均であってもよい。
　なお、本実施形態においては、パネルの最大輝度および最小輝度に加えて、環境光を仮定することにより、前記画素に割り当てる割り当て輝度値と、各単位階調の対応を決定した。すなわち、環境光を仮定の固定値として、上記式（１）を求めて、閾値εを決定している。しかし、これに限定されず、図９に示すような、環境光を計測する環境光センサ９を設けて、閾値決定部７に与えるようにしてもよい。このように環境光検出部による検出値を用いることにより、単位階調輝度における閾値εとの関係式を動的に変更することもできる。
　この場合、その都度、図３における演算を行ってもよく、また、予め、環境光が、最小想定値から最大想定値まで変動した場合の、ε値を予め計算しておき、この対応テーブルを参照するようにしてもよい。
　上記各部については、ハードウェア、ソフトウェアのいずれで実現するようにしてもよい。
　また、本実施形態においては、前記画素に割り当てる割り当て輝度値と、各単位階調の対応を求める時に、さらに、γ特性を考慮して、画素に割り当てる割り当て輝度値と、各単位階調の対応を求めるとともに、前記識別可能輝度差に前記γ特性補正を取り除く補正を行い、この補正後の識別可能輝度差と前記各単位階調との対応を求めている。これは、JNDIがかかるγ特性を考慮して、前記特定の輝度と、その輝度におけるJNDの対応がモデルとして既に求められているので、一旦、γ補正してから、前記逆γ補正を行っている。したがって、かかる処理は任意である。
　本実施形態においては、図３Ｃに示すような前記補正後の識別可能輝度差と前記各単位階調における輝度値と、その輝度値における識別可能輝度差に基づいて決定したε値の関係から、両者の一次関数による近似式を求めている。しかし、かかる近似式ではなく、図３Ｃに示す関係を採用してもよい。具体的には、両者の関係を、ルックアップテーブル形式で記憶しておき、読み出すようにすればよい。このように閾値εを線形に変動させる場合に限られず、図３Ｃのようなεと単位階調輝度とが、単調増加関数の関係であればよい。その際、本実施形態においては、(Lmax-Lmin)で正規化したが、かかる正規化については限定されない。また、逆γ補正についても同様である。
　３　　　ラインメモリ
　５　　　注目画素輝度算出器
　７　　　閾値決定器
　９　　　環境光センサ
　１２　　イプシロンフィルタ
　

Claims (10)

  1. 　表示装置における、レティネックス理論に基づく階調補正をおこなう階調補正方法であって、
    　表示装置ごとの最大輝度および最小輝度に基づいて、各処理単位階調に割り当てられる割り当て輝度値を求め、
    　輝度毎の弁別可能な輝度差対応データに基づき、前記各処理単位階調における、前記各割り当て輝度値について弁別可能な輝度差を求め、
    　前記各処理単位階調における弁別可能な輝度差に基づき、前記各割り当て輝度値と単調増加の関係となるようイプシロンフィルタにおける閾値を求め、
    　前記イプシロンフィルタに所定領域の入力画像データが与えられると、この入力画像データの中央代表値に対応するイプシロンフィルタの閾値を用いて、階調補正を行うこと、
    　を特徴とする階調補正方法。
  2. 　請求項１の階調補正方法において、
    　前記最大輝度および前記最小輝度に加えて環境光に基づいて、各処理単位階調の前記割り当て輝度値を求めること、
    　を特徴とする階調補正方法。
  3. 　請求項２の階調補正方法において、
    　環境光検出手段によって検出された環境光に基づいて、前記各処理単位階調における前記イプシロンフィルタにおける閾値の関係式を動的に変動させること、
    　を特徴とする階調補正方法。
  4. 　表示装置における、レティネックス理論に基づく階調補正をおこなう階調補正装置であって、
    　前記イプシロンフィルタに入力される所定領域の入力画像データが与えられると、イプシロンフィルタ演算で用いる周辺画素領域の中央近辺に位置する中央代表値を抽出する抽出部、
    　前記中央代表候補値とイプシロンフィルタの閾値との対応関係を記憶しており、前記中央代表値が与えられると、前記対応関係に基づき、対応する閾値を決定する閾値決定部、
    　入力された所定領域の入力画像データについて、前記閾値決定部で決定された閾値を用いて、平滑化演算を行うイプシロンフィルタ、
    　前記イプシロンフィルタの出力値を照明光成分として、階調補正を行う階調補正を行う階調補正部、
    　を備えた特徴とする階調補正装置。
  5. 　レティネックス処理におけるイプシロンフィルタの閾値決定装置であって、
    　イプシロンフィルタ演算で用いる周辺画素領域の中央近辺に位置する中央代表値を抽出する抽出部、
    　前記中央代表候補値とイプシロンフィルタの閾値との対応関係を記憶しており、前記中央代表値が与えられると、前記対応関係に基づき、対応する閾値を出力する閾値決定部、
    　を備え、
    　前記中央代表候補値とイプシロンフィルタの閾値との対応関係は、特定の輝度値において弁別可能な輝度差に基づいて決定された単調増加関係であること、
    　を特徴とするイプシロンフィルタの閾値決定装置。
  6. 　請求項５のイプシロンフィルタの閾値変動装置において、
    　前記中央代表値は、イプシロンフィルタ演算で用いる周辺画素領域における中央画素の輝度であること、
    　を特徴とするイプシロンフィルタの閾値変動装置。
  7. 　請求項５または請求項６のイプシロンフィルタの閾値変動装置において、
    　前記中央代表候補値とイプシロンフィルタの閾値との対応関係は、下記式で表されること、
    　ε＝（中央代表値＊α）＋β
    　αおよびβは、0から１の小数であり、前記中央代表値は０～１に正規化されている、
    　を特徴とするイプシロンフィルタの閾値変動装置。
  8. 　請求項５～７のいずれかのイプシロンフィルタの閾値変動装置において、
    　環境光を検出する環境光検出部を備え、
    　前記閾値決定部は、前記環境光の値に応じた、前記中央代表候補値とイプシロンフィルタの閾値との対応関係を複数記憶しており、前記検出された環境光に基づいて、いずれかの複数の対応関係のうちのいずれかを選択して、対応する閾値を出力すること、
    　を特徴とするイプシロンフィルタの閾値変動装置。
  9. 　レティネックス処理におけるイプシロンフィルタの閾値決定方法であって、
    　割り当てられた各処理単位階調の割り当て輝度値について、輝度毎の弁別可能な輝度差対応データに基づき、前記処理単位階調毎の弁別可能な輝度差を求め、
    　前記処理単位階調毎の弁別可能な輝度差に基づいて、前記イプシロンフィルタに与えられる中央代表値との関係が単純増加関係となるように、処理単位階調毎の割り当て輝度と前記イプシロンフィルタの閾値を決定すること、
    　を特徴とするイプシロンフィルタの閾値決定装置。
  10. 　表示装置における、レティネックス理論に基づく階調補正をおこなう階調補正方法であって、
    　表示装置ごとの最大輝度および最小輝度に基づいて、各処理単位階調に割り当てられる割り当て輝度値を求め、
    　輝度毎の弁別可能な輝度差対応データに基づき、前記各処理単位階調における、前記各割り当て輝度値について弁別可能な輝度差を求め、
    　前記各処理単位階調における弁別可能な輝度差を、前記表示装置の最大輝度と最小輝度の差で正規化して正規化弁別可能輝度差を求め、これにより、前記各処理単位階調における正規化弁別可能輝度差を求め、
    　前記各処理単位階調における前記正規化弁別可能輝度差に基づき、前記各処理単位階調におけるイプシロンフィルタにおける閾値を決定し、
    　前記イプシロンフィルタに所定領域の入力画像データが与えられると、この入力画像データの中央代表値に対応するイプシロンフィルタの閾値を用いて、階調補正を行うこと、
    　を特徴とする階調補正方法。
PCT/JP2012/076108 2012-03-30 2012-10-09 階調補正方法、イプシロンフィルタの閾値決定装置またはその方法 Ceased WO2013145388A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
RU2014137567A RU2611005C2 (ru) 2012-03-30 2012-10-09 Способ коррекции градаций и устройство или способ определения порогового значения для эпсилон-фильтра
CN201280072052.9A CN104246865B (zh) 2012-03-30 2012-10-09 灰阶校正方法、ε滤波器的阈值决定装置和其方法
US14/389,611 US9336581B2 (en) 2012-03-30 2012-10-09 Method for correcting gradations and device or method for determining threshold of epsilon filter
AU2012374716A AU2012374716B2 (en) 2012-03-30 2012-10-09 Method for correcting gradations and device or method for determining threshold of epsilon filter
EP12872830.0A EP2833355B1 (en) 2012-03-30 2012-10-09 Gray-level correction method, threshold determination device for epsilon-filter, and method therefor
IN8974DEN2014 IN2014DN08974A (ja) 2012-03-30 2012-10-09

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012079738A JP5470415B2 (ja) 2012-03-30 2012-03-30 イプシロンフィルタの閾値決定方法およびローパスフィルタの係数決定方法
JP2012-079738 2012-03-30

Publications (1)

Publication Number Publication Date
WO2013145388A1 true WO2013145388A1 (ja) 2013-10-03

Family

ID=49258729

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/076108 Ceased WO2013145388A1 (ja) 2012-03-30 2012-10-09 階調補正方法、イプシロンフィルタの閾値決定装置またはその方法

Country Status (8)

Country Link
US (1) US9336581B2 (ja)
EP (1) EP2833355B1 (ja)
JP (1) JP5470415B2 (ja)
CN (1) CN104246865B (ja)
AU (1) AU2012374716B2 (ja)
IN (1) IN2014DN08974A (ja)
RU (1) RU2611005C2 (ja)
WO (1) WO2013145388A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013211662A (ja) * 2012-03-30 2013-10-10 Eizo Corp 階調補正装置またはその方法
WO2017085786A1 (ja) * 2015-11-17 2017-05-26 Eizo株式会社 画像変換方法及び装置

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2014397095B2 (en) * 2014-06-12 2018-07-05 Eizo Corporation Haze removal device and image generation method
WO2016013125A1 (ja) * 2014-07-25 2016-01-28 Eizo株式会社 映像変換方法、映像変換装置、映像変換用コンピュータプログラム、映像表示システム
US20160117993A1 (en) * 2014-10-22 2016-04-28 Pixtronix, Inc. Image formation in a segmented display
JP2016086347A (ja) * 2014-10-28 2016-05-19 三星ディスプレイ株式會社Ｓａｍｓｕｎｇ Ｄｉｓｐｌａｙ Ｃｏ．，Ｌｔｄ． 画像処理装置、画像処理方法、及びプログラム
CN106157904B (zh) * 2015-04-22 2018-07-03 深圳市巨烽显示科技有限公司 液晶显示器及其显示器自动校正方法和装置
CN104992419A (zh) * 2015-07-08 2015-10-21 北京大学深圳研究生院 基于jnd因子的超像素高斯滤波预处理方法
US10755673B2 (en) 2016-05-20 2020-08-25 Schepens Eye Research Institute Methods and systems for adjusting contrast in devices
CN107992182B (zh) 2017-12-05 2021-06-29 北京小米移动软件有限公司 显示界面图像的方法和装置
JP6970763B2 (ja) * 2018-02-14 2021-11-24 Eizo株式会社 表示システム及びプログラム
CN108428436B (zh) * 2018-05-08 2019-12-10 京东方科技集团股份有限公司 亮度补偿方法、亮度补偿装置、显示装置及存储介质
KR102453070B1 (ko) * 2018-06-05 2022-10-07 에이조 가부시키가이샤 화상 처리 장치 및 화상 처리 프로그램
CN109525847B (zh) * 2018-11-13 2021-04-30 华侨大学 一种恰可察觉失真模型阈值计算方法
US11800056B2 (en) 2021-02-11 2023-10-24 Logitech Europe S.A. Smart webcam system
US11800048B2 (en) 2021-02-24 2023-10-24 Logitech Europe S.A. Image generating system with background replacement or modification capabilities
WO2022193102A1 (zh) * 2021-03-15 2022-09-22 京东方科技集团股份有限公司 显示面板的漏光程度的确定方法、装置、系统及测试治具
CN116188282A (zh) * 2021-11-29 2023-05-30 中国移动通信有限公司研究院 图像增强方法、装置、电子设备及可读存储介质
CN116977939B (zh) * 2023-08-16 2025-12-05 江苏中农物联网科技有限公司 一种水产养殖智能监控系统
CN117405363B (zh) * 2023-12-14 2024-03-01 东南大学 Mini-LED分区背光显示器的光晕表征方法及系统
CN118762673B (zh) * 2024-09-05 2024-12-17 长春希达电子技术有限公司 Jnd系数取值范围方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0951532A (ja) * 1995-05-29 1997-02-18 Matsushita Electric Ind Co Ltd 歪み除去装置
JP2003008935A (ja) 2001-06-20 2003-01-10 Sony Corp 画像処理方法および装置
JP2006060792A (ja) * 2004-07-13 2006-03-02 Microsoft Corp ３ｄサブバンド符号化のための組み込み基本レイヤコーデック
JP2007281767A (ja) * 2006-04-05 2007-10-25 Fujitsu Ltd 画像処理装置、画像処理プログラムおよび画像処理方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69635101T2 (de) * 1995-11-01 2006-06-01 Canon K.K. Verfahren zur Extraktion von Gegenständen und dieses Verfahren verwendendes Bildaufnahmegerät
WO2001039495A1 (en) * 1999-11-25 2001-05-31 Matsushita Electric Industrial Co., Ltd. Method and apparatus for gradation correction, and video display
JP4208909B2 (ja) 2006-08-24 2009-01-14 株式会社東芝 画像処理装置と撮影装置
US8154628B2 (en) 2006-09-14 2012-04-10 Mitsubishi Electric Corporation Image processing apparatus and imaging apparatus and method
KR100879536B1 (ko) 2006-10-30 2009-01-22 삼성전자주식회사 영상의 화질 개선을 위한 방법 및 시스템
JP4281786B2 (ja) * 2006-11-20 2009-06-17 ブラザー工業株式会社 画像処理プログラムおよび画像処理装置
JP4746575B2 (ja) * 2007-03-16 2011-08-10 株式会社東芝 画像処理装置及びその方法
CN101102398B (zh) * 2007-07-26 2010-05-19 上海交通大学 全自动的实时数字图像处理增强系统
JP5012333B2 (ja) * 2007-08-30 2012-08-29 コニカミノルタアドバンストレイヤー株式会社 画像処理装置および画像処理方法ならびに撮像装置
JP4375464B2 (ja) * 2007-09-11 2009-12-02 三菱電機株式会社 ノイズ低減装置
KR20100099686A (ko) 2007-12-04 2010-09-13 소니 주식회사 화상 처리 장치 및 방법, 프로그램, 및 기록 매체
JP2009238009A (ja) * 2008-03-27 2009-10-15 Toshiba Corp 画像処理装置、及び方法
JP4585602B1 (ja) * 2009-09-18 2010-11-24 株式会社東芝 画像処理装置、表示装置及び画像処理方法
RU2412554C1 (ru) * 2010-01-25 2011-02-20 Учреждение Российской академии наук Институт физики полупроводников им. А.В. Ржанова Сибирского отделения РАН (ИФП СО РАН) Способ компенсации дефектных фоточувствительных элементов многоэлементного фотоприемника
CN101916431B (zh) * 2010-07-23 2012-06-27 北京工业大学 一种低照度图像数据处理方法及系统
CN102044070A (zh) * 2011-01-10 2011-05-04 北京师范大学 一种基于Retinex的非线性彩色图像增强方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0951532A (ja) * 1995-05-29 1997-02-18 Matsushita Electric Ind Co Ltd 歪み除去装置
JP2003008935A (ja) 2001-06-20 2003-01-10 Sony Corp 画像処理方法および装置
JP2006060792A (ja) * 2004-07-13 2006-03-02 Microsoft Corp ３ｄサブバンド符号化のための組み込み基本レイヤコーデック
JP2007281767A (ja) * 2006-04-05 2007-10-25 Fujitsu Ltd 画像処理装置、画像処理プログラムおよび画像処理方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Image Processing for Increasing Contrast of Wide-Dynamic-Rage Image", KONICA MINOLTA TECHNOLOGY REPORT, vol. 4, Retrieved from the Internet <URL:http://www.konicaminolta.jp/about/research/technology_report/2007/pdf/introduce_011.p df>
See also references of EP2833355A4

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013211662A (ja) * 2012-03-30 2013-10-10 Eizo Corp 階調補正装置またはその方法
WO2017085786A1 (ja) * 2015-11-17 2017-05-26 Eizo株式会社 画像変換方法及び装置
JPWO2017085786A1 (ja) * 2015-11-17 2018-08-09 Eizo株式会社 画像変換方法及び装置
US10332485B2 (en) 2015-11-17 2019-06-25 Eizo Corporation Image converting method and device

Also Published As

Publication number Publication date
AU2012374716A1 (en) 2014-11-20
EP2833355A1 (en) 2015-02-04
CN104246865A (zh) 2014-12-24
RU2611005C2 (ru) 2017-02-17
AU2012374716B2 (en) 2016-07-14
US20150117775A1 (en) 2015-04-30
JP2013210773A (ja) 2013-10-10
EP2833355A4 (en) 2015-12-16
US9336581B2 (en) 2016-05-10
RU2014137567A (ru) 2016-05-27
JP5470415B2 (ja) 2014-04-16
EP2833355B1 (en) 2020-08-19
CN104246865B (zh) 2017-01-04
IN2014DN08974A (ja) 2015-05-29

Similar Documents

Publication Publication Date Title
JP5470415B2 (ja) イプシロンフィルタの閾値決定方法およびローパスフィルタの係数決定方法
RU2617328C2 (ru) Устройство и/или способ вывода изображения на экран
US20140092307A1 (en) Image processing apparatus
WO2014168587A1 (en) Method and system for processing an input image
CN105191277B (zh) 基于引导式滤波器的细节增强
US20140348428A1 (en) Dynamic range-adjustment apparatuses and methods
JP5596075B2 (ja) 階調補正装置またはその方法
KR20150003582A (ko) 디스플레이의 곡률을 참조하는 영상 처리장치 및 방법
WO2016065053A2 (en) Automatic display image enhancement based on user&#39;s visual perception model
US9299003B2 (en) Image processing apparatus, non-transitory computer readable medium, and image processing method
CN118446940A (zh) 清晰图像的获取方法、设备、介质及移动终端
KR20160068627A (ko) 영상 처리 장치, 영상 처리 방법, 및 표시 장치
KR101987764B1 (ko) 선명도 향상 장치 및 방법
KR101389932B1 (ko) 이미지 톤 매핑 장치 및 방법
US20220237755A1 (en) Image enhancement method and image processing device
WO2017085786A1 (ja) 画像変換方法及び装置
KR102086756B1 (ko) 하이 다이내믹 레인지 이미지 생성 장치 및 방법
CN105282419A (zh) 去噪声方法以及影像系统
US9721492B2 (en) Image display apparatus and method of controlling image display apparatus
JP6627530B2 (ja) 画像処理装置及びプログラム
Daly et al. Use of a local cone model to predict essential CSF light adaptation behavior used in the design of luminance quantization nonlinearities
KR101872015B1 (ko) 적외선 영상 생성장치 및 방법
CN112631539A (zh) 显示图像的像素灰度值的映射方法
WO2020227759A1 (en) Single image contrast
KR101952394B1 (ko) 레티넥스 모델 기반 엘이디영상 색 보정 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12872830

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2012872830

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2012872830

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2014137567

Country of ref document: RU

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2012374716

Country of ref document: AU

Date of ref document: 20121009

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14389611

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE