KR20200087440A - 열화상 처리 방법 및 그 장치 - Google Patents

열화상 처리 방법 및 그 장치 Download PDF

Info

Publication number
KR20200087440A
KR20200087440A KR1020190003713A KR20190003713A KR20200087440A KR 20200087440 A KR20200087440 A KR 20200087440A KR 1020190003713 A KR1020190003713 A KR 1020190003713A KR 20190003713 A KR20190003713 A KR 20190003713A KR 20200087440 A KR20200087440 A KR 20200087440A
Authority
KR
South Korea
Prior art keywords
thermal image
image data
histogram
histogram stretching
stretching ratio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020190003713A
Other languages
English (en)
Other versions
KR102622112B1 (ko
Inventor
한승진
이건형
송병준
서한석
정보아
허진욱
이기림
Original Assignee
한화테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화테크윈 주식회사 filed Critical 한화테크윈 주식회사
Priority to KR1020190003713A priority Critical patent/KR102622112B1/ko
Priority to US16/423,786 priority patent/US11393081B2/en
Publication of KR20200087440A publication Critical patent/KR20200087440A/ko
Application granted granted Critical
Publication of KR102622112B1 publication Critical patent/KR102622112B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 열화상 처리 방법에 관한 것으로, 열화상 데이터에 히스토그램 스트레칭을 수행하는 단계, 및 상기 히스토그램 스트레칭을 수행한 열화상 데이터의 히스토그램 데이터를 이용하여 다음 프레임의 열화상 데이터에 대한 상기 히스토그램 스트레칭 비율을 조절하는 단계를 포함함으로써 열화상 데이터가 열화되거나 포화됨에 따라 식별적 저하되는 현상을 완화시킬 수 있다.

Description

열화상 처리 방법 및 그 장치 {Thermo image processing method, and apparatus thereof}
본 발명은 열화상 처리 방법 및 그 장치에 관한 것으로서, 보다 상세하게는 열화 또는 포화에 따라 히스토그램 스트레칭 비율을 조절하는 열화상 처리 방법 및 열화상 처리 장치에 관한 것이다.
최근, 감시 시스템에 있어서, 단순히 화상으로만 감시가 어려운 경우가 있는바, 열화상 카메라를 이용하여 감시를 수행하거나, 화상 카메라와 열화상 카메라를 함께 사용하는 경우가 많아 지고 있다.
감시환경이나 감시목적에 따라 일반 카메라가 아닌 열화상 카메라를 이용하는 경우, 열화상 데이터를 사용자가 이용할 수 있는 형태로 열화상 데이터에 대한 처리가 필요하다. 열화상 데이터를 수신하여, 히스토그램 평활화(Histogram Equalization), 히스토그램 스트레칭(Histogram Stretching), 플래토 평활화(Plateau Equalization) 등을 거쳐 사용자가 이용할 수 있는 영상으로 출력한다.
온도 변화가 심하고 비, 눈과 같이 예외적인 상황이 일어나는 야외를 감시하는 경우, 열화상 데이터의 특성상 열화상 데이터의 품질이 영향을 많이 받는 문제가 있는바, 주변 환경의 변화에 따라 발생할 수 있는 열화 또는 포화 등의 문제를 빠르게 해결할 수 있는 기술이 필요하다.
한국공개특허공보 제10-2014-0049410호
본 발명이 해결하고자 하는 첫 번째 과제는, 열화 또는 포화에 따라 히스토그램 스트레칭 비율을 조절하는 열화상 처리 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 두 번째 과제는, 열화 또는 포화에 따라 히스토그램 스트레칭 비율을 조절하는 열화상 처리 장치를 제공하는 것이다.
본 발명의 과제들은 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 첫 번째 과제를 해결하기 위하여, 본 발명의 실시예에 따른 열화상 처리 방법은, 열화상 데이터에 히스토그램 스트레칭을 수행하는 단계; 및 상기 히스토그램 스트레칭을 수행한 열화상 데이터의 히스토그램 데이터를 이용하여 다음 프레임의 열화상 데이터에 대한 상기 히스토그램 스트레칭 비율을 조절하는 단계를 포함한다.
또한, 상기 히스토그램 스트레칭 비율을 조절하는 단계는, 상기 열화상 데이터의 히스토그램 데이터를 이용하여 상기 열화상 데이터가 열화 또는 포화되었는지 판단하는 단계; 및 상기 열화상 데이터가 열화 또는 포화된 경우, 상기 히스토그램 스트레칭 비율을 조절하는 단계를 포함하고, 상기 열화상 데이터가 열화된 경우 상기 히스토그램 스트레칭 비율을 늘리고, 상기 열화상 데이터가 포화된 경우 상기 히스토그램 스트레칭 비율을 줄일 수 있다.
또한, 상기 열화상 데이터가 열화 또는 포화되었는지 판단하는 단계는, 상기 열화상 데이터의 히스토그램 데이터 중 최소값과 임계값의 비교를 통해 수행될 수 있고, 상기 최소값이 열화 임계값 이하인 경우 열화로 판단하고, 상기 최소값이 포화 임계값 이상인 경우 포화로 판단할 수 있다.
또한, 상기 히스토그램 스트레칭 비율을 조절하는 단계는, 미리 설정된 프레임수 또는 주기마다 수행될 수 있고, 다음 프레임의 열화상 데이터의 히스토그램 스트레칭 비율을 조절할 수 있으며, 미리 설정된 비율로 상기 히스토그램 스트레칭 비율을 조절할 수 있다.
상기 두 번째 과제를 해결하기 위하여, 본 발명의 실시예에 따른 열화상 처리 장치는, 열화상 데이터에 히스토그램 스트레칭을 수행하는 히스토그램 스트레칭부; 및 상기 히스토그램 스트레칭을 수행한 열화상 데이터의 히스토그램 데이터를 이용하여 다음 프레임의 열화상 데이터에 대한 상기 히스토그램 스트레칭 비율을 조절하는 히스토그램 스트레칭 비율 조절부를 포함한다.
또는 열화상 데이터를 수신하는 수신부; 상기 열화상 데이터에 히스토그램 스트레칭을 수행하는 히스토그램 스트레칭부; 및 상기 히스토그램 스트레칭이 수행된 영상을 출력하는 출력부를 포함하되, 상기 히스토그램 스트레칭부는, 상기 히스토그램 스트레칭을 수행한 열화상 데이터의 히스토그램 데이터를 이용하여 다음 프레임의 열화상 데이터에 대한 상기 히스토그램 스트레칭 비율을 조절할 수 있다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 실시예들에 의하면 적어도 다음과 같은 효과가 있다.
본 발명에 따르면 열화상 데이터가 열화되거나 포화됨에 따라 식별적 저하되는 현상을 완화시킬 수 있다.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.
도 1은 본 발명의 일 실시예에 따른 열화상 처리 장치의 블록도이다.
도 2 및 도 3은 히스토그램 스트레칭 비율에 따른 열화상 및 히스토그램 데이터를 나타낸 도면이다.
도 4는 본 발명의 실시예에 따른 열화상 처리에 따른 열화상 변화를 설명하기 위한 도면이다.
도 5는 본 발명의 다른 실시예에 따른 열화상 처리 장치의 블록도이다.
도 6 및 도 7은 본 발명의 다른 실시예에 따른 열화상 처리 장치의 블록도이다.
도 8은 본 발명의 일 실시예에 따른 열화상 처리 방법의 흐름도이다.
도 9 및 도 10은 본 발명의 실시예에 따른 열화상 처리 방법의 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.
도 1은 본 발명의 일 실시예에 따른 열화상 처리 장치의 블록도이다.
본 발명의 일 실시예에 따른 열화상 처리 장치(100)는 히스토그램 스트레칭부(110) 및 히스토그램 스트레칭 비율 조절부(120)로 구성되고, 수신부 또는 출력부를 더 포함할 수 있다.
히스토그램 스트레칭부(110)는 열화상 데이터에 히스토그램 스트레칭을 수행한다.
보다 구체적으로, 열화상 이미지를 출력하기에 적합하도록 히스토그램 스트레칭을 수행한다. 열화상 이미지의 특정 밝기 영역에 영상 픽셀의 밝기 값이 집중되어 있는 경우, 즉, 특정 밝기값 범위에만 히스토그램이 분포되는 경우, 이를 퍼트려 가시도를 높인다.
열화상 데이터에 대해 히스토그램 스트레칭을 수행하는 것과 열화상 데이터에 적합한 비율로 히스토그램 스트레칭을 수행하는 것은 열화상 데이터에 대한 가시도와 매우 밀접한 관계가 있다.
도 2는 열화상 데이터에 히스토그램 스트레칭을 적용하는 경우 및 히스토그램 스트레칭 비율을 다르게 하는 경우에 대한 가시도를 비교한 도면으로, 도 2(a)는 히스토그램 스트레칭을 수행하지 않은 경우이고, 도 2(b)는 히스토그램 스트레칭을 수행하되, 레벨을 최하로 둔 경우이다. 히스토그램 스트레칭을 수행한 것만으로 열화상 데이터상 어느 정도 윤곽이 나타나는 것을 확인할 수 있다. 도 2(c)는 히스토그램 스트레칭 레벨을 Lv 80으로 설정하고 히스토그램 스트레칭을 수행한 결과이고, 도 2(d)는 히스토그램 스트레칭 레벨을 Lv 160으로 설정하고 히스토그램 스트레칭을 수행한 결과이다. 히스토그램 스트레칭을 수행하고, 적합한 히스토그램 스트레칭 비율로 히스토그램 스트레칭을 수행할수록 가시도가 향상되는 것을 확인할 수 있다.
히스토그램 스트레칭을 수행하지 않은 도 2(a)의 히스토그램 분포는 도 3(a)와 같고, 적합한 히스토그램 스트레칭 비율로 히스토그램 스트레칭을 수행한 도 2(d)의 히스토그램 분포는 도 3(b)와 같다. 도 3(a)에서는 특정 밝기값에서의 빈도수만 크게 분포되어 있는 것을 확인할 수 있다. 이에 반해, 도 3(b)에서는 전체적으로 히스토그램이 분포되어 있는 것을 확인할 수 있다.
상기와 같은 이유로, 열화상 데이터의 가시도를 높이기 위하여, 히스토그램 스트레칭부(110)는 열화상 데이터에 히스토그램 스트레칭을 수행한다.
히스토그램 스트레칭 비율 조절부(120)는 히스토그램 스트레칭을 수행한 열화상 데이터의 히스토그램 데이터를 이용하여 다음 프레임의 열화상 데이터에 대한 상기 히스토그램 스트레칭 비율을 조절한다.
보다 구체적으로, 히스토그램 스트레칭부(110)가 열화상 데이터에 대해 히스토그램 스트레칭을 수행할 때, 히스토그램 스트레칭 비율은 미리 설정된 비율이나 사용자에 의해 설정된 비율, 또는 이전 히스토그램 스트레칭 비율을 그대로 이용한다. 하지만, 열화상 촬상장치가 촬상하는 영역의 온도변화에 따라 열화상 데이터의 밝기 값이 변하기 때문에, 히스토그램 스트레칭 비율을 고정시키는 경우, 열화상 데이터가 열화 또는 포화될 수 있다. 따라서, 열화상 데이터에 따라 히스토그램 스트레칭 비율을 조절하여 열화상 데이터가 열화 또는 포화되는 것을 방지한다.
히스토그램 스트레칭 비율 조절부(120)는 상기 히스토그램 스트레칭을 수행한 열화상 데이터의 히스토그램 데이터를 이용하여 상기 열화상 데이터가 열화 또는 포화되었는지 판단하고, 상기 열화상 데이터가 열화 또는 포화된 경우, 상기 히스토그램 스트레칭 비율을 조절할 수 있다. 히스토그램 스트레칭 비율 조절부(120)는 히스토그램 스트레칭 비율의 조절이 필요한 지 여부를 판단하기 위하여, 먼저 열화상 데이터의 히스토그램 데이터를 이용하여 열화상 데이터가 열화 또는 포화되었는지 판단한다.
열화상 데이터가 열화 또는 포화되었는지를 판단하기 위하여, 히스토그램 스트레칭 비율 조절부(120)는 열화상 데이터의 히스토그램 데이터 중 최소값(min)을 이용한다. 즉, 히스토그램 스트레칭 비율 조절부(120)는 상기 열화상 데이터의 히스토그램 데이터 중 최소값(min)과 임계값의 비교를 통해 열화상 데이터가 열화 또는 포화되었는지 판단한다. 여기서 최소값은 히스토그램 빈도수가 0이 아닌 값을 가지는 히스토그램 빈도수 중 최소가 되는 빈도수 값을 의미한다. 오차 내지 의미가 없는 히스토그램 빈도수를 제외하기 위하여, 소정의 빈도수 이상의 빈도수 중 최소인 빈도수를 최소값으로 설정할 수도 있다. 도 3(b)를 참조하여 설명하면 전체 히스토그램 중 빈도수가 최소가 되는 히스토그램의 빈도수인 최소값은 빈도수를 나타내는 막대의 크기가 가장 작은 최우측에서 두번째인 것을 확인할 수 있다. 해당 최소값을 기준으로 열화상 데이터의 열화 또는 포화를 판단한다.
히스토그램 스트레칭 비율 조절부(120)는 최소값이 열화 임계값 이하인 경우 열화로 판단하고, 상기 최소값이 포화 임계값 이상인 경우 포화로 판단한다. 최소값이 열화 임계값 이하인 경우, 열화로 판단한다. 열화는 온도분포가 좁아져 대비 차가 감소하여 식별력이 저하된 상황을 의미한다. 즉, 현재 히스토그램 스트레칭 비율에 의해 히스토그램 스트레칭을 수행하는 경우, 특정 밝기값에만 히스토그램 빈도수가 몰려 가시도가 낮아진 상황으로, 최소값이 지나치게 낮아지는 것으로 확인할 수 있다. 따라서, 최소값이 열화 임계값 이하인 경우, 열화상 데이터가 열화되었다고 판단할 수 있다.
열화와 반대로, 최소값이 포화 임계값 이상인 경우, 포화로 판단한다. 포화는 온도분포가 넓어져 화면이 포화되는 상황을 의미한다. 즉, 현재 현재 히스토그램 스트레칭 비율에 의해 히스토그램 스트레칭을 수행하는 경우, 대부분의 밝기에서 빈도수가 높아진 상황을 의미하며, 최소값이 지나치게 높아지는 것으로 확인할 수 있다. 따라서, 최소값이 포화 임계값 이상인 경우, 열화상 데이터가 포화되었다고 판단할 수 있다.
예를 들어, 최소값이 히스토그램 빈도수 1000 이상인 경우, 포화되었다고 판단하고, 최소값이 히스토그램 빈도수 100 이하인 경우, 열화되었다고 판단할 수 있다.
히스토그램 스트레칭 비율 조절부(120)는 상기 열화상 데이터가 열화된 경우 상기 히스토그램 스트레칭 비율을 늘리고, 상기 열화상 데이터가 포화된 경우 상기 히스토그램 스트레칭 비율을 줄인다. 현재 히스토그램 스트레칭 비율에 따른 열화상 데이터가 열화 또는 포화된 경우, 가시도가 떨어지기 때문에, 히스토그램 스트레칭 비율을 적절히 조절할 필요가 있다. 열화상 데이터가 열화된 경우, 최소값이 열화 임계값 이하가 된 경우인바, 최소값이 열화 임계값보다 커지도록 히스토그램 스트레칭 비율을 줄인다. 즉, 더 좁은 범위의 밝기값 만을 포함하도록 하여 밝기값에 따른 빈도수 차이가 증가하도록 한다.
이와 반대로, 열화상 데이터가 포화된 경우, 최소값이 포화 임계값 이상이 된 경우인바, 최소값이 포화 임계값보다 작아지도록 히스토그램 스트레칭 비율을 줄인다. 즉, 더 넓은 범위의 밝기값을 포함하도록 하여 밝기값에 따른 빈도수 차이가 증가하도록 한다.
도 4(a)와 같이, 현재 히스토그램 스트레칭 비율에 따른 열화상 데이터의 히스토그램 데이터 중 최소값이 포화 임계값 이상인 경우, 열화상 데이터가 포화되어, 열화상 데이터로부터 물체의 인식이 어려워지는 것을 알 수 있다. 따라서, 포화된 도 4(a)의 가시도를 높이기 위하여, 히스토그램 스트레칭 비율을 줄여, 낮은 빈도수를 가지는 히스토그램도 포함되도록 함으로써 도 4(b)와 같이 개선된 영상으로 조절할 수 있고, 영상의 가시도가 향상되는 것을 확인할 수 있다.
히스토그램 스트레칭 비율 조절부(120)는 히스토그램 스트레칭 비율을 늘리거나 줄일 때, 최대 비율과 최소 비율 내에서 조절할 수 있다. 지나치게 히스토그램 스트레칭 비율을 늘리거나 줄이는 경우, 문제가 발생할 수 있다. 특히, 지나치게 히스토그램 스트레칭 비율을 늘리면 노이즈가 많이 포함될 수 있기 때문에, 열화상 데이터를 적용하는 환경 내지 목적에 따라 열화상 데이터를 처리함에 있어서 적절한 범위 내에서 히스토그램 스트레칭 비율을 조절할 수 있다.
히스토그램 스트레칭 비율 조절부(120)는 미리 설정된 프레임수 또는 주기마다 상기 열화상 데이터가 열화 또는 포화되었는지 판단할 수 있다. 히스토그램 스트레칭 비율 조절부(120)는 매 프레임마다 열화상 데이터가 열화 또는 포화되었는지 판단하여 히스토그램 스트레칭 비율을 조절할 수 있고, 또는 미리 설정된 프레임수 또는 주기마다 열화상 데이터가 열화 또는 포화되었는지 판단하여 히스토그램 스트레칭 비율을 조절할 수도 있다. 해당 주기 내지 프레임수는 열화상 데이터가 생성되는 환경에서의 온도 변화에 따라 달라질 수 있고, 온도변화가 급격한 환경에서는 매 프레임 내지 짧은 주기마다 수행될 수 있고, 온도변화가 느린 환경에서는 상대적으로 긴 주기마다 수행될 수 있다.
히스토그램 스트레칭 비율 조절부(120)는 히스토그램 스트레칭 비율을 조절 시, 다음 프레임의 열화상 데이터의 히스토그램 스트레칭 비율을 조절한다. 이미 히스토그램 스트레칭을 수행한 열화상 데이터의 히스토그램 데이터를 이용하여 열화 또는 포화 여부를 판단하는바, 열화 또는 포화에 따라 조절되는 히스토그램 스트레칭 비율은 다음 프레임에 적용된다. 즉, 히스토그램 스트레칭 비율 조절은 피드백으로 히스토그램 스트레칭부(110)를 제어한다.
히스토그램 스트레칭 비율 조절부(120)는 히스토그램 스트레칭 비율을 조절함에 있어서, 미리 설정된 비율로 상기 히스토그램 스트레칭 비율을 조절할 수 있다. 히스토그램 스트레칭 비율을 조절할 때, 비율 조정을 작은 단위로 세밀하게 하는 경우, 세밀한 조절은 가능하나, 많은 비율을 조절해야 하는 경우, 시간이 오래걸릴 수 있다. 반대로, 비율 조정을 큰 단위로 조절하는 경우, 빠른 히스토그램 스트레칭 비율 조절이 가능하나, 열화상 데이터의 밝기 차이가 크기 때문에, 화면 변화가 어색할 수 있다. 따라서, 미리 설정된 비율로 상기 히스토그램 스트레칭 비율을 조절하여, 적절한 시간 내에 자연스럽게 히스토그램 스트레칭 비율을 조절할 수 있다. 해당 비율은 열화상 데이터가 적용되는 환경에 따라 달라질 수 있고, 사용자에 의해 설정될 수도 있다.
본 발명의 실시예에 따른 열화상 처리 장치(200)는 도 5와 같이, 수신부(210), 히스토그램 스트레칭부(220), 및 출력부(230)를 포함할 수 있다.
수신부(210)는 열화상 데이터를 수신하고, 히스토그램 스트레칭부(220)는 상기 열화상 데이터에 히스토그램 스트레칭을 수행하며, 상기 열화상 데이터의 히스토그램 데이터를 이용하여 상기 히스토그램 스트레칭 비율을 조절할 수 있다. 앞서 설명한 바와 같이, 히스토그램 스트레칭부와 히스토그램 스트레칭 비율 조절부는 별도의 모듈로 구현될 수도 있고, 도 5와 같이, 하나의 모듈로 구현될 수도 있다. 출력부(230)는 상기 히스토그램 스트레칭이 수행된 영상을 출력한다.
열화상 데이터를 수신하여 처리하여 출력하는 과정은 도 6과 같은 구성들을 거쳐 처리될 수 있다. 디텍터(610)를 통해 전달된 데이터는 FPGA 블록(620)에서 HS(Histogram Stretching) 작업을 거친다. HS(621)는 히스토그램 분포레벨을 고루 펴주어 화면의 콘트라스트를 높여준다.
HS는 도 7과 같이, 중심 픽셀 산출(710), 상세 레이어 산출(720) 및 기초 레이어 산출(730), CEQ, DEG pdf 산출(740), 히스토그램 맵핑(750), 상세 부스팅(760), 선형 스트레칭(770), 및 블렌딩(780)을 통해 히스토그램 스트레칭을 수행한다.
HS 된 영상은 영상처리 칩(SoC)(630)으로 입력되어 추가적인 영상처리를 거쳐 출력된다. 이때, 영상처리 칩(SoC)(630)에서 HS 비율을 제어하기 위하여 출력화면의 히스토그램 분포를 확인(Histogram check)(631)하는 과정을 거친다. 히스토그램 분포에서 Minimum 값을 기준으로 포화, 열화 상태를 판단하여 FPGA 블록(620)의 HS (621) 비율을 조절한다.
도 8은 본 발명의 일 실시예에 따른 열화상 처리 방법의 흐름도이고, 도 9 및 도 10은 본 발명의 실시예에 따른 열화상 처리 방법의 흐름도이다. 본 발명의 일 실시예에 따른 열화상 처리 방법에 대한 상세한 설명은 도 1 내지 도7의 열화상 처리 장치에 대한 설명에 대응되는바, 이하 중복되는 설명을 피하기 위해 각 단계에 대해 약술하도록 한다.
열화상 처리를 수행함에 있어서, S11 단계에서 열화상 데이터에 히스토그램 스트레칭을 수행한다. 이후, S12 단계에서 상기 히스토그램 스트레칭을 수행한 열화상 데이터의 히스토그램 데이터를 이용하여 다음 프레임의 열화상 데이터에 대한 상기 히스토그램 스트레칭 비율을 조절한다.
S12 단계는 상기 열화상 데이터의 히스토그램 데이터를 이용하여 상기 열화상 데이터가 열화 또는 포화되었는지 판단하는 S21 단계 및 상기 열화상 데이터가 열화 또는 포화된 경우, 상기 히스토그램 스트레칭 비율을 조절하는 S22 단계로 구현될 수 있다.
S21 단계에서 상기 열화상 데이터가 열화 또는 포화되었는지 판단하는 것은 S31 단계에서 상기 열화상 데이터의 히스토그램 데이터 중 최소값과 임계값의 비교하고, S32 단계에서 상기 최소값이 열화 임계값 이하인 경우 열화로 판단하고, 상기 최소값이 포화 임계값 이상인 경우 포화로 판단하며, S33 단계에서 상기 열화상 데이터가 열화된 경우 상기 히스토그램 스트레칭 비율을 늘리고, 상기 열화상 데이터가 포화된 경우 상기 히스토그램 스트레칭 비율을 줄일 수 있다.
상기 히스토그램 스트레칭 비율의 조절은 미리 설정된 프레임수 또는 주기마다 수행될 수 있다. 상기 히스토그램 스트레칭 비율을 조절함에 있어서, 다음 프레임의 열화상 데이터의 히스토그램 스트레칭 비율을 조절할 수 있고, 미리 설정된 비율로 상기 히스토그램 스트레칭 비율을 조절할 수 있다.
본 발명의 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체 (magnetic media), CD-ROM, DVD와 같은 광기록 매체 (optical media), 플롭티컬 디스크 (floptical disk)와 같은 자기-광 매체 (magneto-optical media), 및 롬 (ROM), 램 (RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100, 200: 열화상 처리 장치
110, 220: 히스토그램 스트레칭부
120: 히스토그램 스트레칭 비율 조절부
210: 수신부
230: 출력부

Claims (15)

  1. 열화상 데이터에 히스토그램 스트레칭을 수행하는 단계; 및
    상기 히스토그램 스트레칭을 수행한 열화상 데이터의 히스토그램 데이터를 이용하여 다음 프레임의 열화상 데이터에 대한 히스토그램 스트레칭 비율을 조절하는 단계를 포함하는 열화상 처리 방법.
  2. 제1항에 있어서,
    상기 히스토그램 스트레칭 비율을 조절하는 단계는,
    상기 열화상 데이터의 히스토그램 데이터를 이용하여 상기 열화상 데이터가 열화 또는 포화되었는지 판단하는 단계; 및
    상기 열화상 데이터가 열화 또는 포화된 경우, 상기 히스토그램 스트레칭 비율을 조절하는 단계를 포함하는 열화상 처리 방법.
  3. 제2항에 있어서,
    상기 히스토그램 스트레칭 비율을 조절하는 단계는,
    상기 열화상 데이터가 열화된 경우 상기 히스토그램 스트레칭 비율을 늘리고, 상기 열화상 데이터가 포화된 경우 상기 히스토그램 스트레칭 비율을 줄이는 것을 특징으로 하는 열화상 처리 방법.
  4. 제2항에 있어서,
    상기 열화상 데이터가 열화 또는 포화되었는지 판단하는 단계는,
    상기 열화상 데이터의 히스토그램 데이터 중 최소값과 임계값의 비교를 통해 수행되는 것을 특징으로 하는 열화상 처리 방법.
  5. 제4항에 있어서,
    상기 열화상 데이터가 열화 또는 포화되었는지 판단하는 단계는,
    상기 최소값이 열화 임계값 이하인 경우 열화로 판단하고, 상기 최소값이 포화 임계값 이상인 경우 포화로 판단하는 것을 특징으로 하는 열화상 처리 방법.
  6. 제1항에 있어서,
    상기 히스토그램 스트레칭 비율을 조절하는 단계는,
    미리 설정된 프레임수 또는 주기마다 수행되는 것을 특징으로 하는 열화상 처리 방법.
  7. 제1항에 있어서,
    상기 히스토그램 스트레칭 비율을 조절하는 단계는,
    미리 설정된 비율로 상기 히스토그램 스트레칭 비율을 조절하는 것을 특징으로 하는 열화상 처리 방법.
  8. 열화상 데이터에 히스토그램 스트레칭을 수행하는 히스토그램 스트레칭부; 및
    상기 히스토그램 스트레칭을 수행한 열화상 데이터의 히스토그램 데이터를 이용하여 다음 프레임의 열화상 데이터에 대한 히스토그램 스트레칭 비율을 조절하는 히스토그램 스트레칭 비율 조절부를 포함하는 열화상 처리 장치.
  9. 제8항에 있어서,
    상기 히스토그램 스트레칭 비율 조절부는,
    상기 열화상 데이터의 히스토그램 데이터를 이용하여 상기 열화상 데이터가 열화 또는 포화되었는지 판단하고, 상기 열화상 데이터가 열화 또는 포화된 경우, 상기 히스토그램 스트레칭 비율을 조절하는 것을 특징으로 하는 열화상 처리 장치.
  10. 제9항에 있어서,
    상기 히스토그램 스트레칭 비율 조절부는,
    상기 열화상 데이터가 열화된 경우 상기 히스토그램 스트레칭 비율을 늘리고, 상기 열화상 데이터가 포화된 경우 상기 히스토그램 스트레칭 비율을 줄이는 것을 특징으로 하는 열화상 처리 장치.
  11. 제9항에 있어서,
    상기 히스토그램 스트레칭 비율 조절부는,
    상기 열화상 데이터의 히스토그램 데이터 중 최소값과 임계값의 비교를 통해 상기 열화상 데이터가 열화 또는 포화되었는지 판단하는 것을 특징으로 하는 열화상 처리 장치.
  12. 제11항에 있어서,
    상기 히스토그램 스트레칭 비율 조절부는,
    상기 최소값이 열화 임계값 이하인 경우 열화로 판단하고, 상기 최소값이 포화 임계값 이상인 경우 포화로 판단하는 것을 특징으로 하는 열화상 처리 장치.
  13. 제8항에 있어서,
    상기 히스토그램 스트레칭 비율 조절부는,
    미리 설정된 프레임수 또는 주기마다 상기 열화상 데이터가 열화 또는 포화되었는지 판단하는 것을 특징으로 하는 열화상 처리 장치.
  14. 제8항에 있어서,
    상기 히스토그램 스트레칭 비율 조절부는,
    미리 설정된 비율로 상기 히스토그램 스트레칭 비율을 조절하는 것을 특징으로 하는 열화상 처리 장치.
  15. 열화상 데이터를 수신하는 수신부;
    상기 열화상 데이터에 히스토그램 스트레칭을 수행하는 히스토그램 스트레칭부; 및
    상기 히스토그램 스트레칭이 수행된 영상을 출력하는 출력부를 포함하되,
    상기 히스토그램 스트레칭부는,
    상기 히스토그램 스트레칭을 수행한 열화상 데이터의 히스토그램 데이터를 이용하여 다음 프레임의 열화상 데이터에 대한 히스토그램 스트레칭 비율을 조절하는 것을 특징으로 하는 열화상 처리 장치.
KR1020190003713A 2019-01-11 2019-01-11 열화상 처리 방법 및 그 장치 Active KR102622112B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190003713A KR102622112B1 (ko) 2019-01-11 2019-01-11 열화상 처리 방법 및 그 장치
US16/423,786 US11393081B2 (en) 2019-01-11 2019-05-28 Method and apparatus for processing thermal image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190003713A KR102622112B1 (ko) 2019-01-11 2019-01-11 열화상 처리 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20200087440A true KR20200087440A (ko) 2020-07-21
KR102622112B1 KR102622112B1 (ko) 2024-01-05

Family

ID=71517756

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190003713A Active KR102622112B1 (ko) 2019-01-11 2019-01-11 열화상 처리 방법 및 그 장치

Country Status (2)

Country Link
US (1) US11393081B2 (ko)
KR (1) KR102622112B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11721004B2 (en) 2021-05-10 2023-08-08 Hanwha Techwin Co., Ltd. Thermal camera and method of processing thermal image thereof

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11275376B2 (en) * 2019-06-20 2022-03-15 Florida Power & Light Company Large scale unmanned monitoring device assessment of utility system components
US12190655B2 (en) * 2022-02-24 2025-01-07 International Business Machines Corporation Collaborative data sharing for data anomalies

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090032385A (ko) * 2007-09-27 2009-04-01 삼성전기주식회사 영상의 콘트라스트를 향상시키는 히스토그램 스트레칭 장치및 방법
KR20140049410A (ko) 2012-10-17 2014-04-25 에스케이텔레콤 주식회사 열화상 영상의 모션벡터에 기반한 히스토그램 안정화 방법 및 장치
KR20150139826A (ko) * 2013-01-15 2015-12-14 아비질론 코포레이션 장면 적응적 자동 노출 보상을 이용하는 이미징 장치
KR20160037479A (ko) * 2014-09-29 2016-04-06 에스케이텔레콤 주식회사 열상 영상 명암비 조정 방법 및 이를 이용한 열상 영상 처리 장치

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104252695A (zh) * 2014-09-18 2014-12-31 电子科技大学 一种红外图像的自适应拉伸方法
US10117000B2 (en) * 2016-03-10 2018-10-30 Silveredge Technologies Pvt. Ltd. Method and system for hardware agnostic detection of television advertisements
CN106791283B (zh) * 2017-01-25 2019-11-19 京东方科技集团股份有限公司 一种校正视频闪烁的方法、装置及视频设备
CN109523477B (zh) * 2018-11-06 2021-07-30 武汉高德智感科技有限公司 一种自适应红外图像动态范围变换方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090032385A (ko) * 2007-09-27 2009-04-01 삼성전기주식회사 영상의 콘트라스트를 향상시키는 히스토그램 스트레칭 장치및 방법
KR20140049410A (ko) 2012-10-17 2014-04-25 에스케이텔레콤 주식회사 열화상 영상의 모션벡터에 기반한 히스토그램 안정화 방법 및 장치
KR20150139826A (ko) * 2013-01-15 2015-12-14 아비질론 코포레이션 장면 적응적 자동 노출 보상을 이용하는 이미징 장치
KR20160037479A (ko) * 2014-09-29 2016-04-06 에스케이텔레콤 주식회사 열상 영상 명암비 조정 방법 및 이를 이용한 열상 영상 처리 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11721004B2 (en) 2021-05-10 2023-08-08 Hanwha Techwin Co., Ltd. Thermal camera and method of processing thermal image thereof

Also Published As

Publication number Publication date
KR102622112B1 (ko) 2024-01-05
US11393081B2 (en) 2022-07-19
US20200226728A1 (en) 2020-07-16

Similar Documents

Publication Publication Date Title
US9350905B2 (en) Image signal processing apparatus, image signal processing method, and image capturing apparatus
US9449376B2 (en) Image processing apparatus and image processing method for performing tone correction of an output image
US9692985B2 (en) Image processing apparatus and image processing method for tone control by applying different gain
KR20200087440A (ko) 열화상 처리 방법 및 그 장치
US20170278220A1 (en) Method and system for correcting aero-optical thermal radiation noise
CN103354599B (zh) 一种应用于动光源场景的自动聚焦方法和装置
US9959606B2 (en) Method for acquiring histogram, method for dynamically adjusting luminance and image processing apparatus
US20130084005A1 (en) Image processing device and method for processing image
US7995857B2 (en) Method and apparatus utilizing step-wise gain control for image processing
US9508136B2 (en) Image fusing method
US9135689B2 (en) Apparatus and method for performing detail enhancement
US9007527B2 (en) Imaging device, imaging system and imaging method
KR102025361B1 (ko) 자동 초점 조절 시스템 및 방법
CN109729276B (zh) 近红外摄像方法、装置、设备及存储介质
US10142552B2 (en) Image processing apparatus that corrects contour, control method therefor, storage medium storing control program therefor, and image pickup apparatus
US20070189631A1 (en) Methods and apparatuses for enhancing image quality
US6952235B2 (en) Apparatus and method for controlling black stretch of video signal
US20130321705A1 (en) Video signal processing device and method
US20240249398A1 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
KR102514200B1 (ko) 영상 내 특정영역 화질 개선을 위한 카메라 파라미터 자동 보정 방법
KR102315524B1 (ko) 영상의 비트레이트 조절 방법 및 영상 획득 장치
US8432498B2 (en) Automatic frequency selection for peaking
KR102124076B1 (ko) 적외선 영상의 불균형을 보정하는 장치 및 그 방법
US8035738B2 (en) Apparatus and method of controlling black stretch
US20180352153A1 (en) Image processing apparatus that generates evaluation value for evaluating luminance of image data, image capturing apparatus, method for processing image, and program

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20190111

PG1501 Laying open of application
A201 Request for examination
AMND Amendment
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20220111

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20190111

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20230331

Patent event code: PE09021S01D

AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20231027

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20230331

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

X091 Application refused [patent]
AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20231027

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20230519

Comment text: Amendment to Specification, etc.

Patent event code: PX09012R01I

Patent event date: 20220111

Comment text: Amendment to Specification, etc.

PX0701 Decision of registration after re-examination

Patent event date: 20231201

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

Patent event date: 20231122

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20231027

Comment text: Decision to Refuse Application

Patent event code: PX07011S01I

Patent event date: 20230519

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20220111

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

X701 Decision to grant (after re-examination)
GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20240103

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20240103

End annual number: 3

Start annual number: 1

PG1601 Publication of registration