KR20140133272A - 영상 처리 장치 및 영상 처리 방법 - Google Patents

영상 처리 장치 및 영상 처리 방법 Download PDF

Info

Publication number
KR20140133272A
KR20140133272A KR1020130053222A KR20130053222A KR20140133272A KR 20140133272 A KR20140133272 A KR 20140133272A KR 1020130053222 A KR1020130053222 A KR 1020130053222A KR 20130053222 A KR20130053222 A KR 20130053222A KR 20140133272 A KR20140133272 A KR 20140133272A
Authority
KR
South Korea
Prior art keywords
data
matrix
image
color space
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
KR1020130053222A
Other languages
English (en)
Inventor
김경태
유병태
배재우
Original Assignee
삼성디스플레이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성디스플레이 주식회사 filed Critical 삼성디스플레이 주식회사
Priority to KR1020130053222A priority Critical patent/KR20140133272A/ko
Priority to US14/022,673 priority patent/US9140608B2/en
Publication of KR20140133272A publication Critical patent/KR20140133272A/ko
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • G01J3/505—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors measuring the colour produced by lighting fixtures other than screens, monitors, displays or CRTs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/462—Computing operations in or between colour spaces; Colour management systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • G01J3/51—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters
    • G01J3/513—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters having fixed filter-detector pairs
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/82—Camera processing pipelines; Components thereof for controlling camera response irrespective of the scene brightness, e.g. gamma correction
    • H04N23/83—Camera processing pipelines; Components thereof for controlling camera response irrespective of the scene brightness, e.g. gamma correction specially adapted for colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/85—Camera processing pipelines; Components thereof for processing colour signals for matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0666—Adjustment of display parameters for control of colour parameters, e.g. colour temperature
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0693—Calibration of display systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/06—Colour space transformation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G09G3/30—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
    • G09G3/32—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
    • G09G3/3208—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED]

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Physics (AREA)
  • Processing Of Color Television Signals (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Abstract

영상 처리 장치는 베이어 영상을 형성하는 카메라 센서 유닛, 상기 베이어 영상을 적색 영상, 녹색 영상 및 청색 영상으로 변환하는 디모자이킹 유닛, 상기 적색 영상, 상기 녹색 영상 및 상기 청색 영상의 데이터를 포함하는 제1 카메라 RGB 데이터를 제1 색공간 변환 행렬을 이용하여 제1 디스플레이 R'G'B' 데이터로 변환하는 제1 색공간 변환 유닛, 및 상기 제1 디스플레이 R'G'B' 데이터를 이용하여 영상을 표시하는 디스플레이 유닛을 포함하고, 상기 제1 색공간 변환 행렬은, N개의 컬러에 대한 카메라 RGB 데이터를 N×3의 제1 행렬로 나타내고, 상기 디스플레이 유닛에 표시되는 상기 N개의 컬러를 측색기로 측정하여 산출되는 상기 N개의 컬러에 대한 디스플레이 R'G'B' 데이터를 N×3의 제2 행렬로 나타낼 때, 상기 제1 행렬의 전치행렬과 상기 제1 색공간 변환 행렬의 곱이 상기 제2 행렬의 전치행렬인 관계로부터 산출된다.

Description

영상 처리 장치 및 영상 처리 방법{DEVICE FOR IMAGE PROCESSING AND METHOD THEREOF}
본 발명은 영상 처리 장치 및 영상 처리 방법에 관한 것으로, 더욱 상세하게는 카메라에서 촬영된 영상의 색을 디스플레이에서 정확하게 재현할 수 있는 영상 처리 장치 및 영상 처리 방법에 관한 것이다.
휴대폰, 디지털 카메라, 캠코더 등의 카메라에서 촬영된 영상의 색을 디스플레이에서 정확하게 재현하기 위해서는 카메라와 디스플레이의 색역이 동일하여야 한다. 카메라와 디스플레이의 색역을 일치시키기 위하여, 영상의 저장 및 재생에 사용할 색역으로 D65(Daylight 6500K)에서 sRGB 색역을 표준화하여 사용하고 있다. 이는 NTSC(National Television System Committee) 기준으로 70% 색역에 해당한다.
그러나 유기발광 디스플레이(Organic Light Emitting Display)는 D65 sRGB 색역에 비하여 넓은 색역(NTSC 기준으로 110% 색역)을 가진다. 따라서 D65에서 sRGB 색역을 표준으로 하여 생성된 영상이 유기발광 디스플레이에서 정확한 색으로 표시되지 않는다. 즉, 색역이 좁게 설정된 카메라에서 촬영된 영상을 색역이 넓은 유기발광 디스플레이에서 표시하게 되면 영상의 색이 실제 색보다 과장되어 보이게 된다.
따라서, 카메라에서 촬영된 영상이 유기발광 디스플레이에서 표시될 때 영상의 색이 실제 색과 동일하게 보이도록 영상을 처리할 필요가 있다.
본 발명이 해결하고자 하는 기술적 과제는 카메라에서 촬영된 영상의 색을 유기발광 디스플레이에서 정확하게 재현할 수 있는 영상 처리 장치 및 영상 처리 방법을 제공함에 있다.
본 발명의 일 실시예에 따른 영상 처리 장치는 베이어 영상을 형성하는 카메라 센서 유닛, 상기 베이어 영상을 적색 영상, 녹색 영상 및 청색 영상으로 변환하는 디모자이킹 유닛, 상기 적색 영상, 상기 녹색 영상 및 상기 청색 영상의 데이터를 포함하는 제1 카메라 RGB 데이터를 제1 색공간 변환 행렬을 이용하여 제1 디스플레이 R'G'B' 데이터로 변환하는 제1 색공간 변환 유닛, 및 상기 제1 디스플레이 R'G'B' 데이터를 이용하여 영상을 표시하는 디스플레이 유닛을 포함하고, 상기 제1 색공간 변환 행렬은, N개의 컬러에 대한 카메라 RGB 데이터를 N×3의 제1 행렬로 나타내고, 상기 디스플레이 유닛에 표시되는 상기 N개의 컬러를 측색기로 측정하여 산출되는 상기 N개의 컬러에 대한 디스플레이 R'G'B' 데이터를 N×3의 제2 행렬로 나타낼 때, 상기 제1 행렬의 전치행렬과 상기 제1 색공간 변환 행렬의 곱이 상기 제2 행렬의 전치행렬인 관계로부터 산출된다.
상기 제1 카메라 RGB 데이터를 제2 색공간 변환 행렬을 이용하여 sRGB 색역에서의 적색 영상 데이터, 녹색 영상 데이터 및 청색 영상 데이터를 포함하는 제1 sRGB 데이터로 변환하는 제2 색공간 변환 유닛을 더 포함할 수 있다.
상기 제2 색공간 변환 행렬은, N개의 컬러에 대한 카메라 RGB 데이터를 N×3의 제1 행렬로 나타내고, 상기 sRGB 색역에서 상기 N개의 컬러에 대한 sRGB 데이터를 N×3의 제2 행렬로 나타낼 때, 상기 제1 행렬의 전치행렬과 상기 제2 색공간 변환 행렬의 곱이 상기 제2 행렬의 전치행렬인 관계로부터 산출될 수 있다.
상기 제1 sRGB 데이터를 송신하고 제2 sRGB 데이터를 수신하는 데이터 송수신 유닛을 더 포함할 수 있다.
상기 제2 색공간 변환 유닛은 상기 제2 색공간 변환 행렬의 역행렬을 이용하여 상기 제2 sRGB 데이터를 제2 카메라 RGB 데이터로 변환하고, 상기 제1 색공간 변환 유닛은 상기 제1 색공간 변환 행렬을 이용하여 상기 제2 카메라 RGB 데이터를 제2 디스플레이 R'G'B' 데이터로 변환하고, 상기 디스플레이 유닛은 상기 제2 디스플레이 R'G'B' 데이터를 이용하여 영상을 표시할 수 있다.
상기 제1 디스플레이 R'G'B' 데이터를 저장하는 데이터 저장 유닛을 더 포함할 수 있다.
상기 제1 색공간 변환 유닛은 상기 데이터 저장 유닛에 저장되어 있는 제1 디스플레이 R'G'B' 데이터를 상기 제1 색공간 변환 행렬의 역행렬을 이용하여 상기 제1 카메라 RGB 데이터로 변환할 수 있다.
상기 베이어 영상의 블랙 레벨을 조정하고 잡음을 제거하는 전처리 유닛을 더 포함할 수 있다.
상기 베이어 영상에 대해 화이트 밸런스를 수행하는 화이트 밸런싱 유닛을 더 포함할 수 있다.
상기 적색 영상, 상기 녹색 영상 및 상기 청색 영상이 인간의 시각 특성에 맞도록 감마 보정을 수행하는 감마 보정 유닛을 더 포함할 수 있다.
상기 제1 디스플레이 R'G'B' 데이터의 에지, 콘트라스트 및 채도를 향상시키는 후처리를 수행하는 후처리 유닛을 더 포함할 수 있다.
본 발명의 다른 실시예에 따른 영상 처리 방법은 적색 채널값, 녹색 채널값 및 청색 채널값의 배열로 구성된 베이어 영상이 형성되는 단계, 상기 베이어 영상이 적색 영상, 녹색 영상 및 청색 영상으로 변환되는 단계, 상기 적색 영상, 상기 녹색 영상 및 상기 청색 영상의 데이터를 포함하는 카메라 RGB 데이터가 제1 색공간 변환 행렬을 이용하여 디스플레이 R'G'B' 데이터로 변환되는 단계, 및 상기 디스플레이 R'G'B' 데이터를 이용하여 디스플레이 유닛에 영상이 표시되는 단계를 포함하고, 상기 제1 색공간 변환 행렬은, N개의 컬러에 대한 카메라 RGB 데이터를 N×3의 제1 행렬로 나타내고, 상기 디스플레이 유닛에 표시되는 상기 N개의 컬러를 측색기로 측정하여 산출되는 상기 N개의 컬러에 대한 디스플레이 R'G'B' 데이터를 N×3의 제2 행렬로 나타낼 때, 상기 제1 행렬의 전치행렬과 상기 제1 색공간 변환 행렬의 곱이 상기 제2 행렬의 전치행렬인 관계로부터 산출된다.
상기 베이어 영상이 형성되는 단계는, 상기 베이어 영상의 블랙 레벨을 조정하고 잡음을 제거하는 단계, 및 상기 베이어 영상에 대해 화이트 밸런스를 수행하는 단계를 포함할 수 있다.
상기 베이어 영상이 적색 영상, 녹색 영상 및 청색 영상으로 변환되는 단계는, 상기 적색 영상, 상기 녹색 영상 및 상기 청색 영상이 인간의 시각 특성에 맞도록 감마 보정을 수행하는 단계를 포함할 수 있다.
상기 카메라 RGB 데이터가 제1 색공간 변환 행렬을 이용하여 디스플레이 R'G'B' 데이터로 변환되는 단계는, 상기 디스플레이 R'G'B' 데이터의 에지, 콘트라스트 및 채도를 향상시키는 후처리를 수행하는 단계를 포함할 수 있다.
상기 카메라 RGB 데이터가 제2 색공간 변환 행렬을 이용하여 sRGB 색역에서의 적색 영상 데이터, 녹색 영상 데이터 및 청색 영상 데이터를 포함하는 sRGB 데이터로 변환되는 단계, 및 상기 sRGB 데이터가 데이터 송수신 유닛을 통해 송신되는 단계를 더 포함할 수 있다.
상기 제2 색공간 변환 행렬은, 상기 N개의 컬러에 대한 카메라 RGB 데이터를 N×3의 제1 행렬로 나타내고, sRGB 색역에서 상기 N개의 컬러에 대한 sRGB 데이터를 N×3의 제3 행렬로 나타낼 때, 상기 제1 행렬의 전치행렬과 상기 제2 색공간 변환 행렬의 곱이 상기 제3 행렬의 전치행렬인 관계로부터 산출될 수 있다.
상기 디스플레이 R'G'B' 데이터가 데이터 저장 유닛에 저장되는 단계를 더 포함할 수 있다.
본 발명의 또 다른 실시예에 따른 영상 처리 방법은 데이터 송수신 유닛을 통해 sRGB 색역에서의 적색 영상 데이터, 녹색 영상 데이터 및 청색 영상 데이터를 포함하는 sRGB 데이터가 수신되는 단계, 제2 색공간 변환 행렬의 역행렬을 이용하여 상기 sRGB 데이터가 카메라 RGB 데이터로 생성되는 단계, 및 제1 색공간 변환 행렬을 이용하여 상기 카메라 RGB 데이터가 디스플레이 R'G'B' 데이터로 생성되는 단계를 포함하고, 상기 제1 색공간 변환 행렬은, N개의 컬러에 대한 카메라 RGB 데이터를 N×3의 제1 행렬로 나타내고, 디스플레이 유닛에 표시되는 상기 N개의 컬러를 측색기로 측정하여 산출되는 상기 N개의 컬러에 대한 디스플레이 R'G'B' 데이터를 N×3의 제2 행렬로 나타낼 때, 상기 제1 행렬의 전치행렬과 상기 제1 색공간 변환 행렬의 곱이 상기 제2 행렬의 전치행렬인 관계로부터 산출된다.
상기 제2 색공간 변환 행렬은, 상기 N개의 컬러에 대한 카메라 RGB 데이터를 N×3의 제1 행렬로 나타내고, sRGB 색역에서 상기 N개의 컬러에 대한 sRGB 데이터를 N×3의 제3 행렬로 나타낼 때, 상기 제1 행렬의 전치행렬과 상기 제2 색공간 변환 행렬의 곱이 상기 제3 행렬의 전치행렬인 관계로부터 산출될 수 있다.
상기 sRGB 데이터가 수신되는 단계는, 제1 영상 처리 장치에서 적색 채널값, 녹색 채널값 및 청색 채널값의 배열로 구성된 베이어 영상이 형성되는 단계, 상기 베이어 영상이 적색 영상, 녹색 영상 및 청색 영상으로 변환되는 단계, 상기 적색 영상, 상기 녹색 영상 및 상기 청색 영상의 데이터를 포함하는 카메라 RGB 데이터가 상기 제1 영상 처리 장치의 제2 색공간 변환 행렬을 이용하여 상기 sRGB 데이터로 생성되는 단계, 및 상기 제1 영상 처리 장치로부터 상기 sRGB 데이터가 수신되는 단계를 포함할 수 있다.
상기 sRGB 데이터가 수신되는 단계는, 제1 영상 처리 장치에 저장되어 있는 제1 디스플레이 R'G'B' 데이터가 상기 제1 영상 처리 장치의 제1 색공간 변환 행렬의 역행렬을 이용하여 제1 카메라 RGB 데이터로 생성되는 단계, 상기 제1 카메라 RGB 데이터가 상기 제1 영상 처리 장치의 제2 색공간 변환 행렬을 이용하여 상기 sRGB 데이터로 생성되는 단계, 및 상기 제1 영상 처리 장치로부터 상기 sRGB 데이터가 수신되는 단계를 포함할 수 있다.
좁은 색역을 갖는 카메라에서 촬영된 영상이 넓은 색역을 갖는 유기발광 디스플레이에서 표시될 때 영상의 색이 실제 색과 동일하게 재현될 수 있다.
유기발광 디스플레이에서 D65 sRGB 표준 색역으로 생성된 영상이 정확한 색으로 표시될 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 처리 장치를 나타내는 블록도이다.
도 2는 본 발명의 일 실시예에 따는 영상 처리 장치의 제1 색공간 변환 행렬을 산출하는 방법을 나타내는 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 영상 처리 장치의 제2 색공간 변환 행렬을 산출하는 방법을 나타내는 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 제1 영상 처리 장치와 제2 영상 처리 장치에서의 영상 처리 방법을 나타내는 흐름도이다.
도 5는 본 발명의 다른 실시예에 따른 제1 영상 처리 장치와 제2 영상 처리 장치에서의 영상 처리 방법을 나타내는 흐름도이다.
이하, 첨부한 도면을 참고로 하여 본 발명의 실시예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예들에 한정되지 않는다.
또한, 여러 실시예들에 있어서, 동일한 구성을 가지는 구성요소에 대해서는 동일한 부호를 사용하여 대표적으로 제1 실시예에서 설명하고, 그 외의 실시예에서는 제1 실시예와 다른 구성에 대해서만 설명하기로 한다.
본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본 발명의 일 실시예에 따른 영상 처리 장치를 나타내는 블록도이다.
도 1을 참조하면, 영상 처리 장치(100)는 카메라 센서 유닛(101), 전처리 유닛(102), 화이트 밸런싱 유닛(103), 디모자이킹 유닛(104), 감마 보정 유닛(105), 제1 색공간 변환 유닛(106), 후처리 유닛(107), 디스플레이 유닛(108), 데이터 저장 유닛(109), 제2 색공간 변환 유닛(110) 및 데이터 송수신 유닛(111)을 포함한다.
카메라 센서 유닛(camera sensor unit)(101)은 CMOS(complementary metal-oxide semiconductor) 또는 CCD(charge coupled device) 등의 이미지 센서 및 컬러 필터를 포함한다. CMOS 또는 CCD와 같은 이미지 센서에 의해 획득되는 영상은 단색(monochrome)의 영상이므로, 이미지 센서의 전단부에 가시광선 영역에서 특정 주파수 대역만을 통과시키는 컬러 필터를 마련하여 컬러 영상을 획득한다. 컬러 필터는 피사체로부터 전달되는 영상 중 특정 주파수 대역을 갖는 영상을 통과시킨다. 컬러 필터는 복수의 영역으로 나누어져 있으며, 각 영역은 적색, 녹색, 청색의 3개의 컬러 중 하나의 컬러가 갖는 주파수 대역과 동일한 주파수 대역을 갖는 영상신호만을 통과시킨다. 컬러 필터를 통과한 영상신호는 CMOS 또는 CCD 등의 이미지 센서로 전달된다. 이미지 센서는 전달받은 영상신호를 전기적 신호로 변환한다. 컬러 필터를 통과하므로 전기적 신호는 적색 채널값, 녹색 채널값 및 청색 채널값으로 구성된다. 적색 채널값, 녹색 채널값 및 청색 채널값의 배열로 구성된 베이어 영상(bayer image)이 형성된다.
전처리 유닛(pre-processing unit)(102)은 베이어 영상의 블랙 레벨을 조정하고 잡음을 제거한다.
화이트 밸런싱 유닛(white balancing unit)(103)은 베이어 영상에 대해 화이트 밸런스(white balance)를 수행한다. 화이트 밸런스는 정확한 색 재현을 위하여 색 균형을 미리 조정하는 것이다. 화이트 밸런스를 통해 베이어 영상에서 조명에 의해 왜곡된 색이 인간이 인지하는 색으로 보정될 수 있다.
디모자이킹 유닛(demosaicking unit)(104)은 베이어 영상을 녹색 영상, 적색 영상 및 청색 영상으로 변환한다. 즉, 디모자이킹 유닛(104)은 1 채널의 베이어 영상을 3 채널의 컬러 영상으로 변환한다.
감마 보정 유닛(gamma correction unit)(105)은 녹색 영상, 적색 영상 및 청색 영상이 인간의 시각 특성에 맞도록 감마 보정을 수행한다. 즉, 감마 보정 유닛(105)은 비선형적인 인간의 시각 특성에 따른 비선형 전달 함수(nonlinear transfer function)를 이용하여 녹색 영상, 적색 영상 및 청색 영상 각각을 비선형적으로 변형한다.
이하, 감마 보정된 녹색 영상의 데이터, 적색 영상의 데이터 및 청색 영상의 데이터를 통칭하여 카메라 RGB 데이터라 한다. 카메라 RGB 데이터는 카메라의 색역에서 컬러의 색좌표를 포함한다.
제1 색공간 변환 유닛(first color space conversion unit)(106)은 제1 색공간 변환 행렬을 이용하여 카메라 RGB 데이터를 디스플레이 R'G'B' 데이터로 변환한다. 디스플레이 R'G'B' 데이터는 디스플레이 유닛(108)의 색역 특성에 따른 녹색 영상 데이터, 적색 영상 데이터 및 청색 영상 데이터를 통칭한다. 디스플레이 R'G'B' 데이터는 디스플레이의 색역에서 컬러의 색좌표를 포함한다. 제1 색공간 변환 행렬은 카메라의 색역으로 촬영된 영상의 색이 디스플레이에서 왜곡되지 않고 동일한 색으로 표시될 수 있도록 카메라 RGB 데이터를 디스플레이의 색역 특성을 반영하여 디스플레이 R'G'B' 데이터로 변환하는 행렬이다. 제1 색공간 변환 행렬을 산출하는 방법에 대해서 도 2에서 후술한다.
제1 색공간 변환 유닛(106)은 제1 색공간 변환 행렬의 역행렬을 이용하여 디스플레이 R'G'B' 데이터를 카메라 RGB 데이터로 역변환할 수도 있다.
후처리 유닛(post-processing unit)(107)은 디스플레이 R'G'B' 데이터의 에지(edge), 콘트라스트(contrast), 채도(saturation) 등을 향상시키는 후처리를 수행한다.
디스플레이 유닛(display unit)(108)은 후처리된 디스플레이 R'G'B 데이터를 이용하여 영상을 표시한다. 디스플레이 유닛은 유기발광 디스플레이일 수 있으며, 유기발광 디스플레이는 NTSC(National Television System Committee) 기준으로 110%의 색역을 가질 수 있다.
데이터 저장 유닛(data storage unit)(109)은 제1 색공간 변환 유닛(106)에서 변환된 디스플레이 R'G'B' 데이터를 저장한다. 즉, 데이터 저장 유닛(109)에는 디스플레이 유닛(108)의 색역 특성에 따른 디스플레이 R'G'B' 데이터가 저장된다.
제2 색공간 변환 유닛(second color space conversion unit)(110)은 제2 색공간 변환 행렬을 이용하여 카메라 RGB 데이터를 sRGB 데이터로 변환한다. sRGB 데이터는 D65(Daylight 6500K)의 sRGB 색역에서의 녹색 영상 데이터, 적색 영상 데이터 및 청색 영상 데이터를 통칭한다. sRGB 색역은 NTSC 기준으로 70% 색역에 해당한다. sRGB 데이터는 sRGB 색역에서 컬러의 색좌표를 포함한다. 제2 색공간 변환 행렬은 촬영된 영상의 송수신을 위해 카메라 RGB 데이터를 표준 색역인 sRGB 색역에서의 sRGB 데이터로 변환하는 행렬이다. 제2 색공간 변환 행렬을 산출하는 방법에 대해서는 도 3에서 후술한다.
제2 색공간 변환 유닛(110)은 제2 색공간 변환 행렬의 역행렬을 이용하여 sRGB 데이터를 카메라 RGB 데이터로 역변환할 수도 있다.
한편, 여기서는 촬영된 영상의 색역이 sRGB 색역과 다른 색역인 것으로 설명하였으나, 촬영된 영상의 색역은 sRGB 색역과 동일한 색역일 수도 있다. 즉, 카메라 RGB 데이터는 sRGB 색역의 sRGB 데이터와 동일할 수 있다. 이러한 경우, 제2 색공간 변환 유닛(110)은 생략될 수도 있다.
데이터 송수신 유닛(111)은 sRGB 데이터를 다른 영상 처리 장치에 송신하거나 다른 영상 처리 장치로부터 sRGB 데이터를 수신한다. 다른 영상 처리 장치가 카메라 색역이나 디스플레이 색역으로 어떤 색역을 사용하는지 알 수 없고, 송수신 되는 영상 데이터가 어떤 색역의 데이터인지 알 수 없으므로, 영상 처리 장치에 송수신되는 영상 데이터는 임의의 영상 처리 장치에서 공통적으로 사용될 수 있는 표준 색역의 데이터일 필요가 있다. 따라서, 영상 처리 장치 간에 송수신되는 영상 데이터는 sRGB 색역의 sRGB 데이터로 변환 처리되어 송신된다.
도 2는 본 발명의 일 실시예에 따는 영상 처리 장치의 제1 색공간 변환 행렬을 산출하는 방법을 나타내는 흐름도이다.
도 2를 참조하면, 영상 처리 장치(100)의 제1 색공간 변환 행렬은 카메라 RGB 데이터를 디스플레이 R'G'B' 데이터로 변환하는 RGB to R'G'B' 행렬이다.
미리 정해진 N개의 컬러가 영상 처리 장치(100)의 카메라 센서 유닛(101)으로 촬영된다(S110). N개의 컬러는 임의의 컬러로 선택될 수 있으나, 제1 색공간 변환 행렬의 정확한 산출을 위하여 N개의 컬러는 적색, 녹색, 청색 등으로 선택될 수 있다. 제1 색공간 변환 행렬을 더욱 정확하게 산출하기 위해서는 적색, 녹색, 청색 이외에 청록색(Cyan), 자홍색(Magenta), 황색(Yellow), 백색(White) 등의 더 많은 수의 컬러가 이용될 수 있다.
촬영된 영상은 전처리 유닛(102), 화이트 밸런싱 유닛(103), 디모자이킹 유닛(104) 및 감마 보정 유닛(105)에서 처리되어 카메라 RGB 데이터로 생성된다(S120). 즉, 카메라 센서 유닛(101)에서 형성된 베이어 영상에 대해 전처리 과정, 화이트 밸런스 과정, 디모자이크 과정, 감마 보정 과정 등이 수행되어 N개의 컬러에 대한 카메라 RGB 데이터가 생성된다.
한편, 디스플레이 유닛(108)에 N개의 컬러가 표시되고, N개의 컬러가 측색기(spectrophotometer)로 측정된다(S130).
측색기로 디스플레이 유닛(108)에 표시되는 N개의 컬러의 파장별 세기를 측정하면 N개의 컬러 각각의 삼자극치 XYZ가 산출된다(S140).
삼자극치 XYZ를 디스플레이 R'G'B' 데이터로 변환하는 XYZ to R'G'B' 역변환 행렬을 이용하여 N개의 컬러 각각의 삼자극치 XYZ는 디스플레이 R'G'B' 데이터로 변환된다(S150). 디스플레이의 색역 특성을 반영한 R'G'B' to XYZ 변환 행렬은 측색기를 이용한 측정으로 산출될 수 있다. 따라서, R'G'B' to XYZ 변환 행렬의 역행렬인 XYZ to R'G'B' 역변환 행렬이 산출될 수 있다.
XYZ to R'G'B' 역변환 행렬을 이용하여 N개의 컬러에 대한 디스플레이 R'G'B' 데이터가 생성된다(S160).
N개의 컬러에 대한 카메라 RGB 데이터와 N개의 컬러에 대한 디스플레이 R'G'B' 데이터 간의 관계로부터 RGB to R'G'B' 행렬이 산출된다(S170).
N개의 컬러에 대한 카메라 RGB 데이터 및 디스플레이 R'G'B' 데이터를 N×3 행렬로 표현하면 수학식 1과 같이 나타낼 수 있다.
Figure pat00001
여기서, A는 카메라 RGB 데이터의 N×3 행렬, B는 디스플레이 RGB 데이터의 N×3 행렬을 나타낸다. 그리고 RC1, GC1, BC1은 카메라 RGB 데이터에서 제1 컬러의 색좌표를 나타내고, RC2, GC2, BC2는 카메라 RGB 데이터에서 제2 컬러의 색좌표를 나타내고, RCN, GCN, BCN은 카메라 RGB 데이터에서 제N 컬러의 색좌표를 나타낸다. 그리고 RD1, GD1, BD1은 디스플레이 R'G'B' 데이터에서 제1 컬러의 색좌표를 나타내고, RD2, GD2, BD2는 디스플레이 R'G'B' 데이터에서 제2 컬러의 색좌표를 나타내고, RDN, GDN, BDN은 디스플레이 R'G'B' 데이터에서 제N 컬러의 색좌표를 나타낸다.
RGB to R'G'B' 행렬, 즉 제1 색공간 변환 행렬을 M이라 할 때, A, B 및 M의 관계는 수학식 2와 같이 나타낼 수 있다.
Figure pat00002
여기서, AT는 A의 전치행렬(transpose), BT는 B의 전치행렬이다.
수학식 2에서 양변에 AT의 전치행렬 A를 곱하고, 양변에 (AT·A)의 역행렬(inverse matrix) (AT·A)- 1를 곱하면, 제1 색공간 변환 행렬 M은 수학식 3과 같이 산출된다.
Figure pat00003
이와 같이, N개의 컬러에 대한 카메라 RGB 데이터를 N×3 행렬(A)로 나타내고, 디스플레이 유닛(108)에 표시되는 N개의 컬러를 측색기로 측정하여 산출되는 N개의 컬러에 대한 디스플레이 R'G'B' 데이터를 N×3 행렬(B)로 나타낼 때, 제1 색공간 변환 행렬은 A의 전치행렬과 제1 색공간 변환 행렬의 곱이 B의 전치행렬인 관계로부터 산출된다.
산출된 제1 색공간 변환 행렬은 도 1의 제1 색공간 변환 유닛(106)에서 카메라 RGB 데이터를 디스플레이 R'G'B' 데이터로 변환하는데 이용될 수 있다.
도 3은 본 발명의 일 실시예에 따른 영상 처리 장치의 제2 색공간 변환 행렬을 산출하는 방법을 나타내는 흐름도이다.
도 3을 참조하면, 영상 처리 장치(100)의 제2 색공간 변환 행렬은 카메라 RGB 데이터를 sRGB 데이터로 변환하는 RGB to sRGB 행렬이다.
미리 정해진 N개의 컬러가 영상 처리 장치(100)의 카메라 센서 유닛(101)으로 촬영된다(S210). N개의 컬러는 임의의 컬러로 선택될 수 있으나, 제2 색공간 변환 행렬의 정확한 산출을 위하여 N개의 컬러는 적색, 녹색, 청색 등으로 선택될 수 있다. 제2 색공간 변환 행렬을 더욱 정확하게 산출하기 위해서는 적색, 녹색, 청색 이외에 청록색(Cyan), 자홍색(Magenta), 황색(Yellow), 백색(White) 등의 더 많은 수의 컬러가 이용될 수 있다.
촬영된 영상은 전처리 유닛(102), 화이트 밸런싱 유닛(103), 디모자이킹 유닛(104) 및 감마 보정 유닛(105)에서 처리되어 카메라 RGB 데이터로 생성된다(S220). 즉, 카메라 센서 유닛(101)에서 형성된 베이어 영상에 대해 전처리 과정, 화이트 밸런스 과정, 디모자이크 과정, 감마 보정 과정 등이 수행되어 N개의 컬러에 대한 카메라 RGB 데이터가 생성된다.
그리고 미리 정해진 N개의 컬러에 대한 sRGB 데이터가 생성된다(S230). sRGB 색역은 표준화된 색으로서, 미리 정해진 N개의 컬러에 대한 sRGB 데이터는 sRGB 색역에 대한 룩업테이블(look up table) 등으로부터 도출될 수 있다.
N개의 컬러에 대한 카메라 RGB 데이터와 N개의 컬러에 대한 sRGB 데이터 간의 관계로부터 RGB to sRGB 행렬이 산출된다(S240). RGB to sRGB 행렬, 즉 제2 색공간 변환 행렬은 도 2의 수학식 1 내지 3에서 설명한 방식과 동일한 방식으로 도출될 수 있다. 즉, N개의 컬러에 대한 카메라 RGB 데이터를 N×3 행렬(A)로 나타내고, sRGB 색역에서 N개의 컬러에 대한 sRGB 데이터를 N×3 행렬(B)로 나타낼 때, 제2 색공간 변환 행렬은 A의 전치행렬과 제2 색공간 변환 행렬의 곱이 B의 전치행렬인 관계로부터 산출된다.
이제, 제안하는 영상 처리 장치(100) 간에 영상 데이터를 송수신하는 과정에서 영상 데이터를 처리하는 방법에 대하여 설명한다.
도 4는 본 발명의 일 실시예에 따른 제1 영상 처리 장치와 제2 영상 처리 장치에서의 영상 처리 방법을 나타내는 흐름도이다.
도 4를 참조하면, 제1 영상 처리 장치에서 촬영된 영상이 제2 영상 처리 장치에 송신되는 경우이다.
제1 영상 처리 장치에서 촬영된 영상은 제1 카메라 RGB 데이터로 생성된다(S310). 즉, 제1 영상 처리 장치의 제1 카메라 유닛에서 촬영된 영상은 제1 영상 처리 장치의 전처리 유닛, 화이트 밸런스 유닛, 디모자이킹 유닛, 감마 보정 유닛 등을 통해 제1 카메라 RGB 데이터로 생성된다. 이때, 제1 영상 처리 장치에서는 제1 영상 처리 장치의 제1 색공간 변환 행렬을 이용하여 제1 카메라 RGB 데이터가 제1 디스플레이 R'G'B' 데이터로 변환되고, 제1 디스플레이 R'G'B' 데이터는 제1 영상 처리 장치의 디스플레이 유닛을 통해 영상으로 표시될 수도 있다.
제1 카메라 RGB 데이터는 제1 영상 처리 장치의 제2 색공간 변환 행렬을 이용하여 sRGB 데이터로 생성된다(S320). 즉, 제1 카메라 RGB 데이터는 제1 영상 처리 장치의 제2 색공간 변환 유닛을 통해 sRGB 데이터로 변환된다. 제1 영상 처리 장치의 제2 색공간 변환 행렬은 제1 카메라 RGB 데이터를 sRGB 데이터로 변환하는 행렬이다.
sRGB 데이터는 제1 영상 처리 장치의 데이터 송수신 유닛을 통해 제2 영상 처리 장치로 송신된다(S330).
sRGB 데이터는 제2 영상 처리 장치에 수신된다(S340). 즉, 제2 영상 처리 장치는 데이터 송수신 유닛을 통해 sRGB 데이터를 수신한다.
sRGB 데이터는 제2 영상 처리 장치의 제2 색공간 변환 행렬의 역행렬을 이용하여 제2 카메라 RGB 데이터로 생성된다(S350). 즉, sRGB 데이터는 제2 영상 처리 장치의 제2 색공간 변환 유닛을 통해 제2 카메라 RGB 데이터로 변환된다. 제2 영상 처리 장치의 제2 색공간 변환 행렬은 제2 카메라 RGB 데이터를 sRGB 데이터로 변환하는 행렬이고, 이의 역행렬은 sRGB 데이터를 제2 카메라 RGB 데이터로 변환하는 행렬이다.
제2 카메라 RGB 데이터는 제2 영상 처리 장치의 제1 색공간 변환 행렬을 이용해 제2 디스플레이 R'G'B' 데이터로 생성된다(S360). 즉, 제2 카메라 RGB 데이터는 제2 영상 처리 장치의 제1 색공간 변환 유닛을 통해 제2 디스플레이 R'G'B' 데이터로 변환된다. 제2 영상 처리 장치에서 제1 색공간 변환 행렬은 제2 카메라 RGB 데이터를 제2 디스플레이 R'G'B' 데이터로 변환하는 행렬이다. 제2 디스플레이 R'G'B' 데이터는 제2 영상 처리 장치의 디스플레이 유닛을 통해 영상으로 표시될 수 있다.
이와 같이, 제1 영상 처리 장치는 제1 카메라 RGB 데이터를 표준화된 sRGB 색역의 sRGB 데이터로 변환하여 송신하고, 제2 영상 처리 장치는 sRGB 데이터를 제2 카메라 RGB 데이터로 변환한 후 제2 카메라 RGB 데이터를 제2 디스플레이 R'G'B' 데이터로 변환하여 디스플레이 유닛에 표시함으로써, 서로 다른 카메라 색역 및 디스플레이 색역을 갖는 영상 처리 장치들 간에 컬러의 왜곡 없이 영상 데이터가 송수신될 수 있다.
도 5는 본 발명의 다른 실시예에 따른 제1 영상 처리 장치와 제2 영상 처리 장치에서의 영상 처리 방법을 나타내는 흐름도이다.
도 5를 참조하면, 제1 영상 처리 장치에 저장되어 있는 영상이 제2 영상 처리 장치에 송신되는 경우이다.
제1 영상 처리 장치에서 촬영된 영상은 제1 영상 처리 장치의 디스플레이 유닛에서 표시될 수 있는 제1 디스플레이 R'G'B 데이터로 저장된다(S410). 즉, 제1 영상 처리 장치의 제1 카메라 유닛에서 촬영된 영상은 제1 영상 처리 장치의 전처리 유닛, 화이트 밸런스 유닛, 디모자이킹 유닛, 감마 보정 유닛 등을 통해 제1 카메라 RGB 데이터로 생성된다. 그리고 제1 카메라 RGB 데이터는 제1 영상 처리 장치의 제1 색공간 변환 유닛을 통해 제1 디스플레이 R'G'B' 데이터로 변환되고, 제1 디스플레이 R'G'B' 데이터는 제1 영상 처리 장치의 디스플레이 유닛을 통해 영상으로 표시될 수도 있다. 이때, 제1 색공간 변환 유닛을 통해 변환된 제1 디스플레이 R'G'B' 데이터는 제1 영상 처리 장치의 데이터 저장 유닛에 저장될 수 있다.
제1 영상 처리 장치에 저장되어 있는 제1 디스플레이 R'G'B' 데이터는 제1 영상 처리 장치의 제1 색공간 변환 행렬의 역행렬을 이용하여 제1 카메라 RGB 데이터로 생성된다(S420). 즉, 제1 디스플레이 R'G'B' 데이터는 제1 영상 처리 장치의 제1 색공간 변환 유닛을 통해 제1 카메라 RGB 데이터로 변환된다. 제1 영상 처리 장치의 제1 색공간 변환 행렬은 제1 카메라 RGB 데이터를 제1 디스플레이 R'G'B' 데이터로 변환하는 행렬이고, 이의 역행렬은 제1 디스플레이 R'G'B' 데이터를 제1 카메라 RGB 데이터로 변환하는 행렬이다.
제1 카메라 RGB 데이터는 제1 영상 처리 장치의 제2 색공간 변환 행렬을 이용하여 sRGB 데이터로 생성된다(S430). 즉, 제1 카메라 RGB 데이터는 제1 영상 처리 장치의 제2 색공간 변환 유닛을 통해 sRGB 데이터로 변환된다. 제1 영상 처리 장치의 제2 색공간 변환 행렬은 제1 카메라 RGB 데이터를 sRGB 데이터로 변환하는 행렬이다.
sRGB 데이터는 제1 영상 처리 장치의 데이터 송수신 유닛을 통해 제2 영상 처리 장치로 송신된다(S440).
sRGB 데이터는 제2 영상 처리 장치에 수신된다(S450). 즉, 제2 영상 처리 장치는 데이터 송수신 유닛을 통해 sRGB 데이터를 수신한다.
sRGB 데이터는 제2 영상 처리 장치의 제2 색공간 변환 행렬의 역행렬을 이용하여 제2 카메라 RGB 데이터로 생성된다(S460). 즉, sRGB 데이터는 제2 영상 처리 장치의 제2 색공간 변환 유닛을 통해 제2 카메라 RGB 데이터로 변환된다. 제2 영상 처리 장치의 제2 색공간 변환 행렬은 제2 카메라 RGB 데이터를 sRGB 데이터로 변환하는 행렬이고, 이의 역행렬은 sRGB 데이터를 제2 카메라 RGB 데이터로 변환하는 행렬이다.
제2 카메라 RGB 데이터는 제2 영상 처리 장치의 제1 색공간 변환 행렬을 이용해 제2 디스플레이 R'G'B' 데이터로 생성된다(S470). 즉, 제2 카메라 RGB 데이터는 제2 영상 처리 장치의 제1 색공간 변환 유닛을 통해 제2 디스플레이 R'G'B' 데이터로 변환된다. 제2 영상 처리 장치에서 제1 색공간 변환 행렬은 제2 카메라 RGB 데이터를 제2 디스플레이 R'G'B' 데이터로 변환하는 행렬이다. 제2 디스플레이 R'G'B' 데이터는 제2 영상 처리 장치의 디스플레이 유닛을 통해 영상으로 표시될 수 있다.
이와 같이, 제1 영상 처리 장치에 저장되어 있는 제1 디스플레이 R'G'B' 데이터를 제1 카메라 RGB 데이터로 변환한 후 제1 카메라 RGB 데이터를 표준화된 sRGB 색역의 sRGB 데이터로 변환하여 송신하고, 제2 영상 처리 장치는 sRGB 데이터를 제2 카메라 RGB 데이터로 변환한 후 제2 카메라 RGB 데이터를 제2 디스플레이 R'G'B' 데이터로 변환하여 디스플레이 유닛에 표시함으로써, 서로 다른 카메라 색역 및 디스플레이 색역을 갖는 영상 처리 장치들 간에 컬러의 왜곡 없이 영상 데이터가 송수신될 수 있다.
지금까지 참조한 도면과 기재된 발명의 상세한 설명은 단지 본 발명의 예시적인 것으로서, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
100 : 영상 처리 장치
101 : 카메라 센서 유닛
102 : 전처리 유닛
103 : 화이트 밸런싱 유닛
104 : 디모자이킹 유닛
105 : 감마 보정 유닛
106 : 제1 색공간 변환 유닛
107 : 후처리 유닛
108 : 디스플레이 유닛
109 : 데이터 저장 유닛
110 : 제2 색공간 변환 유닛
111 : 데이터 송수신 유닛

Claims (22)

  1. 베이어 영상을 형성하는 카메라 센서 유닛;
    상기 베이어 영상을 적색 영상, 녹색 영상 및 청색 영상으로 변환하는 디모자이킹 유닛;
    상기 적색 영상, 상기 녹색 영상 및 상기 청색 영상의 데이터를 포함하는 제1 카메라 RGB 데이터를 제1 색공간 변환 행렬을 이용하여 제1 디스플레이 R'G'B' 데이터로 변환하는 제1 색공간 변환 유닛; 및
    상기 제1 디스플레이 R'G'B' 데이터를 이용하여 영상을 표시하는 디스플레이 유닛을 포함하고,
    상기 제1 색공간 변환 행렬은,
    N개의 컬러에 대한 카메라 RGB 데이터를 N×3의 제1 행렬로 나타내고, 상기 디스플레이 유닛에 표시되는 상기 N개의 컬러를 측색기로 측정하여 산출되는 상기 N개의 컬러에 대한 디스플레이 R'G'B' 데이터를 N×3의 제2 행렬로 나타낼 때, 상기 제1 행렬의 전치행렬과 상기 제1 색공간 변환 행렬의 곱이 상기 제2 행렬의 전치행렬인 관계로부터 산출되는 영상 처리 장치.
  2. 제1 항에 있어서,
    상기 제1 카메라 RGB 데이터를 제2 색공간 변환 행렬을 이용하여 sRGB 색역에서의 적색 영상 데이터, 녹색 영상 데이터 및 청색 영상 데이터를 포함하는 제1 sRGB 데이터로 변환하는 제2 색공간 변환 유닛을 더 포함하는 영상 처리 장치.
  3. 제2 항에 있어서,
    상기 제2 색공간 변환 행렬은,
    N개의 컬러에 대한 카메라 RGB 데이터를 N×3의 제1 행렬로 나타내고, 상기 sRGB 색역에서 상기 N개의 컬러에 대한 sRGB 데이터를 N×3의 제2 행렬로 나타낼 때, 상기 제1 행렬의 전치행렬과 상기 제2 색공간 변환 행렬의 곱이 상기 제2 행렬의 전치행렬인 관계로부터 산출되는 영상 처리 장치.
  4. 제2 항에 있어서,
    상기 제1 sRGB 데이터를 송신하고 제2 sRGB 데이터를 수신하는 데이터 송수신 유닛을 더 포함하는 영상 처리 장치.
  5. 제4 항에 있어서,
    상기 제2 색공간 변환 유닛은 상기 제2 색공간 변환 행렬의 역행렬을 이용하여 상기 제2 sRGB 데이터를 제2 카메라 RGB 데이터로 변환하고,
    상기 제1 색공간 변환 유닛은 상기 제1 색공간 변환 행렬을 이용하여 상기 제2 카메라 RGB 데이터를 제2 디스플레이 R'G'B' 데이터로 변환하고,
    상기 디스플레이 유닛은 상기 제2 디스플레이 R'G'B' 데이터를 이용하여 영상을 표시하는 영상 처리 장치.
  6. 제4 항에 있어서,
    상기 제1 디스플레이 R'G'B' 데이터를 저장하는 데이터 저장 유닛을 더 포함하는 영상 처리 장치.
  7. 제6 항에 있어서,
    상기 제1 색공간 변환 유닛은 상기 데이터 저장 유닛에 저장되어 있는 제1 디스플레이 R'G'B' 데이터를 상기 제1 색공간 변환 행렬의 역행렬을 이용하여 상기 제1 카메라 RGB 데이터로 변환하는 영상 처리 장치.
  8. 제1 항에 있어서,
    상기 베이어 영상의 블랙 레벨을 조정하고 잡음을 제거하는 전처리 유닛을 더 포함하는 영상 처리 장치.
  9. 제1 항에 있어서,
    상기 베이어 영상에 대해 화이트 밸런스를 수행하는 화이트 밸런싱 유닛을 더 포함하는 영상 처리 장치.
  10. 제1 항에 있어서,
    상기 적색 영상, 상기 녹색 영상 및 상기 청색 영상이 인간의 시각 특성에 맞도록 감마 보정을 수행하는 감마 보정 유닛을 더 포함하는 영상 처리 장치.
  11. 제1 항에 있어서,
    상기 제1 디스플레이 R'G'B' 데이터의 에지, 콘트라스트 및 채도를 향상시키는 후처리를 수행하는 후처리 유닛을 더 포함하는 영상 처리 장치.
  12. 적색 채널값, 녹색 채널값 및 청색 채널값의 배열로 구성된 베이어 영상이 형성되는 단계;
    상기 베이어 영상이 적색 영상, 녹색 영상 및 청색 영상으로 변환되는 단계;
    상기 적색 영상, 상기 녹색 영상 및 상기 청색 영상의 데이터를 포함하는 카메라 RGB 데이터가 제1 색공간 변환 행렬을 이용하여 디스플레이 R'G'B' 데이터로 변환되는 단계; 및
    상기 디스플레이 R'G'B' 데이터를 이용하여 디스플레이 유닛에 영상이 표시되는 단계를 포함하고,
    상기 제1 색공간 변환 행렬은,
    N개의 컬러에 대한 카메라 RGB 데이터를 N×3의 제1 행렬로 나타내고, 상기 디스플레이 유닛에 표시되는 상기 N개의 컬러를 측색기로 측정하여 산출되는 상기 N개의 컬러에 대한 디스플레이 R'G'B' 데이터를 N×3의 제2 행렬로 나타낼 때, 상기 제1 행렬의 전치행렬과 상기 제1 색공간 변환 행렬의 곱이 상기 제2 행렬의 전치행렬인 관계로부터 산출되는 영상 처리 방법.
  13. 제12 항에 있어서,
    상기 베이어 영상이 형성되는 단계는,
    상기 베이어 영상의 블랙 레벨을 조정하고 잡음을 제거하는 단계; 및
    상기 베이어 영상에 대해 화이트 밸런스를 수행하는 단계를 포함하는 영상 처리 방법.
  14. 제12 항에 있어서,
    상기 베이어 영상이 적색 영상, 녹색 영상 및 청색 영상으로 변환되는 단계는,
    상기 적색 영상, 상기 녹색 영상 및 상기 청색 영상이 인간의 시각 특성에 맞도록 감마 보정을 수행하는 단계를 포함하는 영상 처리 방법.
  15. 제12 항에 있어서,
    상기 카메라 RGB 데이터가 제1 색공간 변환 행렬을 이용하여 디스플레이 R'G'B' 데이터로 변환되는 단계는,
    상기 디스플레이 R'G'B' 데이터의 에지, 콘트라스트 및 채도를 향상시키는 후처리를 수행하는 단계를 포함하는 영상 처리 방법.
  16. 제12 항에 있어서,
    상기 카메라 RGB 데이터가 제2 색공간 변환 행렬을 이용하여 sRGB 색역에서의 적색 영상 데이터, 녹색 영상 데이터 및 청색 영상 데이터를 포함하는 sRGB 데이터로 변환되는 단계; 및
    상기 sRGB 데이터가 데이터 송수신 유닛을 통해 송신되는 단계를 더 포함하는 영상 처리 방법.
  17. 제16 항에 있어서,
    상기 제2 색공간 변환 행렬은,
    상기 N개의 컬러에 대한 카메라 RGB 데이터를 N×3의 제1 행렬로 나타내고, sRGB 색역에서 상기 N개의 컬러에 대한 sRGB 데이터를 N×3의 제3 행렬로 나타낼 때, 상기 제1 행렬의 전치행렬과 상기 제2 색공간 변환 행렬의 곱이 상기 제3 행렬의 전치행렬인 관계로부터 산출되는 영상 처리 방법.
  18. 제12 항에 있어서,
    상기 디스플레이 R'G'B' 데이터가 데이터 저장 유닛에 저장되는 단계를 더 포함하는 영상 처리 방법.
  19. 데이터 송수신 유닛을 통해 sRGB 색역에서의 적색 영상 데이터, 녹색 영상 데이터 및 청색 영상 데이터를 포함하는 sRGB 데이터가 수신되는 단계;
    제2 색공간 변환 행렬의 역행렬을 이용하여 상기 sRGB 데이터가 카메라 RGB 데이터로 생성되는 단계; 및
    제1 색공간 변환 행렬을 이용하여 상기 카메라 RGB 데이터가 디스플레이 R'G'B' 데이터로 생성되는 단계를 포함하고,
    상기 제1 색공간 변환 행렬은,
    N개의 컬러에 대한 카메라 RGB 데이터를 N×3의 제1 행렬로 나타내고, 디스플레이 유닛에 표시되는 상기 N개의 컬러를 측색기로 측정하여 산출되는 상기 N개의 컬러에 대한 디스플레이 R'G'B' 데이터를 N×3의 제2 행렬로 나타낼 때, 상기 제1 행렬의 전치행렬과 상기 제1 색공간 변환 행렬의 곱이 상기 제2 행렬의 전치행렬인 관계로부터 산출되는 영상 처리 방법.
  20. 제19 항에 있어서,
    상기 제2 색공간 변환 행렬은,
    상기 N개의 컬러에 대한 카메라 RGB 데이터를 N×3의 제1 행렬로 나타내고, sRGB 색역에서 상기 N개의 컬러에 대한 sRGB 데이터를 N×3의 제3 행렬로 나타낼 때, 상기 제1 행렬의 전치행렬과 상기 제2 색공간 변환 행렬의 곱이 상기 제3 행렬의 전치행렬인 관계로부터 산출되는 영상 처리 방법.
  21. 제19 항에 있어서,
    상기 sRGB 데이터가 수신되는 단계는,
    제1 영상 처리 장치에서 적색 채널값, 녹색 채널값 및 청색 채널값의 배열로 구성된 베이어 영상이 형성되는 단계;
    상기 베이어 영상이 적색 영상, 녹색 영상 및 청색 영상으로 변환되는 단계;
    상기 적색 영상, 상기 녹색 영상 및 상기 청색 영상의 데이터를 포함하는 카메라 RGB 데이터가 상기 제1 영상 처리 장치의 제2 색공간 변환 행렬을 이용하여 상기 sRGB 데이터로 생성되는 단계; 및
    상기 제1 영상 처리 장치로부터 상기 sRGB 데이터가 수신되는 단계를 포함하는 영상 처리 방법.
  22. 제19 항에 있어서,
    상기 sRGB 데이터가 수신되는 단계는,
    제1 영상 처리 장치에 저장되어 있는 제1 디스플레이 R'G'B' 데이터가 상기 제1 영상 처리 장치의 제1 색공간 변환 행렬의 역행렬을 이용하여 제1 카메라 RGB 데이터로 생성되는 단계;
    상기 제1 카메라 RGB 데이터가 상기 제1 영상 처리 장치의 제2 색공간 변환 행렬을 이용하여 상기 sRGB 데이터로 생성되는 단계; 및
    상기 제1 영상 처리 장치로부터 상기 sRGB 데이터가 수신되는 단계를 포함하는 영상 처리 방법.
KR1020130053222A 2013-05-10 2013-05-10 영상 처리 장치 및 영상 처리 방법 Withdrawn KR20140133272A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130053222A KR20140133272A (ko) 2013-05-10 2013-05-10 영상 처리 장치 및 영상 처리 방법
US14/022,673 US9140608B2 (en) 2013-05-10 2013-09-10 Device and method for processing image for substantially accurately reproduced color images from a camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130053222A KR20140133272A (ko) 2013-05-10 2013-05-10 영상 처리 장치 및 영상 처리 방법

Publications (1)

Publication Number Publication Date
KR20140133272A true KR20140133272A (ko) 2014-11-19

Family

ID=51864520

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130053222A Withdrawn KR20140133272A (ko) 2013-05-10 2013-05-10 영상 처리 장치 및 영상 처리 방법

Country Status (2)

Country Link
US (1) US9140608B2 (ko)
KR (1) KR20140133272A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180062571A (ko) * 2016-11-30 2018-06-11 엘지디스플레이 주식회사 표시 패널의 보상 데이터 생성 방법 및 장치

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140133272A (ko) * 2013-05-10 2014-11-19 삼성디스플레이 주식회사 영상 처리 장치 및 영상 처리 방법
CN107092842A (zh) * 2017-04-14 2017-08-25 苏州三星电子电脑有限公司 保密显示方法与保密显示装置
US10902558B2 (en) * 2018-05-18 2021-01-26 Gopro, Inc. Multiscale denoising of raw images with noise estimation
CN112399254B (zh) * 2019-08-18 2022-06-14 海信视像科技股份有限公司 一种显示设备及色域空间动态调整方法
US10964240B1 (en) * 2019-10-23 2021-03-30 Pixelworks, Inc. Accurate display panel calibration with common color space circuitry
US12254601B2 (en) 2021-07-15 2025-03-18 Samsung Electronics Co., Ltd. Apparatus and method for interband denoising and sharpening of images
US12148124B2 (en) 2021-07-15 2024-11-19 Samsung Electronics Co., Ltd. Apparatus and method for combined intraband and interband multi-frame demosaicing
US12155421B2 (en) * 2022-05-18 2024-11-26 Rohde & Schwarz Gmbh & Co. Kg Augmented reality spectrum monitoring system

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100278642B1 (ko) 1998-10-22 2001-01-15 윤종용 칼라 영상 처리장치 및 방법
KR20050006424A (ko) 2003-07-08 2005-01-17 삼성전자주식회사 색신호 처리방법 및 그 방법을 사용하는 촬상장치
KR101081000B1 (ko) * 2003-10-23 2011-11-09 소니 가부시키가이샤 화상 처리 장치 및 화상 처리 방법과 기록 매체
TWI249336B (en) * 2004-11-15 2006-02-11 Ind Tech Res Inst Method and apparatus of color filter array demosaicking for digital image acquisition system
US7420663B2 (en) * 2005-05-24 2008-09-02 Bwt Property Inc. Spectroscopic sensor on mobile phone
JP4687320B2 (ja) * 2005-08-11 2011-05-25 ソニー株式会社 画像処理装置および方法、記録媒体、並びに、プログラム
EP1791340A3 (en) * 2005-10-07 2007-07-25 Seiko Epson Corporation Printer and image processing apparatus for printing raw data
JP4894594B2 (ja) * 2007-04-05 2012-03-14 ソニー株式会社 画像処理装置
KR101279086B1 (ko) 2007-06-01 2013-06-27 삼성전자주식회사 화상형성장치 및 색변환 방법
JP5800468B2 (ja) * 2010-05-11 2015-10-28 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理プログラム
CN102651136B (zh) * 2011-02-28 2014-11-26 国际商业机器公司 图像的颜色映射方法及装置
KR20140133272A (ko) * 2013-05-10 2014-11-19 삼성디스플레이 주식회사 영상 처리 장치 및 영상 처리 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180062571A (ko) * 2016-11-30 2018-06-11 엘지디스플레이 주식회사 표시 패널의 보상 데이터 생성 방법 및 장치

Also Published As

Publication number Publication date
US9140608B2 (en) 2015-09-22
US20140333797A1 (en) 2014-11-13

Similar Documents

Publication Publication Date Title
KR20140133272A (ko) 영상 처리 장치 및 영상 처리 방법
EP2642757B1 (en) Imaging systems with clear filter pixels
CN204498282U (zh) 具有可见光感光像素和红外光感光像素的成像系统
US8723995B2 (en) Extended dynamic range in color imagers
US7400332B2 (en) Hexagonal color pixel structure with white pixels
CN101494795A (zh) 使用绿色光谱范围重叠的单位像素群的图像传感器及方法
US9219894B2 (en) Color imaging element and imaging device
EP1612729A1 (en) Image processing device, method, and program
US9654756B1 (en) Method and apparatus for interpolating pixel colors from color and panchromatic channels to color channels
US7782367B2 (en) Direct calibration of color imaging devices
JP4936686B2 (ja) 画像処理
CN102231787B (zh) 一种影像色彩校正方法及其装置
KR101509568B1 (ko) 알지비 데이터를 이용한 색보정 방법
Zhou et al. Image pipeline tuning for digital cameras
TWI617198B (zh) 具有透明濾波器像素之成像系統
JP2006222783A (ja) 色変換テーブルの作成
US9648293B2 (en) Color model look-up table generation
Zhou Gray-preserving color correction without exposure value information
HK1255655A1 (en) Imaging systems with clear filter pixels
HK1189731B (en) Imaging systems with clear filter pixels

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20130510

PG1501 Laying open of application
PC1203 Withdrawal of no request for examination
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid