KR20120070125A - 인간컴퓨터 상호작용을 위한 영상처리장치 및 방법 - Google Patents

인간컴퓨터 상호작용을 위한 영상처리장치 및 방법 Download PDF

Info

Publication number
KR20120070125A
KR20120070125A KR1020100131556A KR20100131556A KR20120070125A KR 20120070125 A KR20120070125 A KR 20120070125A KR 1020100131556 A KR1020100131556 A KR 1020100131556A KR 20100131556 A KR20100131556 A KR 20100131556A KR 20120070125 A KR20120070125 A KR 20120070125A
Authority
KR
South Korea
Prior art keywords
image
fusion
input images
right input
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
KR1020100131556A
Other languages
English (en)
Inventor
최승민
장지호
조재일
황대환
신호철
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020100131556A priority Critical patent/KR20120070125A/ko
Priority to US13/326,799 priority patent/US20120154545A1/en
Publication of KR20120070125A publication Critical patent/KR20120070125A/ko
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0077—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 인간컴퓨터 상호작용을 위한 영상처리장치 및 방법을 제공한다. 좌우 스테레오 카메라로부터 촬영된 좌우측 입력 영상을 이용하여 융합 이전 정보를 생성하는 영상처리 융합부 및 융합 이전 정보 중 사용자가 원하는 정보만을 선택하여 하나의 영상으로 융합한 융합 출력 영상을 제공하는 융합영상 제공부를 포함한다.

Description

인간컴퓨터 상호작용을 위한 영상처리장치 및 방법{Image processing apparatus and method for human computer interaction}
본 발명은 인간컴퓨터 상호작용을 위한 영상처리장치 및 방법에 관한 것으로, 보다 상세하게는 인간컴퓨터 상호작용(Human Computer Interaction)에 필요한 영상처리 기술을 하나의 소자로 융합한 영상처리장치 및 방법에 관한 것이다.
영상처리 기술에서 인공 마커(Marker)를 활용하지 않고 사용자를 인식하기 위해서는 입체영상 정보, 얼굴 및 살색 등을 활용하는 것이 가장 유용한 방법이다. 그러나, 대부분의 영상처리 기술에서 우수한 결과를 얻기 위해서는 높은 연산이 요구되므로 소프트웨어만을 이용하여 실시간으로 영상을 처리하기 위한 상용 제품을 개발 하기에는 한계가 있다.
이러한 이유로 영상처리 기술에서 활용되는 핵심 요소 중 복잡한 연산을 필요로 하는 얼굴검출 및 스테레오 매칭 등이 개별 소자로 개발된 바 있다. 그러나 이러한 소자를 이용하는 경우 카메라 노이즈, 조명 변화, 낮은 해상도, 효율적인 리소스 활용 및 알고리즘 특성 등의 이유로 완벽한 결과를 보일 수 없으므로, 각 소자로부터 출력되는 인식률이 낮은 각 결과를 융합해서 사용해야 하는 문제점이 있다.
본 발명이 해결하고자 하는 과제는, 인간컴퓨터 상호작용을 위한 영상처리 기술에 필수적인 기술을 하나의 소자로 융합하여 처리할 수 있는 영상처리장치 및 방법에 관한 것이다.
상기 기술적 과제를 해결하기 위한 본 발명의 실시예에 따른 인간컴퓨터 상호작용을 위한 영상처리장치는,
좌우 스테레오 카메라로부터 촬영된 좌우측 입력 영상을 이용하여 융합 이전 정보를 생성하는 영상처리 융합부 및 상기 융합 이전 정보 중 사용자가 원하는 정보만을 선택하여 하나의 영상으로 융합한 융합 출력 영상을 제공하는 융합영상 제공부를 포함한다.
상기 융합 이전 정보는 상기 좌우측 입력 영상 각각의 경계선, 상기 경계선의 밀도, 얼굴의 좌표 영역, 상기 얼굴의 피부색, 상기 좌우측 입력 영상의 시차(disparity) 및 상기 좌우측 입력 영상 각각에 대한 차분영상(Difference Image)을 포함한다.
상기 영상처리 융합부는 현재 프레임에 대한 상기 좌우측 입력 영상 각각의 경계선을 유지하며 노이즈를 제거하며, 상기 현재 프레임 바로 직전 프레임 각각을 제공하는 필터링 처리부를 포함한다.
상기 영상처리 융합부는 상기 노이즈가 제거된 상기 좌우측 입력 영상을 이용하여 상기 좌우측 입력 영상 각각의 경계선을 표시하며, 상기 경계선 밀도를 수치로 나타내는 경계선 처리부를 포함한다.
상기 영상처리 융합부는 상기 노이즈가 제거된 상기 좌우측 입력 영상을 이용하여 상기 얼굴 좌표 영역을 각각 검출하여 출력하는 얼굴영역 검출부를 포함한다.
상기 영상처리 융합부는 상기 얼굴 좌표 영역에 피부색 필터(skin color filter)를 적용하여 상기 얼굴 좌표 영역의 피부색을 검출하는 피부색 처리부를 포함한다.
상기 영상처리 융합부는 상기 노이즈가 제거된 상기 좌우측 입력 영상에 대한 시차(disparity)를 산출하는 입체영상 시차 처리부를 포함한다.
상기 영상처리 융합부는 상기 노이즈가 제거된 상기 좌우측 입력 영상을 상기 직전 프레임과 각각 비교한 결과에 따라 상기 차분영상(Difference Image)을 출력하는 움직임 검출부를 포함한다.
상기 움직임 검출부는 상기 직전 프레임과 상기 현재 프레임에서 상기 노이즈가 제거된 상기 좌우측 입력 영상의 픽셀단위 밝기값의 차에 따라 상기 차분영상(Difference Image)을 출력하여 움직임을 판단한단.
상기 융합영상 제공부는 상기 사용자가 원하는 정보에 따라 상기 융합 출력 영상이 표시될 영역을 분할하고, 상기 융합 출력 영상을 상기 분할된 영역에 PIP(Picture-in-Picture) 방식으로 출력하여 상기 사용자에게 제공한다.
상기 다른 기술적 과제를 해결하기 위한 본 발명의 실시예에 따른 인간컴퓨터 상호작용을 위한 영상처리방법은,
좌우 스테레오 카메라로부터 촬영된 좌우측 입력 영상을 전달받는 단계, 상기 좌우측 입력 영상을 이용하여 융합 이전 정보를 생성하는 단계, 상기 융합 이전 정보 중 사용자가 원하는 정보만을 선택하는 단계 및 상기 사용자가 원하는 정보를 하나의 영상으로 융합하여 융합 출력 영상을 제공하는 단계를 포함한다.
상기 좌우측 입력 영상을 전달받는 단계는 현재 프레임의 상기 좌우측 입력 영상 각각의 경계선을 유지하면서 노이즈를 제거하는 단계를 포함한다.
상기 융합 이전 정보를 생성하는 단계는 상기 노이즈가 제거된 상기 좌우측 입력 영상을 이용하여 상기 좌우측 입력 영상 각각의 경계선을 표시하는 단계 및 상기 경계선 밀도를 수치로 나타내는 단계를 포함한다.
상기 융합 이전 정보를 생성하는 단계는 상기 노이즈가 제거된 상기 좌우측 입력 영상을 이용하여 상기 얼굴 좌표 영역을 각각 검출하여 출력하는 단계 및 상기 얼굴 좌표 영역에 피부색 필터(skin color filter)를 적용하여 상기 얼굴 좌표 영역의 피부색을 검출하는 단계를 포함한다.
상기 융합 이전 정보를 생성하는 단계는 상기 노이즈가 제거된 상기 좌우측 입력 영상에 대한 시차(disparity)를 산출하는 단계를 포함한다.
상기 융합 이전 정보를 생성하는 단계는 상기 현재 프레임 바로 직전 프레임과 상기 노이즈가 제거된 상기 좌우측 입력 영상의 픽셀단위 밝기값의 차를 각각 계산하는 단계 및 상기 밝기값의 차와 임계값을 비교한 결과에 따라 차분영상(Difference Image)을 출력하여 움직임을 판단한다.
상기 융합 출력 영상을 제공하는 단계는 상기 사용자가 원하는 정보에 따라 상기 융합 출력 영상이 표시될 영역을 분할하는 단계 및 상기 융합 출력 영상을 상기 분할된 영역에 PIP(Picture-in-Picture) 방식으로 출력하여 상기 사용자에게 제공하는 단계를 포함한다.
본 발명의 실시예에 따르면, 인간컴퓨터 상호작용을 위한 영상처리장치 에서 좌우측 입력 영상의 경계선을 유지하면서 영상 노이즈를 제거하고, 얼굴 좌표 영역의 피부색만을 통과시켜 얼굴의 피부색을 필터링하며, 좌우영상에 대한 시차(disparity)를 산출하고, 이전 프레임과의 차를 이용하여 출력된 차분영상(Difference Image)을 포함하는 융합 이전 정보를 PIP(Picture-in-Picture)방식으로 융합하여 융합 출력 영상을 제공함에 따라 영상처리에 필요한 필수적인 기술을 하나의 소자에서 융합하여 제공할 수 있으며, 그에 따라 사용자가 필요로 하는 영상정보 만을 선택적으로 융합하여 제공할 수 있다.
또한, 본 발명의 실시예에 따르면, 영상처리에 필요한 필수적인 기술을 하나의 영상처리장치에서 융합하여 제공함에 따라 저사양의 임베디드 시스템에서도 다양한 HCI(Human Computer Interaction) 응용기술을 개발할 수 있으며, 그에 따라 TV, 모바일 장치 및 로봇 등을 제작하는데 있어 효율적으로 비용을 절감할 수 있다.
도 1은 본 발명의 실시예에 따른 인간컴퓨터 상호작용을 위한 영상처리장치를 개략적으로 나타내는 도면이다.
도 2는 도 1에 도시한 영상처리장치의 영상처리 융합부를 개략적으로 나타내는 도면이다.
도 3은 도 2에 도시한 좌우영상 수신부를 개략적으로 나타내는 도면이다.
도 4 및 도 5는 본 발명의 실시예에 따른 얼굴 좌표를 출력하는 한 예를 나타내는 도면이다.
도 6는 도 1에 도시한 영상처리장치에서 융합 출력 영상을 분할된 영역에 PIP 방식으로 제공하는 한 예를 나타내는 도면이다.
도 7은 도 1에 도시한 영상처리장치에서 융합 출력 영상을 제공하기 위한 순서를 나타내는 흐름도이다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
도 1은 본 발명의 실시예에 따른 인간컴퓨터 상호작용을 위한 영상처리장치를 개략적으로 나타내는 도면이다. 도 2는 도 1에 도시한 영상처리장치의 영상처리 융합부를 개략적으로 나타내는 도면이며, 도 3은 도 2에 도시한 좌우영상 수신부를 개략적으로 나타내는 도면이다. 도 4 및 도 5는 본 발명의 실시예에 따른 얼굴 좌표를 출력하는 한 예를 나타내는 도면이다. 도 6은 도 1에 도시한 영상처리장치에서 융합 출력 영상을 분할된 영역에 PIP 방식으로 제공하는 한 예를 나타내는 도면이다.
도 1에 도시한 바와 같이, 본 발명의 실시예에 따른 인간컴퓨터 상호작용을 위한 영상처리장치(10)는 영상처리 기술에 필수적인 기술이 집합된 하나의 소자로서 영상처리 융합부(100) 및 융합영상 제공부(200)를 포함한다.
영상처리 융합부(100)는 도 2에 도시한 바와 같이 좌우영상 수신부(111), 필터링 처리부(112), 경계선 처리부(113), 얼굴영역 검출부(114), 피부색 처리부(115), 입체영상 시차 처리부(116) 및 움직임 검출부(117)를 포함한다.
좌우영상 수신부(111)는 좌우 스테레오 카메라(도시하지 않음) 각각으로부터 촬영된 입력영상을 전달 받으며, 도 3에 도시한 바와 같이 좌측 스테레오 카메라를 통해 촬영된 좌측 입력 영상을 전달받는 좌측영상 수신부(1111) 및 우측 스테레오 카메라를 통해 촬영된 우측 입력 영상을 전달받는 우측영상 수신부(1112)를 포함한다.
다시 도 2를 참고하면 필터링 처리부(112)는 좌우영상 수신부(111)로부터 입력 영상(이하, "좌우측 입력 영상"이라고 함)을 전달받는다. 필터링 처리부(112)는 좌우측 입력 영상의 경계선을 유지하면서 영상 노이즈를 제거한다. 필터링 처리부(112)는 노이즈를 제거한 좌우측 입력 영상을 경계선 처리부(113), 얼굴영역 검출부(114), 입체영상 시차 처리부(116) 및 움직임 검출부(117)로 전달한다.
경계선 처리부(113)는 필터링 처리부(112)로부터 노이즈가 제거된 좌우측 입력 영상을 전달받아 경계선 유무를 표시한다. 그리고, 경계선 처리부(113)는 경계선 유무가 표시된 좌우측 입력 영상에서 경계선의 밀도를 수치로 표현한다.
구체적으로, 경계선 처리부(113)는 좌우측 입력 영상을 전달받아 경계선이 있는 영역을 "흰색(255)"로 표시하며 경계선이 없는 영역을 검은색(0)으로 표시한다. 이처럼 경계선을 표시하다 보면 자잘한 경계가 많은 영역에는 흰색의 선이 여러 개가 중복해서 나타나고, 그렇지 않은 영역은 검은색으로 경계선의 밀도 차이가 형성된다. 이러한 경계선 검출 결과를 특정 윈도우 크기로 누적하게 되면, 경계선이 많은 영역은 높은 값으로 나타나며 경계선이 적은 영역은 낮은 값으로 표현되어 경계선 밀도가 표현된다.
예를 들어, 현재 픽셀(pixel)의 경계선 밀도를 10x10 크기의 블록 윈도우를 이용하여 계산하는 것으로 가정하면, 경계선 처리부(113)는 현재 픽셀을 중심점으로 10x10 윈도우 내의 경계선을 모두 더하여 정규화(normalize)한다. 그리고, 경계선 처리부(113)는 누적된 경계선 검출 결과를 이용하여 경계선 밀도를 수치로 표현한다.
얼굴영역 검출부(114)는 필터링 처리부(112)로부터 노이즈가 제거된 좌우측 입력 영상을 전달받아 얼굴 좌표 영역을 검출하여 출력한다. 예를 들어, 얼굴영역 검출부(114)는 얼굴 영역에 네모 박스(300a) 및 타원(ellipse)(300b)을 형성하여 얼굴 좌표 영역을 출력하며, 그 한 예는 도 4 및 도 5와 같다. 얼굴영역 검출부(114)는 얼굴의 좌표 영역을 피부색 처리부(115)로 전달한다.
피부색 처리부(115)는 좌우측 입력 영상에서 검출한 얼굴 좌표 영역에 대한 피부색 컬러정보를 분석한다. 그리고, 피부색 처리부(115)는 얼굴 좌표 영역의 피부색 컬러정보에 대한 스킨컬러 파라미터(parameter)를 산출한다. 여기서, 스킨컬러 파라미터(parameter)는 영상이 사용하는 컬러영역(color space)에 따라 정의되며, 사전 계산 작업을 통해 통계적으로 스킨 컬러가 어떤 분포를 갖는지 실험한 실험값으로 설정되거나 대표 상수 값으로 설정될 수 있다.
예를 들어, 현재 들어오는 픽셀의 값(r, g, b)은 8비트(0~255)로 구성되므로, 스킨컬러 파라미터는 [min_r, min_g, min,b, max_r, max_g, max_b]의 형식으로 산출되어 표시되며 픽셀과 스킨컬러 파라미터와의 관계는 수학식 1과 같다.
Figure pat00001
그리고, 피부색 처리부(115)는 피부색 필터(skin color filter)를 이용하여 파라미터 구간을 만족하는 얼굴 좌표 영역의 피부색 ROI(Region of Interest)영역만을 통과시켜 얼굴 영역의 피부색을 검출한다. 즉, 수학식 1의 조건을 만족하는 픽셀은 스킨 컬러 필터를 통과한 것으로 판단하고, 통과하지 픽셀은 스킨 컬러가 아닌 것으로 판단한다. 본 발명의 실시예에서는 픽셀로 RGB를 이용하였으나, 본 발명은 이에 한정되지 않으며, YUV422 컬러 스패이스를 이용할 수도 있다.
입체영상 시차 처리부(116)는 필터링 처리부(112)로부터 노이즈가 제거된 좌우측 입력 영상을 전달받는다. 입체영상 시차 처리부(116)는 좌우측 입력 영상으로부터 좌우측 입력 영상에 대한 시차(disparity)를 산출한다.
움직임 검출부(117)는 필터링 처리부(112)로부터 현재 (n)번째 프레임(frame)보다 이전의 (n-1)번째 프레임을 전달받으며, 현재 (n)번째 프레임에서 노이즈가 제거된 좌측 입력 영상을 전달받는다. 움직임 검출부(117)는 좌측 입력 영상의 (n-1)번째 프레임과 현재 (n)번째 프레임에서 노이즈가 제거된 좌측 입력 영상의 픽셀단위 밝기값(Intensity)의 차를 계산한다. 움직임 검출부(117)는 밝기값의 차가 임계값 보다 높을 경우 해당 픽셀의 값을 "1"로 출력하며, 밝기값의 차가 임계값 보다 낮을 경우 해당 픽셀의 값을 "0"으로 출력하여 좌측 입력 영상에 대한 차분영상(Difference Image)을 출력한다. 즉, 움직임 검출부(117)는 해당 픽셀의 값이 "1"이면 움직임이 발생한 것으로 판단하며, 해당 픽셀의 값이 "0"이면 움직임이 발생하지 않은 것으로 판단한다.
동일하게 움직임 검출부(117)는 우측 입력 영상의 (n-1)번째 프레임과 현재 (n)번째 프레임에서 노이즈가 제거된 우측 입력 영상의 픽셀단위 밝기값의 차를 계산한다. 움직임 검출부(117)는 밝기값의 차가 임계값 보다 높을 경우 해당 픽셀의 값을 "1"로 출력하며, 밝기값의 차가 임계값 보다 낮을 경우 해당 픽셀의 값을 "0"으로 출력하여 우측 입력 영상에 대한 차분영상을 출력한다.
다시 도 1을 참고하면, 융합영상 제공부(200)는 사용자가 원하는 정보만을 선택하여 하나의 영상으로 융합하여 제공하기 위해 융합 이전 정보, 즉 영상처리 융합부(100)의 각 구성(111-117)에서 처리된 좌우측 입력 영상에 대한 정보를 전달받는다. 융합영상 제공부(200)는 영상처리 융합부(100)에서 전달된 모든 영상에 대한 융합 이전 정보 중 사용자가 원하는 영상정보만을 선택하여 PIP(Picture-in-Picture) 방식을 통해 하나의 영상으로 융합한 융합 출력 영상을 제공한다. 즉, 융합영상 제공부(200)는 사용자가 원하는 정보에 따라 융합 출력 영상이 표시될 수 있도록 영상이 표시될 영역을 분할하고, 융합 출력 영상을 분할된 영역에 PIP 방식으로 출력하여 사용자에게 제공한다.
예를 들어, 도 6에 도시한 바와 같이 영상처리 융합부(100)에 입력되는 입력영상이 1과 같은 크기의 N x M 영상이고, 융합영상 제공부(200)에서 제공되는 출력영상은 (Nx2) x (Mx2) 크기의 영상이며 Y(휘도)CbCr(색차) 4:2:2 포맷(Format)인 것으로 가정하면, 융합영상 제공부(200)는 융합 출력 영상이 표시되는 영역을 4개(S11-S14)로 분할하여 4개의 영역에 사용자가 필요로 하는 영상정보 만을 표시한다.
즉, 융합영상 제공부(200)는 영상처리 융합부(100)에서 영상처리 하게 될 좌측 스테레오 카메라에서 촬영된 좌측 입력 영상을 제1 영역(S11)에 표시한다. 융합영상 제공부(200)는 영상처리 융합부(100)에서 영상처리 하게 될 우측 스테레오 카메라에서 촬영된 우측 입력 영상을 제2 영역(S12)에 표시한다. 그리고, 융합영상 제공부(200)는 입체영상 시차 처리부(116)에서 출력되는 좌측 입력 영상과 우측 입력 영상의 시차(예를 들어 8 bit) 결과를 휘도 비트(Y)에만 코딩하여 제3 영역(S13)에 표시한다. 융합영상 제공부(200)는 얼굴영역 검출부(114)에서 첫 번째 라인의 휘도 비트(Y)값에 검출된 얼굴의 개수, 크기, 좌표 값 등을 코딩하고, 움직임 검출부(117)에서 두 번째 라인부터 마지막 라인의 휘도 비트(Y)값에 비트 0의 위치에 차분영상의 결과를 코딩하여 제4 영역(S14)에 표시한다.
도 7은 도 1에 도시한 영상처리장치에서 융합 출력 영상을 제공하기 위한 순서를 나타내는 흐름도이다.
도 7에 도시한 바와 같이, 본 발명의 실시예에 따른 영상처리 융합부(100)의 좌우영상 수신부(111)는 좌우 스테레오 카메라를 통해 각각 입력된 좌우측 입력 영상을 전달받는다(S100).
필터링 처리부(112)는 좌우측 입력 영상의 경계선을 유지하면서 영상 노이즈를 제거하여 경계선 처리부(113), 얼굴영역 검출부(114), 입체영상 시차 처리부(116) 및 움직임 검출부(117)로 전달한다(S110).
경계선 처리부(113)는 필터링 처리부(112)로부터 좌우측 입력 영상을 전달받아 경계선 유무를 표시한다(S120).
얼굴영역 검출부(114)는 필터링 처리부(112)로부터 좌우측 입력 영상을 전달받아 얼굴 좌표 영역을 검출하여 출력한다. 얼굴영역 검출부(114)는 얼굴의 좌표 영역을 피부색 처리부(115)로 전달한다(S130). 그러면, 피부색 처리부(115)는 얼굴 좌표 영역의 파라미터를 산출하고 피부색 필터(skin color filter)를 이용하여 파라미터 구간을 만족하는 얼굴 좌표 영역의 피부색만 통과시킨다(S140).
입체영상 시차 처리부(116)는 필터링 처리부(112)로부터 좌우측 입력 영상을 전달받으며, 좌우측 입력 영상에 대한 시차를 산출한다(S150).
움직임 검출부(117)는 필터링 처리부(112)로부터 현재 (n)번째 프레임(frame)보다 이전의 (n-1)번째 프레임을 전달받아 차분영상(Difference Image)을 출력하여 움직임의 발생여부를 표시한다(S160).
그러면, 융합영상 제공부(200)는 영상처리 융합부(100)의 각 구성(111-117)에서 처리된 좌우측 입력 영상에 대한 융합 이전 정보를 전달받는다. 융합영상 제공부(200)는 융합 이전 정보 중 사용자가 필요로 하는 영상정보 만을 선택하여 PIP(Picture-in-Picture)방식을 통해 하나의 영상으로 융합한 융합 출력 영상을 제공한다(S170, S180).
이와 같이, 본 발명의 실시예에 따른 영상처리장치(10)의 좌우측 입력 영상의 경계선을 유지하면서 영상 노이즈를 제거하고, 얼굴 좌표 영역의 피부색만을 통과시켜 얼굴의 피부색을 필터링하며, 좌우영상에 대한 시차(disparity)를 산출하고, 이전 프레임과 현재 프레임을 이용하여 출력된 차분영상(Difference Image)을 포함하는 융합 이전 정보를 PIP(Picture-in-Picture)방식으로 융합하여 융합 출력 영상을 제공함에 따라 영상처리에 필요한 필수적인 기술을 하나의 소자에서 융합하여 제공할 수 있으며, 사용자가 필요로 하는 영상정보 만을 선택적으로 제공할 수 있다.
이상에서와 같이 도면과 명세서에서 최적의 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로, 본 기술 분야의 통상의 지식을 가진자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
10: 영상처리장치
100: 영상처리 융합부
111: 좌우영상 수신부
112: 필터링 처리부
113: 경계선 처리부
114: 얼굴영역 검출부
115: 피부색 처리부
116: 입체영상 시차 처리부
117: 움직임 검출부
200: 융합영상 제공부

Claims (17)

  1. 좌우 스테레오 카메라로부터 촬영된 좌우측 입력 영상을 이용하여 융합 이전 정보를 생성하는 영상처리 융합부; 및
    상기 융합 이전 정보 중 사용자가 원하는 정보만을 선택하여 하나의 영상으로 융합한 융합 출력 영상을 제공하는 융합영상 제공부
    를 포함하는 인간컴퓨터 상호작용을 위한 영상처리장치.
  2. 청구항 1에 있어서,
    상기 융합 이전 정보는,
    상기 좌우측 입력 영상 각각의 경계선, 상기 경계선의 밀도, 얼굴의 좌표 영역, 상기 얼굴의 피부색, 상기 좌우측 입력 영상의 시차(disparity) 및 상기 좌우측 입력 영상 각각에 대한 차분영상(Difference Image)을 포함하는 인간컴퓨터 상호작용을 위한 영상처리장치.
  3. 청구항 2에 있어서,
    상기 영상처리 융합부는,
    현재 프레임에 대한 상기 좌우측 입력 영상 각각의 경계선을 유지하며 노이즈를 제거하며, 상기 현재 프레임 바로 직전 프레임 각각을 제공하는 필터링 처리부를 포함하는 인간컴퓨터 상호작용을 위한 영상처리장치.
  4. 청구항 3에 있어서,
    상기 영상처리 융합부는,
    상기 노이즈가 제거된 상기 좌우측 입력 영상을 이용하여 상기 좌우측 입력 영상 각각의 경계선을 표시하며, 상기 경계선 밀도를 수치로 나타내는 경계선 처리부를 포함하는 인간컴퓨터 상호작용을 위한 영상처리장치.
  5. 청구항 3에 있어서,
    상기 영상처리 융합부는,
    상기 노이즈가 제거된 상기 좌우측 입력 영상을 이용하여 상기 얼굴 좌표 영역을 각각 검출하여 출력하는 얼굴영역 검출부를 포함하는 인간컴퓨터 상호작용을 위한 영상처리장치.
  6. 청구항 5에 있어서,
    상기 영상처리 융합부는,
    상기 얼굴 좌표 영역에 피부색 필터(skin color filter)를 적용하여 상기 얼굴 좌표 영역의 피부색을 검출하는 피부색 처리부를 포함하는 인간컴퓨터 상호작용을 위한 영상처리장치.
  7. 청구항 3에 있어서,
    상기 영상처리 융합부는,
    상기 노이즈가 제거된 상기 좌우측 입력 영상에 대한 시차(disparity)를 산출하는 입체영상 시차 처리부를 포함하는 인간컴퓨터 상호작용을 위한 영상처리 장치.
  8. 청구항 3에 있어서,
    상기 영상처리 융합부는,
    상기 노이즈가 제거된 상기 좌우측 입력 영상을 상기 직전 프레임과 각각 비교한 결과에 따라 상기 차분영상(Difference Image)을 출력하는 움직임 검출부를 포함하는 인간컴퓨터 상호작용을 위한 영상처리장치.
  9. 청구항 3에 있어서,
    상기 움직임 검출부는,
    상기 직전 프레임과 상기 현재 프레임에서 상기 노이즈가 제거된 상기 좌우측 입력 영상의 픽셀단위 밝기값의 차에 따라 상기 차분영상(Difference Image)을 출력하여 움직임을 판단하는 인간컴퓨터 상호작용을 위한 영상처리장치.
  10. 청구항 1에 있어서,
    상기 융합영상 제공부는,
    상기 사용자가 원하는 정보에 따라 상기 융합 출력 영상이 표시될 영역을 분할하고, 상기 융합 출력 영상을 상기 분할된 영역에 PIP(Picture-in-Picture) 방식으로 출력하여 상기 사용자에게 제공하는 인간컴퓨터 상호작용을 위한 영상처리장치.
  11. 좌우 스테레오 카메라로부터 촬영된 좌우측 입력 영상을 전달받는 단계;
    상기 좌우측 입력 영상을 이용하여 융합 이전 정보를 생성하는 단계;
    상기 융합 이전 정보 중 사용자가 원하는 정보만을 선택하는 단계; 및
    상기 사용자가 원하는 정보를 하나의 영상으로 융합하여 융합 출력 영상을 제공하는 단계
    를 포함하는 인간컴퓨터 상호작용을 위한 영상처리방법.
  12. 청구항 11에 있어서,
    상기 좌우측 입력 영상을 전달받는 단계는,
    현재 프레임의 상기 좌우측 입력 영상 각각의 경계선을 유지하면서 노이즈를 제거하는 단계를 포함하는 인간컴퓨터 상호작용을 위한 영상처리방법.
  13. 청구항 12에 있어서,
    상기 융합 이전 정보를 생성하는 단계는,
    상기 노이즈가 제거된 상기 좌우측 입력 영상을 이용하여 상기 좌우측 입력 영상 각각의 경계선을 표시하는 단계; 및
    상기 경계선 밀도를 수치로 나타내는 단계를 포함하는 인간컴퓨터 상호작용을 위한 영상처리방법.
  14. 청구항 12에 있어서,
    상기 융합 이전 정보를 생성하는 단계는,
    상기 노이즈가 제거된 상기 좌우측 입력 영상을 이용하여 상기 얼굴 좌표 영역을 각각 검출하여 출력하는 단계; 및
    상기 얼굴 좌표 영역에 피부색 필터(skin color filter)를 적용하여 상기 얼굴 좌표 영역의 피부색을 검출하는 단계를 포함하는 인간컴퓨터 상호작용을 위한 영상처리방법.
  15. 청구항 12에 있어서,
    상기 융합 이전 정보를 생성하는 단계는,
    상기 노이즈가 제거된 상기 좌우측 입력 영상에 대한 시차(disparity)를 산출하는 단계를 포함하는 인간컴퓨터 상호작용을 위한 영상처리방법.
  16. 청구항 12에 있어서,
    상기 융합 이전 정보를 생성하는 단계는,
    상기 현재 프레임 바로 직전 프레임과 상기 노이즈가 제거된 상기 좌우측 입력 영상의 픽셀단위 밝기값의 차를 각각 계산하는 단계; 및
    상기 밝기값의 차와 임계값을 비교한 결과에 따라 차분영상(Difference Image)을 출력하여 움직임을 판단하는 단계를 포함하는 인간컴퓨터 상호작용을 위한 영상처리방법.
  17. 청구항 11에 있어서,
    상기 융합 출력 영상을 제공하는 단계는,
    상기 사용자가 원하는 정보에 따라 상기 융합 출력 영상이 표시될 영역을 분할하는 단계; 및
    상기 융합 출력 영상을 상기 분할된 영역에 PIP(Picture-in-Picture) 방식으로 출력하여 상기 사용자에게 제공하는 단계를 포함하는 인간컴퓨터 상호작용을 위한 영상처리방법.
KR1020100131556A 2010-12-21 2010-12-21 인간컴퓨터 상호작용을 위한 영상처리장치 및 방법 Withdrawn KR20120070125A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100131556A KR20120070125A (ko) 2010-12-21 2010-12-21 인간컴퓨터 상호작용을 위한 영상처리장치 및 방법
US13/326,799 US20120154545A1 (en) 2010-12-21 2011-12-15 Image processing apparatus and method for human computer interaction

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100131556A KR20120070125A (ko) 2010-12-21 2010-12-21 인간컴퓨터 상호작용을 위한 영상처리장치 및 방법

Publications (1)

Publication Number Publication Date
KR20120070125A true KR20120070125A (ko) 2012-06-29

Family

ID=46233867

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100131556A Withdrawn KR20120070125A (ko) 2010-12-21 2010-12-21 인간컴퓨터 상호작용을 위한 영상처리장치 및 방법

Country Status (2)

Country Link
US (1) US20120154545A1 (ko)
KR (1) KR20120070125A (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9508119B2 (en) * 2012-07-13 2016-11-29 Blackberry Limited Application of filters requiring face detection in picture editor
KR20160039497A (ko) * 2014-10-01 2016-04-11 삼성전자주식회사 영상 처리 장치, 디스플레이 장치 및 그 영상 처리 방법
EP3466051A1 (en) 2016-05-25 2019-04-10 GoPro, Inc. Three-dimensional noise reduction
US9639935B1 (en) 2016-05-25 2017-05-02 Gopro, Inc. Apparatus and methods for camera alignment model calibration
US10498968B1 (en) * 2017-03-01 2019-12-03 Altia Systems, Inc. Intelligent zoom method and video system implementing same
US10477064B2 (en) 2017-08-21 2019-11-12 Gopro, Inc. Image stitching with electronic rolling shutter correction

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6526161B1 (en) * 1999-08-30 2003-02-25 Koninklijke Philips Electronics N.V. System and method for biometrics-based facial feature extraction
KR20020088890A (ko) * 2001-05-22 2002-11-29 전명근 홍채패턴 인식을 위한 영상의 회전에 불변인 특징점추출방법
KR100513050B1 (ko) * 2003-06-02 2005-09-06 엘지전자 주식회사 Ｔｖ 시스템의 다중 ｐｏｐ에서 슬롯 이동 방법 및 장치
CN1860793A (zh) * 2003-09-29 2006-11-08 皇家飞利浦电子股份有限公司 具有用于过完备小波视频编码架构内的重要系数群集的自适应结构化元素的3－d形态操作
US20050281464A1 (en) * 2004-06-17 2005-12-22 Fuji Photo Film Co., Ltd. Particular image area partitioning apparatus and method, and program for causing computer to perform particular image area partitioning processing
US20100309290A1 (en) * 2009-06-08 2010-12-09 Stephen Brooks Myers System for capture and display of stereoscopic content

Also Published As

Publication number Publication date
US20120154545A1 (en) 2012-06-21

Similar Documents

Publication Publication Date Title
US9210405B2 (en) System and method for real time 2D to 3D conversion of video in a digital camera
US10043120B2 (en) Translucent mark, method for synthesis and detection of translucent mark, transparent mark, and method for synthesis and detection of transparent mark
JP6027034B2 (ja) 立体映像エラー改善方法及び装置
KR101210625B1 (ko) 빈공간 채움 방법 및 이를 수행하는 3차원 비디오 시스템
US10762649B2 (en) Methods and systems for providing selective disparity refinement
JP5963422B2 (ja) 撮像装置、表示装置、コンピュータプログラムおよび立体像表示システム
US9030469B2 (en) Method for generating depth maps from monocular images and systems using the same
CN102939764B (zh) 图像处理器、图像显示装置和图像拍摄装置
US20140071131A1 (en) Image processing apparatus, image processing method and program
WO2012086120A1 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム
KR20120070125A (ko) 인간컴퓨터 상호작용을 위한 영상처리장치 및 방법
Jung et al. Visual comfort improvement in stereoscopic 3D displays using perceptually plausible assessment metric of visual comfort
JP2013527646A5 (ko)
US8982187B2 (en) System and method of rendering stereoscopic images
JP2012168936A (ja) 動画処理装置及び動画処理方法
CN108108023B (zh) 一种显示方法和显示系统
JP2013055565A5 (ko)
JP2012100116A (ja) 表示処理装置、表示処理方法およびプログラム
US20160180514A1 (en) Image processing method and electronic device thereof
CN102905136B (zh) 一种视频编解码方法、系统
CN102998095B (zh) 一种裸眼立体显示器的检测方法和装置
CN104137537B (zh) 图像处理装置及图像处理方法
KR101451236B1 (ko) 3차원 영상 변환 방법 및 그 장치
KR101867815B1 (ko) 입체영상 처리 장치 및 입체영상의 시역 거리를 조절하기 위한 방법
CN106296593A (zh) 图像恢复方法和装置

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20101221

PG1501 Laying open of application
PC1203 Withdrawal of no request for examination
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid