KR20170001430A

KR20170001430A - 디스플레이 장치 및 이의 영상 보정 방법

Info

Publication number: KR20170001430A
Application number: KR1020150091412A
Authority: KR
Inventors: 테스홈 미키야스; 하남수
Original assignee: 삼성전자주식회사
Priority date: 2015-06-26
Filing date: 2015-06-26
Publication date: 2017-01-04
Anticipated expiration: 2035-06-26
Also published as: US10067562B2; US20160378183A1; EP3115928A1; EP3540645A1; KR102317021B1

Abstract

디스플레이 장치가 개시된다. 본 디스플레이 장치는, 외부 장치로부터 수신된 영상을 표시하는 디스플레이부, 영상의 표시방향에 존재하는 피사체를 촬상한 촬상 영상을 촬상 장치로부터 수신하는 통신부, 촬상 영상에서 사용자 시선을 검출하는 영상 처리부 및 검출된 사용자 시선이 외부 장치로부터 수신된 영상의 기 설정된 영역에 위치하는지 여부를 판단하고, 판단 결과에 따라 촬상 영상 또는 촬상 영상에서 검출된 사용자 시선을 보정한 보정 영상을 외부 장치로 전송하도록 통신부를 제어하는 제어부를 포함한다.

Description

디스플레이 장치 및 이의 영상 보정 방법{DISPLAY APPARATUS AND IMAGE CORRECTION METHOD THEREOF}

본 발명은 디스플레이 장치 및 이의 영상 보정 방법에 관한 것으로, 더욱 상세하게는 화상통화 수행 중 영상보정이 필요한 경우에 영상을 보정하여 외부 장치로 전송할 수 있는 디스플레이 장치 및 이의 영상 보정 방법에 대한 것이다.

화상 통화 서비스는 음성 통화시에 영상을 동시에 제공하는 서비스로서, 일반적으로, 상대방의 얼굴을 표시하는 디스플레이 장치와 사용자를 촬영하는 촬영 장치에 의해 제공될 수 있었다.

종래에는, 이러한 화상 통화시에, 상대방의 얼굴이 표시되는 화면의 위치와 촬영 장치가 배치된 위치 간의 차이 때문에, 사용자의 시선이 상대방 통화자를 응시하지 않고 다른 곳을 바라보는 것처럼 보이는 문제가 있었다.

가령, 촬영 장치가 디스플레이 장치 위쪽에 배치된 경우에, 사용자는 화면을 정면으로 바라보고 있을지라도, 촬영장치는 사용자를 위에서 촬영하기 때문에 촬영 영상에선 사용자가 아래를 바라보고 있는 것처럼 보일 수 밖에 없었다.

때문에, 화상 통화 상대방 측에선, 사용자가 자신과 눈을 맞추지 않고 대화하는 것처럼 인식된다는 문제가 있었다.

본 발명은 상술한 문제를 해결하기 위한 것으로, 본 발명의 목적은, 화상통화 수행 중 영상보정이 필요한 경우에 영상을 보정하여 외부 장치로 전송할 수 있는 디스플레이 장치 및 이의 영상 보정 방법을 제공하는데 있다.

상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 디스플레이 장치는, 외부 장치로부터 수신된 영상을 표시하는 디스플레이부, 상기 영상의 표시방향에 존재하는 피사체를 촬상한 촬상 영상을 촬상 장치로부터 수신하는 통신부, 상기 촬상 영상에서 사용자 시선을 검출하는 영상 처리부 및 상기 검출된 사용자 시선이 상기 외부 장치로부터 수신된 영상의 기 설정된 영역에 위치하는지 여부를 판단하고, 상기 판단 결과에 따라 상기 촬상 영상 또는 상기 촬상 영상에서 검출된 사용자 시선을 보정한 보정 영상을 상기 외부 장치로 전송하도록 상기 통신부를 제어하는 제어부를 포함한다.

이 경우, 상기 제어부는, 상기 촬상 영상에서 검출된 사용자 시선이 상기 외부 장치로부터 수신된 영상의 기 설정된 영역에 위치하지 않으면, 상기 촬상 영상을 상기 외부 장치로 전송하고, 상기 촬상 영상에서 검출된 사용자 시선이 상기 외부 장치로부터 수신된 영상의 기 설정된 영역에 위치하면, 상기 보정 영상을 상기 외부 장치로 전송하도록 상기 통신부를 제어할 수 있다.

한편, 상기 외부 장치로부터 수신된 영상의 기 설정된 영역은, 상기 외부 장치로부터 수신된 영상에서 눈이 검출된 영역일 수 있다.

한편, 상기 영상 처리부는, 상기 외부 장치로부터 수신된 영상에서 눈을 검출하며, 상기 제어부는, 상기 외부 장치로부터 수신된 영상에서 눈이 검출되지 않으면, 상기 촬상 영상을 상기 외부 장치로 전송하도록 상기 통신부를 제어할 수 있다.

한편, 상기 영상 처리부는, 상기 촬상 영상에서 홍채를 검출하며, 상기 검출된 홍채의 표시 위치를 기 설정된 위치로 변경하여 사용자의 시선을 보정한 보정 영상을 생성할 수 있다.

한편, 상기 디스플레이부는, 복수의 외부 장치로부터 수신된 복수의 영상을 표시하며, 상기 제어부는, 상기 촬상 영상에서 검출된 사용자 시선이 상기 복수의 영상 중 어느 하나의 영상의 기 설정된 영역에 위치하는지 여부를 판단할 수 있다.

이 경우, 상기 제어부는, 상기 복수의 외부 장치 중, 상기 검출된 사용자의 시선이 위치하는 것으로 판단된 영상을 전송한 외부 장치로 상기 보정 영상을 전송하도록 상기 통신부를 제어할 수 있다.

이 경우, 상기 제어부는, 상기 보정 영상이 전송되지 않은 나머지 외부 장치로 상기 촬상 영상을 전송하도록 상기 통신부를 제어할 수 있다.

한편, 본 발명의 일 실시 예에 따른 화상 통화 시스템은, 외부 장치로부터 영상을 수신하여 표시하는 디스플레이 장치 및 상기 디스플레이 장치의 디스플레이 방향에 존재하는 피사체를 촬상하는 촬상 장치를 포함하며, 상기 디스플레이 장치는, 상기 촬상 장치로부터 수신된 촬상 영상에서 사용자 시선을 검출하고, 검출된 사용자 시선이 상기 외부 장치로부터 수신된 영상의 기 설정된 영역에 위치하는지 판단하고, 상기 판단 결과에 따라 상기 촬상 영상 또는 상기 촬상 영상에서 검출된 사용자 시선을 보정한 보정 영상을 상기 외부 장치로 전송한다.

한편, 본 발명의 일 실시 예에 따른 디스플레이 장치의 영상 보정방법은, 외부 장치로부터 수신된 영상을 표시하는 단계, 상기 영상의 표시방향에 존재하는 피사체를 촬상한 촬상 영상을 촬상 장치로부터 수신하는 단계, 상기 촬상 영상에서 사용자 시선을 검출하는 단계, 상기 검출된 사용자 시선이 상기 외부 장치로부터 수신된 영상의 기 설정된 영역에 위치하는지 판단하는 단계 및 상기 판단 결과에 따라 상기 촬상 영상 또는 상기 촬상 영상에서 검출된 사용자 시선을 보정한 보정 영상을 상기 외부 장치로 전송하는 단계를 포함한다.

이 경우, 상기 전송하는 단계는, 상기 촬상 영상에서 검출된 사용자 시선이 상기 외부 장치로부터 수신된 영상의 기 설정된 영역에 위치하지 않으면, 상기 촬상 영상을 상기 외부 장치로 전송하고, 상기 촬상 영상에서 검출된 사용자 시선이 상기 외부 장치로부터 수신된 영상의 기 설정된 영역에 위치하면, 상기 보정 영상을 상기 외부 장치로 전송할 수 있다.

한편, 본 발명의 일 실시 예에 따른 디스플레이 장치의 영상 보정방법은, 상기 외부 장치로부터 수신된 영상에서 눈을 검출하는 단계를 더 포함하며, 상기 전송하는 단계는, 상기 외부 장치로부터 수신된 영상에서 눈이 검출되지 않으면, 상기 촬상 영상을 상기 외부 장치로 전송할 수 있다.

한편, 본 발명의 일 실시 예에 따른 디스플레이 장치의 영상 보정방법은, 상기 촬상 영상에서 홍채를 검출하는 단계 및 상기 검출된 홍채의 표시 위치를 기 설정된 위치로 변경하여 사용자의 시선을 보정한 보정 영상을 생성하는 단계를 더 포함할 수 있다.

한편, 상기 표시하는 단계는, 복수의 외부 장치로부터 수신된 복수의 영상을 표시하며, 상기 판단하는 단계는, 상기 촬상 영상에서 검출된 사용자 시선이 상기 복수의 영상 중 어느 하나의 영상의 기 설정된 영역에 위치하는지 판단할 수 있다.

이 경우, 상기 전송하는 단계는, 상기 복수의 외부 장치 중, 상기 검출된 사용자의 시선이 위치하는 것으로 판단된 영상을 전송한 외부 장치로 상기 보정 영상을 전송할 수 있다.

이 경우, 상기 전송하는 단계는, 상기 보정 영상이 전송되지 않은 나머지 외부 장치로 상기 촬상 영상을 전송할 수 있다.

한편, 본 발명의 일 실시 예에 따른 영상 보정 방법을 수행하기 위한 프로그램이 저장되는 기록 매체에 있어서, 상기 영상 보정 방법은, 외부 장치로부터 수신된 영상을 표시하는 단계, 상기 영상의 표시방향에 존재하는 피사체를 촬상한 촬상 영상을 촬상 장치로부터 수신하는 단계, 상기 촬상 영상에서 사용자 시선을 검출하는 단계, 상기 검출된 사용자 시선이 상기 외부 장치로부터 수신된 영상의 기 설정된 영역에 위치하는지 판단하는 단계 및 상기 판단 결과에 따라 상기 촬상 영상 또는 상기 촬상 영상에서 검출된 사용자 시선을 보정한 보정 영상을 상기 외부 장치로 전송하는 단계를 포함한다.

이상과 같은 본 발명의 다양한 실시 예에 따르면, 화상 통화 동안 사용자 시선 보정이 필요한 경우에만 영상보정이 수행될 수 있으므로, 불필요한 영상보정 처리가 수행되는 것을 막을 수 있다.

도 1은 본 발명의 일 실시 예에 따른 화상통화 시스템을 설명하기 위한 도면,
도 2는 본 발명의 일 실시 예에 따른 디스플레이 장치를 설명하기 위한 블록도,
도 3은 본 발명의 일 실시 예에 따른 영상보정을 설명하기 위한 도면,
도 4 내지 도 9는 본 발명의 다양한 실시 예에 따른 디스플레이 장치의 영상 전송을 설명하기 위한 도면,
도 10은 본 발명의 또 다른 실시 예에 따른 디스플레이 장치를 설명하기 위한 블럭도, 그리고,
도 11은 본 발명의 일 실시 예에 따른 디스플레이 장치의 영상보정방법을 설명하기 위한 도면이다.

이하에서는 도면을 참조하여 본 발명에 대해 더욱 상세히 설명하도록 한다. 다만, 본 발명을 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략한다.

도 1은 본 발명의 일 실시 예에 따른 화상통화 시스템을 설명하기 위한 도면이다.

도 1을 참고하면, 본 화상통화 시스템(1000)은 디스플레이 장치(100) 및 촬상 장치(200)를 포함한다.

디스플레이 장치(100)는 화상 통화 기능을 지원하는 장치일 수 있다. 예컨대 디스플레이 장치(100)는 TV일 수 있으나, 이는 일 실시 예에 불과할 뿐, 스마트 폰, 태블릿 PC, 데스크톱 PC, 모니터, 프로젝터 등과 같은 다양한 장치로 구현될 수 있다.

구체적으로, 본 디스플레이 장치(100)는 외부 장치로부터 영상을 수신하여 표시할 수 있다. 외부 장치로부터 수신한 영상은, 화상 통화에서의 상대방에 대한 영상일 수 있다. 화상통화 상대방이 2 이상인 경우, 2 이상의 외부 장치로부터 영상이 수신되고, 디스플레이 장치(100)는 수신된 2 이상의 영상을 함께 표시할 수 있다. 이로써 사용자(10)는 2 이상의 상대방과 화상 통화를 수행할 수 있다.

촬상 장치(200)는 피사체를 촬상하여 정지 영상 또는 동영상을 생성할 수 있는 장치로, 예컨대 촬상 장치(200)는 렌즈 및 이미지 센서로 구성되는 카메라로 구현될 수 있다.

특히, 촬상 장치(200)는 디스플레이 장치(100)의 디스플레이 방향에 존재하는 피사체를 촬상하여 촬상 영상을 생성하는 역할을 수행한다. 여기서 디스플레이 방향이란, 디스플레이 장치(100)에서 표시되는 화면을 바라보는 사용자(10)가 위치한 쪽, 즉 디스플레이 장치(100)의 앞쪽을 의미한다. 일 예로, 촬상 장치(200)는 도 1에 도시된 것처럼 디스플레이 장치(100) 위쪽에 배치되어 피사체를 촬상할 수 있다.

그리고 촬상 장치(200)는 피사체를 촬상한 촬상 영상을 디스플레이 장치(100)로 전송할 수 있다.

디스플레이 장치(100)는 촬상 장치(200)로부터 수신된 촬상 영상을 외부 장치, 즉 화상 통화 상대방의 장치로 전송할 수 있다. 이 경우, 디스플레이 장치(100)는 촬상 영상을 그대로 전송하거나, 촬상 영상을 보정하여 전송할 수 있다.

구체적으로, 디스플레이 장치(100)는 촬상 영상의 보정이 필요하다고 판단될 경우, 촬상 영상을 보정한 보정 영상을 외부 장치로 전송하고, 촬상 영상의 보정이 필요 없다고 판단될 경우, 촬상 영상 그대로를 외부 장치로 전송할 수 있다.

촬상 영상의 보정이 필요한 경우란, 실제로 사용자(10)가 화상 통화 상대방을 바라보고 있음에도, 촬상 장치(200)의 배치 위치 때문에, 촬상 영상에선 사용자(10)가 다른 곳을 쳐다보고 있는 것처럼 보이는 경우일 수 있다. 예컨대, 촬상 장치(200)가 도 1에서처럼 디스플레이 장치(100)의 위쪽에 배치되어 있는 경우, 실제로 사용자(10)가 디스플레이 장치(100)에 표시 중인 상대방을 쳐다보고 있을지라도, 촬상 장치(200)가 위쪽에 배치되어 있기 때문에, 촬상 장치(200)가 촬상한 촬상 영상에선 사용자가 아래를 내려다보고 있는 것처럼 보이게 된다. 이러한 촬상 영상이 그대로 화상 통화 상대방의 장치로 전송되면, 상대방은 사용자(10)가 자신과 눈을 맞추고 있지 않은 것처럼 인식할 수 있다.

따라서, 디스플레이 장치(100)는 이러한 경우에 촬상 영상의 보정이 필요한 것으로 판단하고, 사용자(10)가 정면을 바라보고 있는 것처럼 보이도록 촬상 영상을 보정하여 상대방 장치로 전송할 수 있다.

반면, 촬상 영상의 보정이 필요없는 경우엔, 디스플레이 장치(100)는 보정되지 않은 촬상 영상 그대로를 상대방 장치로 전송할 수 있다.

촬상 영상의 보정이 필요없는 경우란, 사용자(10)가 상대방을 바라보고 있지 않은 경우일 수 있다. 예컨대, 사용자(10)가 디스플레이 장치(100)에서 표시 중인 화면을 보고 있지 않은 경우이거나, 사용자(10)가 화면 중에서 상대방이 표시된 곳 말고 다른 곳을 바라보고 있는 경우이다. 예컨대, 화상 통화 수행시 화면상에는 대화 상대방뿐만 아니라, 대화 주제와 관련된 회의 자료가 함께 표시될 수 있으므로, 사용자(10)가 회의 자료를 바라보고 있는 경우엔 촬상 영상의 보정이 필요 없는 경우로 판단될 수 있다.

특히, 본 디스플레이 장치(100)는 사용자(10)가 화면상의 상대방 눈을 쳐다보고 있는 경우에만 보정 영상을 전송하고, 그렇지 않은 경우엔 보정되지 않은 촬상 영상 그대로를 전송하도록 설정될 수 있다.

이와 같이 보정 영상을 보낼 것인지, 보정되지 않은 촬상 영상을 보낼 것인지는 영상의 매 프레임마다 결정될 수 있다.

상술한 것과 같은 화상통화 시스템(1000)에 의하면, 화상 통화 수행시 통화자들 간의 아이 콘택트가 적절하게 이루어질 수 있다는 효과가 있다.

한편, 상술한 실시 예에선 화상통화 시스템(1000)에서 디스플레이 장치와 촬상 장치가 구분된 장치로 설명하였으나, 또 다른 실시 예에선, 디스플레이 장치가 촬상 장치를 내장한 형태도 가능하다. 예컨대 카메라를 구비한 스마트폰, 카메라를 구비한 랩톱, 카메라를 구비한 TV 등과 같은 장치로 본 발명이 실현될 수 있다.

한편, 상술한 실시 예에선 화상통화 시스템(1000)에 촬상 장치가 한대만 존재하는 것으로 설명하였으나, 여러 대의 촬상 장치가 다양한 각도에서 사용자를 촬상할 수 있다. 예컨대, 디스플레이 장치(100)의 아래와 위쪽에 각각 하나 씩 배치된 두 대의 촬상 장치가 존재할 수 있다.

이하에선 본 디스플레이 장치(100)에 대해 좀 더 자세히 설명하도록 한다.

도 2는 본 발명의 일 실시 예에 따른 디스플레이 장치(100)를 설명하기 위한 블럭도이다.

디스플레이부(110)는 제어부(140)의 제어에 따라 디스플레이 장치(100)에서 제공하는 기능에 관한 메뉴 또는 기타 메시지 등을 포함한 다양한 화면을 디스플레이하기 위한 구성이다.

디스플레이부(110)는 예컨대, LCD(Liquid Crystal Display)로 구현될 수 있으며, 경우에 따라 CRT(cathode-ray tube), PDP(plasma display panel), OLED(organic light emitting diodes), TOLED(transparent OLED) 등으로 구현될 수 있다. 또한, 디스플레이부(110)는 사용자의 터치 조작을 감지할 수 있는 터치스크린 형태로 구현될 수도 있다.

특히, 디스플레이부(110)는 외부 장치로부터 수신된 영상을 표시할 수 있는 구성으로서, 화상통화 상대방의 장치로부터 수신되는 상대방 영상을 실시간으로 표시할 수 있다.

통신부(120)는 외부와 통신을 수행하기 위한 구성이다. 특히, 통신부(120)는 외부 장치로부터 영상을 수신하는 장치로서, 화상통화 상대방의 장치로부터 상대방을 촬상한 영상을 수신할 수 있다. 또한, 통신부(120)는 촬상 장치(200)로부터 촬상 영상을 수신할 수 있다.

그리고 통신부(120)는 제어부(140)의 제어에 따라, 촬상 장치(100)로부터 수신한 촬상 영상을 외부 장치로 전송하거나, 촬상 영상이 보정된 보정 영상을 외부 장치로 전송할 수 있다.

이러한 통신부(120)는 예컨대, 근거리 통신망(LAN: Local Area Network) 및 인터넷망을 통해 외부 장치에 접속되는 형태뿐만 아니라, 무선 통신(예를 들어, Z-wave, 4LoWPAN, RFID, LTE D2D, BLE, GPRS, Weightless, Edge Zigbee, ANT+, NFC, IrDA, DECT, WLAN, 블루투스, 와이파이, Wi-Fi Direct, GSM, UMTS, LTE, WiBRO 등의 무선 통신) 방식에 의해서 접속될 수 있다.

영상 처리부(130)는 외부로부터 수신된 영상 또는 기 저장된 영상에 대해 기 설정된 영상 처리를 수행할 수 있는 구성이다. 예컨대, 비디오 디코딩, 포맷 분석, 비디오 스케일링 등의 신호처리 및 GUI 부가 등의 작업을 수행할 수 있다.

특히 영상 처리부(130)는 촬상 장치(200)로부터 수신한 촬상 영상에서 사용자 시선을 검출할 수 있다. 즉, 영상 처리부(130)는 사용자가 디스플레이부(110)에 표시된 화면에서 어디를 바라보고 있는지에 대한 정보를 촬상 영상으로부터 추출할 수 있다.

영상 처리부(130)는 다양한 알고리즘을 이용하여 영상에서 사용자 시선을 검출할 수 있다. 일 예로, 촬상 장치(200)는 적외선을 조사하는 발광부를 구비한 장치일 수 있고, 촬상시 적외선을 사용자의 눈에 조사할 수 있다. 촬상 장치(200)로부터 수신된 촬상 영상에선 각막에서 반사된 적외선이 나타나고, 영상 처리부(130)는 반사된 적외선의 위치를 이용하여 홍채와 동공을 구분하여 동공을 검출하고, 이로부터 시선 정보를 획득할 수 있다.

또 다른 예로, 영상 처리부(130)는 영상에서 객체의 특징을 찾는 기법(예컨대, Haar-like features)을 이용하여 눈의 위치를 검출하고, 가장자리 검출(edge detection) 기법을 이용하여 눈의 위치에서 홍채와 동공을 검출하고, 홍채와 동공의 상대적인 위치에 기반하여 사용자의 시선을 검출할 수 있다.

사용자의 시선 정보를 수집하기 위하여 디스플레이 장치(100)는 스마트 안경과 같은 웨어러블 디바이스에 연결될 수 있다. 스마트 안경은 사용자의 눈을 촬상할 수 있고, 촬상 영상을 디스플레이 장치(100)에 전달할 수 있다. 영상 처리부(130)는 스마트 안경으로부터 수신된 촬상 영상에서 사용자 시선을 검출할 수 있다.

하나의 프레임에서 이와 같이 검출된 시선에 대한 정보는 다음 프레임에서 시선을 검출하는데 이용될 수 있다. 즉, 영상 처리부(130)는 시선 추적이 가능하다. 시선 추적(eye gaze tracking)기법은 공지의 다양한 방식에 의할 수 있다.

또한, 영상 처리부(130)는 외부 장치 즉, 화상통화 상대방 장치로부터 수신된 영상에서 눈을 검출할 수 있다. 일 예로, 영상 처리부(130)는 특징 추출기법을 통해 영상에서 눈을 검출할 수 있다. 구체적으로, 영상 처리부(130)는 Haar-like features를 이용하여 영상에서 눈의 위치를 검출할 수 있다. 또는, 영상 처리부(130)는 촬상 영상에서 코를 검출하고, 코에 인접한 양 눈의 코너(corner) 부분을 검출함으로써 눈을 검출할 수 있다.

그리고 영상 처리부(130)는 촬상 영상이 보정될 필요가 있는 경우에, 촬상 영상에서 사용자의 시선을 보정한 보정 영상을 생성할 수 있다. 이에 대해선 이하 도 3을 참고하여 설명하도록 한다.

도 3은 본 발명의 일 실시 예에 따라 생성된 보정 영상을 설명하기 위한 도면이다.

도 3의 (a)에 나타난 것처럼, 촬상 장치(200)가 디스플레이 장치(100) 위쪽에 배치되어 있고, 사용자(10)가 디스플레이 장치(100)에 표시된 상대방(20)을 바라보고 있는 경우, 도 3의 (b)에 도시된 것처럼 촬상 장치(200)가 촬상한 촬상 영상(31)에선 사용자가 아래를 내려다보고 있는 것으로 나타난다. 영상 처리부(130)는 사용자가 정면을 바라보고 있는 것으로 보이도록 촬상 영상(31)에서 사용자 시선을 보정하여, 보정 영상(32)을 생성할 수 있다. 그리고 보정 영상(32)은 상대방의 장치로 전송되어 표시되고, 상대방은 사용자(10)가 자신과 아이 콘택트를 하고 있음을 인식할 수 있다.

영상 처리부(130)는 다양한 방식으로 촬상 영상에서 사용자의 시선을 보정할 수 있다.

일 예로 영상 처리부(130)는 촬상 장치(200)로부터 수신한 촬상 영상에서 홍채를 검출하고, 검출된 홍채의 표시 위치를 기 설정된 위치로 변경함으로써 사용자 시선을 보정한 보정 영상을 생성할 수 있다. 구체적으로, 영상 처리부(130)는 촬상 영상에서 추출된 사용자의 안구를 이용하여, 정면을 바라보는 가짜 안구(fake eyeball, synthetic eye ball)를 생성할 수 있다. 그리고 영상 처리부(130)는 촬상 영상의 안구 위치에 가짜 안구를 삽입함으로써 사용자의 시선이 정면을 향하도록 보정한 보정 영상을 생성할 수 있다.

또한, 영상 처리부(130)는 좀 더 정확한 시선 보정을 위해, 가짜 안구 삽입뿐만 아니라, 촬상 영상의 사용자의 머리의 방향을 바꾸어 보정 영상을 생성할 수 있다. 디스플레이 장치(100)의 저장부엔 측면, 정면 등 다양한 머리 방향을 나타내는 머리 모델들(head models)이 기 저장되어 있고, 기 저장된 머리 모델들을 이용하여 영상 처리부(130)는 촬상 영상에서 사용자의 머리 방향을 바꿀 수 있다. 예컨대, 도 3의 (b)에 도시된 촬상 영상(31)에서 사용자의 머리는 아래를 향하고 있으므로, 영상 처리부(130)는 저장부에 저장된 머리 모델들 중, 머리 방향이 위쪽인 머리 모델을 이용하여, 촬상 영상(31)에서 사용자의 머리 방향을 위쪽으로 보정하여 보정 영상(32)을 생성할 수 있다.

또 다른 실시 예에 따르면, 디스플레이 장치(100)의 아래와 위쪽에 배치된 두 대의 촬상 장치를 이용하여 사용자의 시선 보정이 수행될 수 있다. 구체적으로, 통신부(120)는, 디스플레이 장치(100) 아래 쪽에 배치된 촬상 장치로부터 사용자를 아래에서 촬상한 제1 영상을 수신하고, 디스플레이 장치(100)의 위 쪽에 배치된 촬상 장치로부터 사용자를 위에서 촬상한 제2 영상을 수신한다. 영상 처리부(130)는 통신부(120)를 통해 수신된 제1 영상과 제2 영상을 종합하여 사용자가 정면을 바라보는 보정 영상(32)을 생성할 수 있다.

상술한 실시 예들 이외에도, 공지의 다양한 방식을 이용하여 영상 처리부(130)는 사용자가 정면을 바라보는 것처럼 영상에서 사용자의 시선을 보정할 수 있다.

제어부(140)는 디스플레이 장치(100)의 전반적인 동작을 제어하기 위한 구성이다. 구체적으로 제어부(140)는 특정 화면을 표시하도록 디스플레이부(110)를 제어하며, 외부 장치와 데이터를 송수신하도록 통신부(120)를 제어하며, 영상 처리 동작을 수행하도록 영상 처리부(130)를 제어할 수 있다.

특히, 제어부(140)는 영상 처리부(130)가 촬상 영상에서 검출한 사용자 시선이, 디스플레이부(110)를 통해 표시되는 화면의 어느 부분을 향하는지 여부를 판단하고 판단 결과에 따라 제어동작을 수행할 수 있다. 사용자의 시선이 화면의 어느 곳을 향하는지는 다양한 방법에 의해 판단될 수 있다.

일 예로, 디스플레이 장치(100)는 캘리브레이션(calibration) 동작을 수행하여 화면상에서 사용자의 시선이 위치하는 곳을 결정할 수 있다. 구체적으로, 사용자가 처음으로 디스플레이 장치(100)를 사용하는 경우에, 디스플레이 장치(100)의 네 개의 꼭짓점을 바라보도록 요청되고, 제어부(140)는 사용자가 각 꼭짓점을 바라볼 때 검출된 사용자 시선에 대한 정보를 디스플레이 장치(100)의 각 꼭짓점의 위치에 맵핑시켜 저장부에 저장한다. 디스플레이 장치(100)의 네 개의 꼭짓점을 기준점으로 하여, 제어부(140)는 사용자의 시선이 디스플레이 장치(100)에서 표시되는 화면의 어느 부분에 향하는지 판단할 수 있다.

상술한 실시 예 이외에도 공지의 다양한 방식에 따라 제어부(140)는 사용자의 시선이 화면의 어느 곳을 향하는지 판단할 수 있다.

한편, 외부 장치로부터 수신된 영상, 즉 화상 통화 상대방의 영상이 디스플레이부(110)에서 표시되는 동안, 제어부(140)는 표시 중인 영상의 기 설정된 영역에 사용자 시선이 위치하는 것으로 판단되면, 촬상 영상을 보정하여 보정 영상을 생성하도록 영상 처리부(130)를 제어할 수 있다. 그리고 제어부(140)는 보정 영상을 외부 장치, 즉 화상통화 상대방의 장치로 전송하도록 통신부(120)를 제어할 수 있다.

반면에, 표시 중인 영상의 기 설정된 영역에 사용자 시선이 위치하지 않는 것으로 판단되면, 제어부(140)는 촬상 영상, 즉 보정되지 않은 오리지널 영상을 외부 장치로 전송하도록 통신부(120)를 제어할 수 있다. 이에 대해선 이하 도 4 내지 도 5를 참고하여 좀 더 자세히 설명하도록 한다.

도 4 내지 도 5는 본 발명의 일 실시 예에 따른, 디스플레이 장치(100)의 영상 전송을 설명하기 위한 도면이다.

도 4의 (a)는, 화상통화 수행중에, 영상 처리부(130)가 검출한 사용자(10)의 시선이 디스플레이 장치(100)에 표시된 영상 중 기 설정된 위치, 예컨대 상대방(20)이 표시된 위치에 위치하지 않은 것으로 판단된 경우, 예컨대 회의 자료(25)가 표시된 위치에 사용자(10)의 시선이 위치한 것으로 판단된 상황을 설명하는 도면이다. 이러한 상황에서 제어부(140)는 도 4의 (b)에 도시된 것처럼 촬상 장치(200)가 사용자(10)를 촬상한 촬상 영상(31), 즉 보정되지 않은 영상을 외부 장치로 전송할 수 있다.

반면, 도 5의 (a)를 참고하면, 제어부(140)는 화상통화 수행중에, 영상 처리부(130)가 검출한 사용자(10)의 시선이 디스플레이 장치(100)에 표시된 영상 중 기 설정된 위치, 예컨대 상대방(20)이 표시된 위치에 위치한 것으로 판단되면, 도 5의 (b)와 같은, 사용자의 시선이 정면을 향하도록 보정된 보정 영상(32)을 생성하도록 영상 처리부(130)를 제어할 수 있다. 그리고 제어부(140)는 생성된 보정 영상을 외부 장치, 즉 화상통화 상대방의 장치로 전송할 수 있다.

이에 따르면, 사용자가 실제로 화상 통화 상대방을 바라보고 있을 때만 보정이 수행될 수 있으므로, 불필요한 보정이 수행되는 것을 막을 수 있다는 장점이 있다.

한편, 이상에선 사용자 시선이 화상 통화 상대방이 표시된 위치에 향한 경우에 보정이 수행되는 것으로 설명하였으나, 더 정확한 아이 콘택트를 위해, 사용자 시선이 화상 통화 상대방의 눈을 향한 경우에만 보정이 수행되도록 구현될 수 있다. 본 실시 예에 대해선 이하 도 6 내지 도 7을 참고하여 설명하도록 한다.

도 6 내지 도 7은 본 발명의 또 다른 실시 예에 따른 디스플레이 장치(100)의 영상 전송을 설명하기 위한 도면이다.

구체적으로, 제어부(140)는 외부 장치로부터 수신된 영상에서 눈을 검출하도록 영상 처리부(130)를 제어할 수 있다. 그리고 제어부(140)는 도 6에 도시된 것처럼 촬상 장치(200)에서 촬상된 촬상 영상(31)에서 검출된 사용자의 시선이, 디스플레이 장치(100)에서 표시된 화면 중 눈이 검출된 영역(27)에 위치하지 않는 것으로 판단되면, 촬상 영상(31)을 외부 장치로 전송하도록 통신부(120)를 제어할 수 있다.

반면, 도 7에서처럼, 촬상 장치(200)로부터 수신된 촬상 영상에서 검출된 사용자의 시선이 눈이 검출된 영역(27)에 위치하지 않는 것으로 판단되면, 사용자 시선이 정면을 향하도록 촬상 영상을 보정한 보정 영상(32)을 생성하도록 영상 처리부(130)를 제어하고, 생성된 보정 영상(32)을 전송하도록 통신부(120)를 제어할 수 있다.

한편, 눈이 검출된 영역(27)에 사용자 시선이 위치된 경우뿐만 아니라, 눈이 검출된 영역(27)으로부터 기 설정된 범위 이내에 사용자 시선이 위치된 경우에도 제어부(140)는 보정 영상(32)을 생성하도록 영상 처리부(130)를 제어할 수 있다. 예컨대 사용자가 상대방의 코를 바라보거나, 이마를 바라보더라도 보정 영상(32)이 화상 통화 상대방에게 전송될 수 있다. 이는, 사용자에 따라 대화를 할 때, 상대방의 눈을 바라보며 대화를 하기도하고, 눈이 아닌 코 또는 이마를 바라보면서 대화를 하기도 한다는 점을 고려한 것이다.

도 8은 본 발명의 또 다른 실시 예에 따른 디스플레이 장치(100)의 영상 전송을 설명하기 위한 도면이다.

제어부(140)는 외부 장치로부터 수신된 영상에서 눈을 검출하도록 영상 처리부(130)를 제어할 수 있고, 도 8의 (a)에서와 같이 수신된 영상에서의 사용자(20)가 뒤 돌아 있어서 눈이 검출되지 않은 경우, 제어부(140)는 도 8의 (b)와 같이 보정되지 않은 촬상 영상(31)을 전송하도록 통신부(120)를 제어할 수 있다.

즉, 영상처리부(130)는 다른 동작에 앞서, 제일 먼저 외부 장치로부터 수신된 영상에서 눈을 검출하는 동작을 수행한다. 눈이 검출되지 않은 경우엔 화상 통화자들 간에 아이 컨택이 없는 경우이므로, 추가 동작 즉, 촬상 영상에서 사용자 시선 검출 동작 및 사용자 시선의 위치 판별 동작이 수행될 필요 없이, 제어부(140)는 촬상 영상(31)을 외부 장치로 전송한다.

따라서 본 실시 예에 의하면, 아이 컨택이 이루어지지 않은 경우엔 불필요한 동작이 수행되지 않아도 되므로, 영상 처리 시간이 더 단축될 수 있다는 장점이 있다.

한편, 상술한 실시 예들에선 두 사람 간의 화상통화의 경우에 대해서 설명하였으나, 또 다른 실시 예에 따르면 두 사람 이상의 화상통화의 경우에도 본 발명이 적용될 수 있다. 이에 대해선 이하 도 9를 통해 설명하도록 한다.

도 9는 본 발명의 또 다른 실시 예에 따른 디스플레이 장치(100)의 영상 전송을 설명하기 위한 도면이다.

도 9의 (a)에서처럼 복수의 외부 장치(300-1, 300-2, 300-3, 300-4)로부터 복수의 영상(71, 72, 73, 74)이 수신되면, 제어부(140)는 복수의 영상(71, 72, 73, 74)을 표시하도록 디스플레이부(110)를 제어할 수 있다. 이로써 사용자(10)는 복수의 상대방과 화상통화를 할 수 있다.

이 경우, 제어부(140)는 촬상 장치(200)로부터 수신한 촬상 영상에서 검출된 사용자 시선이 복수의 영상(71, 72, 73, 74) 중 어느 하나의 영상의 기 설정된 영역에 위치하는지 여부를 판단할 수 있다.

이 경우, 기 설정된 영역은 복수의 영상(71, 72, 73, 74) 중 어느 하나의 영상 전체 영역일 수 있다. 또 다른 실시 예에 따르면, 기 설정된 영역은 어느 하나의 영상에서 눈이 검출된 영역일 수 있다. 또 다른 실시 예에 따르면, 기 설정된 영역은 어느 하나의 영상에서 눈이 검출된 영역으로부터 기 설정된 범위 내에 있는 영역일 수 있다.

도 9의 (b)에 도시된 것처럼, 판단 결과에 따라 제어부(140)는 복수의 외부 장치(300-1, 300-2, 300-3, 300-4) 중 어느 하나로 시선이 보정된 보정 영상(32)을 전송하도록 통신부(120)를 제어할 수 있다. 그리고 보정 영상(32)이 전송되지 않은 나머지 외부 장치들로 보정이 되지 않은 촬상 영상(31)을 전송하도록 통신부(120)를 제어할 수 있다.

구체적으로, 디스플레이 장치(100)의 저장부엔 각 영상을 보낸 장치들에 대한 정보를 저장하고 있고, 영상들이 화면에서 표시되는 위치에 대한 정보를 저장하고 있다. 이에 기초하여, 제어부(140)는 사용자 시선이 위치한 곳에 표시된 영상을 보낸 장치로 보정 영상(32)을 보낼 수 있다.

도 9의 경우엔, 사용자의 시선이 위치하는 것으로 판단된 영상(72)을 전송한 B의 장치(300-2)로 보정 영상(32)이 전송되고, 나머지 장치들(300-1, 300-3, 300-4)에는 보정이 되지 않은 촬상 영상(31)이 전송된다.

본 실시 예에 따르면, 사용자(10)가 실제로 바라보고 있는 상대방에게만 보정 영상(32)이 전송되고, 사용자(10)가 실제로 바라보고 있지 않은 상대방에게는 보정되지 않은 촬상 영상(31)이 전송되므로, 실제로 만나서 대화하는 것과 같은 경험을 화상통화자들에게 줄 수 있다. 만약, 모든 상대방에게 보정 영상이 보내지게 되면, 실제로 아이 콘택트가 이루어지고 있지 않은데도 상대방은 사용자가 자신을 바라보고 말하고 있다고 오해할 수 있는 문제가 발생하게 되므로, 본 실시 예는 이러한 문제를 해결할 수 있다.

한편, 본 실시 예에선, 제어부(140)는 사용자의 시선이 위치하는 것으로 판단된 영상, 즉 72 영상에 대해서만 눈 검출 동작을 수행하도록 하고, 나머지 영상들, 즉 71, 73 및 74 영상에 대해선 눈 검출 동작을 수행하지 않도록 영상 처리부(130)를 제어할 수 있다. 이에 따라 모든 영상에 대해 눈 검출 동작이 수행되지 않아도 되므로, 영상 처리 시간이 단축될 수 있다는 장점이 있다.

디스플레이 장치(100)는 본 발명의 기능을 지원하는 모든 정보통신기기, 멀티미디어기기 및 그에 대한 응용기기와 같이 AP(Application Processor), GPU(Graphic Processing Unit), CPU(Central Processing Unit)를 사용하는 모든 디바이스를 포함할 수 있다. 예를 들어, 디스플레이 장치(100)는 다양한 통신 시스템에 대응되는 각 통신 프로토콜들(communication protocols)에 의거하여 동작하는 이동통신 단말기를 비롯하여, 태블릿(tablet) PC(Personal Computer), 스마트 폰(Smart Phone), 디지털 카메라, PMP(Portable Multimedia Player), 미디어 플레이어(Media Player), 휴대게임단말, 랩톱 컴퓨터 및 PDA(Personal Digital Assistant) 등의 디바이스를 포함할 수 있다. 아울러, 본 발명의 기능 제어 방법은 디지털 TV(Digital Television), DS(Digital Signage), LFD(Large Format Display) 등과 같이 다양한 디스플레이 디바이스에 적용되어 운용될 수 있다.

도 10은 본 발명의 또 다른 실시 예에 따른 디스플레이 장치의 세부 구성을 설명하기 위한 블럭도이다. 한편, 도 10의 구성을 설명함에 있어 상술한 디스플레이 장치(100)의 구성과 중복되는 부분에 대해선 추가 설명은 생략한다.

도 10에 따르면, 디스플레이 장치(100')는 디스플레이부(110), 통신부(120), 영상 처리부(130), 제어부(140), 저장부(150), 촬상부(160), 스피커(170), 마이크(180), 입력부(190)를 포함한다.

디스플레이부(110)는 제어부(140)의 제어에 따라 각종 그래픽 오브젝트를 표시할 수 있는 구성이다. 디스플레이부(110)는 LCD(Liquid Crystal Display)로 구현될 수 있으며, 경우에 따라 CRT(cathode-ray tube), PDP(plasma display panel), OLED(organic light emitting diodes) 등으로 구현될 수 있다. 또한, 디스플레이부(110)는 사용자의 터치 조작을 감지할 수 있는 터치스크린 형태로 구현될 수도 있다.

통신부(120)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 기기와 통신을 수행하는 구성이다. 통신부(120)는 와이파이칩(121), 블루투스 칩(122), NFC칩(123), 무선 통신 칩(124) 등과 같은 다양한 통신 칩을 포함한다.

와이파이칩(121), 블루투스 칩(122), NFC칩(123), 무선 통신 칩(124)은 각각 WiFi 방식, 블루투스 방식, NFC 방식으로 통신을 수행한다. 이 중 NFC칩(123)은 135kHz, 13.56MHz, 433MHz, 860~960MHz, 2.45GHz 등과 같은 다양한 RF-ID 주파수 대역들 중에서 13.56MHz 대역을 사용하는 NFC(Near Field Communication) 방식으로 동작하는 칩을 의미한다. 와이파이칩(121)이나 블루투스 칩(122)을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신 칩(124)은 IEEE, 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다. 제어부(140)는 통신부(120)를 통해 외부 기기로부터 수신되는 영상을 디스플레이부(110)에 표시할 수 있다.

영상 처리부(130)는 영상에 대해 기 설정된 영상 처리를 수행할 수 있는 구성이다. 구체적으로, 영상 처리부(130)는 저장부(150)의 시선 검출 모듈(150)을 이용하여 영상에서 시선을 검출할 수 있고, 눈 위치 검출 모듈(152)을 이용하여 영상에서 눈의 위치를 검출할 수 있다. 또한, 영상 처리부(130)는 영상 보정 모듈(153)을 이용하여 영상을 보정할 수 있다. 특히, 영상 처리부(130)는 영상에서 사용자의 시선을 보정할 수 있다.

또한, 영상 처리부(130)는 디스플레이부(110)에 표시되는 화면을 구성할 수 있다. 영상 처리부(130)는 비디오 데이터에 대한 인코딩이나 디코딩을 수행하기 위한 코덱, 파서, 스케일러, 노이즈 필터, 프레임 레이트 변환 모듈 등과 같은 다양한 구성 요소를 포함할 수 있다.

영상 처리부(130)는 예컨대, 프로세서, ASIC, 임베디드 프로세서, 마이크로 프로세서, 하드웨어 제어 로직, 하드웨어 FSM(finite state machine) 및 DSP(digital signal processor) 중 적어도 하나로 구현될 수 있다.

스피커(170)는 오디오 처리부(미도시)에서 처리된 각종 오디오 데이터뿐만 아니라 각종 알림 음이나 음성 메시지 등을 출력하는 구성요소이다.

오디오 처리부는 오디오 데이터에 대한 처리를 수행하는 구성요소이다. 오디오 처리부에서는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다.

촬상부(160)는 정지 영상 또는 동영상을 촬상하기 위한 구성이다. 촬상부(160)는 전면 촬상부와 후면 촬상부를 포함할 수 있다. 전면 촬상부는 디스플레이부(110)를 기준으로 사용자 방향, 즉 디스플레이 방향에 배치되고, 후면 촬상부는 디스플레이 방향과 반대 방향에 배치된다. 특히, 촬상부(160)는 화상 통화 동안 사용자를 촬상하는 역할을 수행한다.

마이크(180)는 사용자 음성이나 기타 소리를 입력받아 오디오 데이터로 변환하기 위한 구성이다. 제어부(140)는 마이크(180)를 통해 입력되는 사용자 음성을 화상 통화 과정에서 이용하거나, 오디오 데이터로 변환하여 저장부(150)에 저장할 수 있다. 제어부(140)는 화상 통화 과정에서 마이크(180)를 통해 입력되는 음성을 외부 장치로 전송한다. 또한, 제어부(140)는 마이크(180)를 통해 입력되는 사용자 음성을 인식하고, 그에 해당되는 제어 동작을 수행할 수 있다.

입력부(190)는 디스플레이 장치(100)를 제어하기 위한 사용자 명령을 입력받는 구성이다. 예를 들어, 입력부(190)는 리모컨, 포인팅 디바이스, 사용자의 모션을 감지하는 모션 센서, 사용자 음성을 감지하는 음성 센서, 마우스 등과 같은 다양한 입력 장치로 구현될 수 있다.

저장부(150)에는 O/S나 각종 어플리케이션과 같은 프로그램이 저장되어 있다. 특히, 저장부(150)에는 시선 검출 모듈(151), 눈 위치 검출 모듈(152), 영상 보정 모듈(153)이 저장되어 있을 수 있다.

그리고 저장부(150)에는 측면, 정면 등 다양한 머리 방향을 나타내는 머리 모델들(head models)이 저장되어 있을 수 있다.

그리고 저장부(150)에는 촬상 영상에서 검출된 사용자 시선이 화면상에 향하는 위치를 결정하는데 이용되는 칼리브레이션 수행 결과가 저장되어 있을 수 있다.

제어부(140)는 저장부(150)에 저장된 각종 프로그램을 이용하여 디스플레이 장치(100')의 동작을 전반적으로 제어한다.

제어부(140)는 RAM(141), ROM(142), 메인 CPU(143), 제1 내지 n 인터페이스(144-1 ~ 144-n), 버스(146)를 포함한다. RAM(141), ROM(142) 메인 CPU(143), 제1 내지 n 인터페이스(144-1 ~ 144-n) 등은 버스(146)를 통해 서로 연결될 수 있다.

제1 내지 n 인터페이스(144-1 ~ 144-n)는 상술한 각종 구성요소들과 연결된다. 인터페이스들 중 하나는 네트워크를 통해 외부 장치와 연결되는 네트워크 인터페이스가 될 수도 있다.

메인 CPU(143)는 저장부(150)에 액세스하여, 저장부(150)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 저장부(150)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.

ROM(142)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴 온 명령이 입력되어 전원이 공급되면, 메인 CPU(143)는 ROM(142)에 저장된 명령어에 따라 저장부(130)에 저장된 O/S를 RAM(141)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU(143)는 저장부(150)에 저장된 각종 어플리케이션 프로그램을 RAM(141)에 복사하고, RAM(141)에 복사된 어플리케이션 프로그램을 실행시켜 각종 동작을 수행한다.

메인 CPU(143)는 촬상부(160), 마이크(190) 등을 통해 다양한 유형의 사용자 조작이 감지되면, 그 감지 결과를 이용하여 저장부(150)에 저장된 이벤트 정보에 매칭되는 이벤트가 발생하였는지 여부를 판단한다. 상술한 바와 같이 이벤트는 다양하게 설정될 수 있다. 가령, 사용자 터치나 버튼 선택이 이루어지는 이벤트, 모션 제스쳐 음성 코맨드 등이 입력되는 이벤트, 어플리케이션 실행 명령이 입력되는 이벤트, 컨텐츠 재생 명령이 입력되는 이벤트, 기 설정된 시간이나 주기가 도래하는 이벤트, 시스템 알림 메시지가 발생하는 이벤트, 외부 소스와의 통신이 이루어지는 이벤트 등이 있을 수 있다.

그 밖에, 도 10에 도시하지는 않았으나, 실시 예에 따라서는, 디스플레이 장치(100') 내에 USB 커넥터가 연결될 수 있는 USB 포트나, 헤드셋, 마우스, LAN 등과 같은 다양한 외부 단자와 연결하기 위한 다양한 외부 입력 포트, DMB(Digital Multimedia Broadcasting) 신호를 수신하여 처리하는 DMB 칩, 다양한 센서 등을 더 포함할 수 있음은 물론이다.

한편, 본 발명의 다양한 실시 예가 화면을 표시하는 디스플레이부(110)를 구비한 디스플레이 장치(100, 100')에 의해 실현되는 것으로 설명하였으나, 디스플레이부(110)를 구비하지 않은 장치로도 실현될 수 있다. 예컨대 TV와 같은 디스플레이 장치와 연결되는 셋톱박스와 같은 장치에 의해서도 본 발명의 다양한 실시 예가 실현될 수 있다.

일 예로, 촬상 장치로부터 촬상 영상을 수신하여 사용자 시선을 검출하고, 검출된 사용자 시선이 외부 장치가 전송한 영상의 기 설정된 영역에 위치하는지 여부를 판단하고, 판단 결과에 따라 촬상 영상 또는 촬상 영상에서 검출된 사용자 시선을 보정한 보정 영상을 외부 장치로 전송하는 장치에 의해 본 발명의 다양한 실시 예가 실현될 수 있다.

본 발명에서 설명되는 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합된 것을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 하드웨어적인 구현에 의하면, 본 발명에서 설명되는 실시 예들은 ASICs(Application Specific Integrated Circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛(unit) 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시 예들이 제어부(140) 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다.

도 11은 본 발명의 일 실시 예에 따른 디스플레이 장치의 영상 보정방법을 설명하기 위한 흐름도이다.

도 11에 따르면, 디스플레이 장치(100)는 외부 장치로부터 영상을 수신하여 표시한다(S1110). 이 경우, 외부 장치는 디스플레이 장치(100)와 화상통화를 수행하는 장치이고, 수신된 영상은 외부 장치의 사용자, 즉 화상통화 상대방을 촬상한 영상일 수 있다.

그리고 디스플레이 장치(100)는 외부 장치로부터 수신된 영상의 표시방향에 존재하는 피사체를 촬상한 촬상 영상을 촬상 장치(200)로부터 수신하여(S1120), 촬상 영상에서 사용자 시선을 검출한다(S1130).

만약, 촬상 영상에서 사용자 시선이 검출되지 않으면, 디스플레이 장치(100)는 촬상 영상 그대로를 외부 장치, 즉 화상 통화 상대방의 장치로 전송한다.

촬상 영상에서 사용자 시선이 검출되면, 디스플레이부(100)는 검출된 사용자 시선이 외부 장치로부터 수신된 영상의 기 설정된 영역에 위치하는지 판단한다(S1140). 여기서 기 설정된 영역이란, 영상에 특정 객체가 표시된 영역으로서, 예컨대, 화상 통화 상대방이 표시된 영역, 화상 통화 상대방의 양 눈 중 적어도 하나가 표시된 영역, 화상 통화 상대방의 코가 표시된 영역, 화상통화 상대방의 눈이 표시된 영역을 중심으로 기 설정된 거리를 포함하는 영역일 수 있다.

사용자 시선이 외부 장치로부터 수신된 영상의 기 설정된 영역에 위치하는 것으로 판단되면, 디스플레이 장치(100)는 촬상 영상에서 사용자 시선이 보정된 보정 영상을 외부 장치로 전송한다(S1150). 반면, 사용자 시선이 외부 장치로부터 수신된 영상의 기 설정된 영역에 위치하지 않는 것으로 판단되면, 보정되지 않은 촬상 영상을 외부 장치로 전송한다(S1160).

도 11을 참고하여 설명한 단계들 이외에도, 도 1 내지 도 10에서 설명한 다양한 실시 예들에서 이루어지는 동작들이 추가되어 영상 보정 방법의 다양한 실시 예가 도출될 수 있음은 물론이다. 따라서, 이러한 실시 예들은 중복되는 범위 내에서의 설명은 생락하도록 한다.

상술한 다양한 실시 예에 따른, 디스플레이 장치의 영상 보정방법은 컴퓨터에서 실행될 수 있는 실행가능한 알고리즘을 포함하는 프로그램으로 구현될 수 있고, 상기 프로그램은 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다. 이러한 비일시적 판독 가능 매체는 다양한 장치에 탑재되어 사용될 수 있다.

비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 방법을 수행하기 위한 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.

이에 따라, 상술한 프로그램이 기존의 장치에 설치되어, 영상보정 동작을 수행함으로써 화상통화 동안 통화자들이 적절한 아이 콘택트를 유지하며 통화를 수행할 수 있게 한다.

이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어 져서는 안 될 것이다.

100: 디스플레이 장치 110: 디스플레이부
120: 통신부 130: 영상 처리부
140: 제어부

Claims

디스플레이 장치에 있어서,
외부 장치로부터 수신된 영상을 표시하는 디스플레이부;
상기 영상의 표시방향에 존재하는 피사체를 촬상한 촬상 영상을 촬상 장치로부터 수신하는 통신부;
상기 촬상 영상에서 사용자 시선을 검출하는 영상 처리부; 및
상기 검출된 사용자 시선이 상기 외부 장치로부터 수신된 영상의 기 설정된 영역에 위치하는지 여부를 판단하고, 상기 판단 결과에 따라 상기 촬상 영상 또는 상기 촬상 영상에서 검출된 사용자 시선을 보정한 보정 영상을 상기 외부 장치로 전송하도록 상기 통신부를 제어하는 제어부;를 포함하는 디스플레이 장치.
제1항에 있어서,
상기 제어부는,
상기 촬상 영상에서 검출된 사용자 시선이 상기 외부 장치로부터 수신된 영상의 기 설정된 영역에 위치하지 않으면, 상기 촬상 영상을 상기 외부 장치로 전송하고, 상기 촬상 영상에서 검출된 사용자 시선이 상기 외부 장치로부터 수신된 영상의 기 설정된 영역에 위치하면, 상기 보정 영상을 상기 외부 장치로 전송하도록 상기 통신부를 제어하는 것을 특징으로 하는 디스플레이 장치.
제1항에 있어서,
상기 외부 장치로부터 수신된 영상의 기 설정된 영역은,
상기 외부 장치로부터 수신된 영상에서 눈이 검출된 영역인 것을 특징으로 하는 디스플레이 장치.
제1항에 있어서,
상기 영상 처리부는,
상기 외부 장치로부터 수신된 영상에서 눈을 검출하며,
상기 제어부는,
상기 외부 장치로부터 수신된 영상에서 눈이 검출되지 않으면, 상기 촬상 영상을 상기 외부 장치로 전송하도록 상기 통신부를 제어하는 것을 특징으로 하는 디스플레이 장치.
제1항에 있어서,
상기 영상 처리부는,
상기 촬상 영상에서 홍채를 검출하며, 상기 검출된 홍채의 표시 위치를 기 설정된 위치로 변경하여 사용자의 시선을 보정한 보정 영상을 생성하는 것을 특징으로 하는 디스플레이 장치.
제1항에 있어서,
상기 디스플레이부는,
복수의 외부 장치로부터 수신된 복수의 영상을 표시하며,
상기 제어부는,
상기 촬상 영상에서 검출된 사용자 시선이 상기 복수의 영상 중 어느 하나의 영상의 기 설정된 영역에 위치하는지 여부를 판단하는 것을 특징으로 하는 디스플레이 장치.
제6항에 있어서,
상기 제어부는,
상기 복수의 외부 장치 중, 상기 검출된 사용자의 시선이 위치하는 것으로 판단된 영상을 전송한 외부 장치로 상기 보정 영상을 전송하도록 상기 통신부를 제어하는 것을 특징으로 하는 디스플레이 장치.
제7항에 있어서,
상기 제어부는,
상기 보정 영상이 전송되지 않은 나머지 외부 장치로 상기 촬상 영상을 전송하도록 상기 통신부를 제어하는 것을 특징으로 하는 디스플레이 장치.
화상 통화 시스템에 있어서,
외부 장치로부터 영상을 수신하여 표시하는 디스플레이 장치; 및
상기 디스플레이 장치의 디스플레이 방향에 존재하는 피사체를 촬상하는 촬상 장치;를 포함하며,
상기 디스플레이 장치는,
상기 촬상 장치로부터 수신된 촬상 영상에서 사용자 시선을 검출하고, 검출된 사용자 시선이 상기 외부 장치로부터 수신된 영상의 기 설정된 영역에 위치하는지 판단하고, 상기 판단 결과에 따라 상기 촬상 영상 또는 상기 촬상 영상에서 검출된 사용자 시선을 보정한 보정 영상을 상기 외부 장치로 전송하는, 화상 통화 시스템.
디스플레이 장치의 영상 보정방법에 있어서,
외부 장치로부터 수신된 영상을 표시하는 단계;
상기 영상의 표시방향에 존재하는 피사체를 촬상한 촬상 영상을 촬상 장치로부터 수신하는 단계;
상기 촬상 영상에서 사용자 시선을 검출하는 단계;
상기 검출된 사용자 시선이 상기 외부 장치로부터 수신된 영상의 기 설정된 영역에 위치하는지 판단하는 단계; 및
상기 판단 결과에 따라 상기 촬상 영상 또는 상기 촬상 영상에서 검출된 사용자 시선을 보정한 보정 영상을 상기 외부 장치로 전송하는 단계;를 포함하는 디스플레이 장치의 영상 보정방법.
제10항에 있어서,
상기 전송하는 단계는,
상기 촬상 영상에서 검출된 사용자 시선이 상기 외부 장치로부터 수신된 영상의 기 설정된 영역에 위치하지 않으면, 상기 촬상 영상을 상기 외부 장치로 전송하고, 상기 촬상 영상에서 검출된 사용자 시선이 상기 외부 장치로부터 수신된 영상의 기 설정된 영역에 위치하면, 상기 보정 영상을 상기 외부 장치로 전송하는 것을 특징으로 하는 디스플레이 장치의 영상 보정방법.
제10항에 있어서,
상기 외부 장치로부터 수신된 영상의 기 설정된 영역은,
상기 외부 장치로부터 수신된 영상에서 눈이 검출된 영역인 것을 특징으로 하는 디스플레이 장치의 영상 보정방법.
제10항에 있어서,
상기 외부 장치로부터 수신된 영상에서 눈을 검출하는 단계;를 더 포함하며,
상기 전송하는 단계는,
상기 외부 장치로부터 수신된 영상에서 눈이 검출되지 않으면, 상기 촬상 영상을 상기 외부 장치로 전송하는 것을 특징으로 하는 디스플레이 장치의 영상 보정방법.
제10항에 있어서,
상기 촬상 영상에서 홍채를 검출하는 단계; 및
상기 검출된 홍채의 표시 위치를 기 설정된 위치로 변경하여 사용자의 시선을 보정한 보정 영상을 생성하는 단계;를 더 포함하는 것을 특징으로 하는 디스플레이 장치의 영상 보정방법.
제10항에 있어서,
상기 표시하는 단계는,
복수의 외부 장치로부터 수신된 복수의 영상을 표시하며,
상기 판단하는 단계는,
상기 촬상 영상에서 검출된 사용자 시선이 상기 복수의 영상 중 어느 하나의 영상의 기 설정된 영역에 위치하는지 판단하는 것을 특징으로 하는 디스플레이 장치의 영상 보정방법.
제15항에 있어서,
상기 전송하는 단계는,
상기 복수의 외부 장치 중, 상기 검출된 사용자의 시선이 위치하는 것으로 판단된 영상을 전송한 외부 장치로 상기 보정 영상을 전송하는 것을 특징으로 하는 디스플레이 장치의 영상 보정방법.
제16항에 있어서,
상기 전송하는 단계는,
상기 보정 영상이 전송되지 않은 나머지 외부 장치로 상기 촬상 영상을 전송하는 것을 특징으로 하는 디스플레이 장치의 영상 보정방법.
영상 보정 방법을 수행하기 위한 프로그램이 저장되는 기록 매체에 있어서,
상기 영상 보정 방법은,
외부 장치로부터 수신된 영상을 표시하는 단계;
상기 영상의 표시방향에 존재하는 피사체를 촬상한 촬상 영상을 촬상 장치로부터 수신하는 단계;
상기 촬상 영상에서 사용자 시선을 검출하는 단계;
상기 검출된 사용자 시선이 상기 외부 장치로부터 수신된 영상의 기 설정된 영역에 위치하는지 판단하는 단계; 및
상기 판단 결과에 따라 상기 촬상 영상 또는 상기 촬상 영상에서 검출된 사용자 시선을 보정한 보정 영상을 상기 외부 장치로 전송하는 단계;를 포함하는 기록 매체.