KR20200023651A

KR20200023651A - 미리보기 사진 블러링 방법 및 장치 및 저장 매체

Info

Publication number: KR20200023651A
Application number: KR1020207003447A
Authority: KR
Inventors: 궈휘 딴; 청펑 두
Original assignee: 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드
Priority date: 2017-11-30
Filing date: 2018-10-24
Publication date: 2020-03-05
Anticipated expiration: 2038-10-24
Also published as: US20190166302A1; KR102277048B1; JP2020529086A; EP3493523A3; CN107948517A; CN107948517B; WO2019105158A1; EP3493523A2; US10674069B2; JP6961797B2

Abstract

미리보기 사진 블러링 방법 및 장치 및 저장 매체가 개시된다. 제1미리보기 사진에 대해 포트레이트 인식이 수행되어, 상기 제1미리보기 사진에서 타깃 포트레이트의 정보를 판단한다. 상기 타깃 포트레이트의 상기 정보는 상기 타깃 포트레이트의 에어리어와 위치를 포함한다. 보호될 타깃 영역은 상기 타깃 포트레이트의 상기 정보에 따라 판단된다. 미리보기 사진들을 전환할 때, 제2미리보기 사진에서 상기 타깃 영역을 제외한 영역에서 블러링이 수행된다.

Description

미리보기 사진 블러링 방법 및 장치 및 저장 매체

본 발명의 실시 예들은 이미지 프로세싱 분야, 특히 미리보기 사진을 블러링하는 방법 및 장치 그리고 그 컴퓨터 판독 가능 매체에 관한 것이다.

통상적으로, 촬영된 피사체(shot subject)를 강조(highlighting)하고, 촬영된 이미지(shot image)에서 상기 촬영 피사체에 초점(focusing)을 맞추기 위해, 상기 촬영 이미지의 배경 영역에서 실시간 블러링(blurring)이 수행될 수 있다.

현재, 촬영된 이미지의 배경 영역에 대해 실시간 블러링이 수행될 때, 프레임 사진(frame picture)의 피사계 심도 정보(depth information of field)는 일반적으로 이미지 센서에 의해 획득된 상기 프레임 사진을 디스플레이하는 프로세스에서 계산된다. 이어서 상기 계산된 피사계 심도 정보에 따라 상기 배경 영역의 일부에 블러링이 수행된다. 그러나, 이러한 방식으로 상기 촬영된 사진에 대해 블러링이 수행되면, 상기 촬영된 사진의 상기 피사계 심도 정보를 계산하는데 비교적 오랜 시간이 요구된다. 또한, 촬영된 피사체가 흔들릴 때, 상기 촬영된 사진의 상기 피사계 심도 정보를 업데이트할 시간이 충분하지 않아서, 상기 피사체의 일부가 블러링될 수 있고, 이는 또한 전체적인 블러링 효과에 영향을 미치며, 사용자 경험을 악화시킨다.

본 출원은 이미지 프로세싱에 관한 것으로, 특히 미리보기 사진을 블러링하는 방법 및 장치 그리고 저장 매체에 관한 것이다.

일 양태에서, 미리보기 사진을 블러링하는 방법이 제공된다. 제1미리보기 사진에 대해 포트레이트 인식이 수행되어, 상기 제1미리보기 사진에서 제1포트레이트의 정보를 판단한다. 상기 제1포트레이트의 상기 정보는 상기 제1포트레이트의 에어리어를 포함한다. 보호될 타깃 영역은 상기 제1포트레이트의 상기 정보에 따라 판단된다. 미리보기 사진을 전환할 때, 제2미리보기 사진에서 상기 타깃 영역 이외의 영역에 대해 블러링이 수행된다.

다른 양태에서, 미리보기 사진을 블러링하는 장치는 제1판단 모듈, 제2판단 모듈 및 블러링 모듈을 포함한다. 상기 제1판단 모듈은 제1미리보기 사진에 대해 포트레이트 인식을 수행하여, 상기 제1미리보기 사진에서 제1포트레이트의 정보를 판단하도록 구성되고, 상기 제1포트레이트의 상기 정보는 상기 제1포트레이트의 에어리어를 포함한다. 상기 제2판단 모듈은 상기 제1포트레이트의 상기 정보에 따라 보호될 타깃 영역을 판단하도록 구성된다. 상기 블러링 모듈은, 미리보기 사진들을 전환할 때, 제2미리보기 사진에서 상기 타깃 영역 이외의 영역을 블러링하도록 구성된다.

또 다른 양태에서, 프로세서 및 메모리를 포함하는 미리보기 사진 블러링 장치가 제공된다. 상기 메모리는 상기 프로세서에 의해 실행될 때 상기 프로세서가, 제1미리보기 사진에 대해 포트레이트 인식을 수행하여, 상기 제1미리보기 사진에서 제1포트레이트의 정보를 판단하는 동작-상기 제1포트레이트의 상기 정보는 상기 제1포트레이트의 에어리어를 포함함-; 상기 제1포트레이트의 상기 정보에 따라 보호될 타깃 영역을 판단하는 동작; 및 미리보기 사진을 전환할 때, 제2미리보기 사진에서 상기 타깃 영역 이외의 영역을 블러링하는 동작;들을 구현하게 하는 명령들을 저장하도록 구성된다.

또 다른 양태에서, 본 명세서에서 단말 장치의 프로세서에 의해 실행 가능한 명령들을 저장한 컴퓨터 판독 가능한 저장 매체가 제공된다. 상기 실행 가능한 명령들이 실행될 때, 미리보기 사진을 블러링하는 방법을 구현하도록 구성된다.

본 출원의 추가적 양태들 및 이점들은 다음의 설명에서 부분적으로 제시될 것이며, 다음의 설명으로부터 부분적으로 명백해지거나 본 출원을 구현함으로써 이해될 것이다.

본 출원의 전술한 및/또는 추가적 양태들 및 이점들은 도면들과 조합하여 이하의 실시 예들에 대한 설명들로부터 명백하고 이해하기 쉬울 것이다.
도 1은 본 출원의 일 실시 예에 따른 미리보기 사진을 블러링하는 방법의 순서도이다.
도 2는 본 출원의 일 실시 예에 따른 제1미리보기 사진에서 포트레이트 인식을 수행하는 순서도이다.
도 3은 본 출원의 다른 실시 예에 따른 미리보기 사진을 블러링하는 방법의 순서도이다.
도 4는 본 출원의 일 실시 예에 따른 미리보기 사진을 블러링하는 장치의 구조도이다.
도 5는 본 출원의 일 실시 예에 따른 단말 장치의 구조도이다.
도 6은 본 출원의 일 실시 예에 따른 이미지 프로세싱 회로의 구조도이다.

이하, 본 출원의 실시 예들에 대하여 상세하게 설명한다. 실시 예들의 예시들이 도면들에 도시되어 있고, 동일하거나 유사한 참조 부호는 항상 동일하거나 유사한 컴포넌트들 혹은 동일하거나 유사한 기능들을 가지는 컴포넌트들을 나타낸다. 도면들을 참조하여 아래에 설명된 실시 예들은 예시적이고, 본 출원을 설명하기 위한 것이며, 본 출원에 대한 제한으로서 이해되어서는 안 된다.

종래에는, 미리보기 사진의 배경 영역에서 블러링이 수행될 때, 촬영된 사진의 피사계 심도 정보를 계산하는데 비교적 오랜 시간이 소요될뿐만 아니라, 상기 촬영된 사진의 피사체가 흔들리는 경우 상기 촬영된 사진의 상기 피사계 심도 정보를 업데이트할 시간이 충분하지 않기 때문에, 상기 피사체의 일부가 블러링되게 만들 수 있고, 상기 촬영된 사진의 전체적인 블러링 효과에 영향을 추가로 미치며, 사용자 경험을 악화시킬 수 있다. 이러한 문제점을 해결하기 위하여, 미리보기 사진을 블러링하는 방법이 제공된다.

본 출원에 제공된 방법에 따르면, 제1미리보기 사진에서 제1포트레이트의 정보를 판단하기 위해 상기 제1미리보기 사진에 대해 포트레이트 인식이 수행되고, 상기 제1포트레이트의 상기 정보는 상기 제1포트레이트의 에어리어를 포함한다. 보호될 타깃 영역은 상기 제1포트레이트의 상기 판단된 정보에 따라 판단된다. 미리보기 사진을 전환할 때, 제2미리보기 사진에서 상기 타깃 영역 이외의 영역에서 블러링이 수행된다. 따라서, 상기 미리보기 사진에 대해 블러링이 수행될 때, 상기 미리보기 사진의 블러링 속도가 증가되고, 시간이 절약된다. 또한, 흔들릴 때 촬영된 피사체가 블러링되는 것을 방지하여, 미리보기 사진의 블러링 효과가 향상되고, 사용자의 만족도가 개선된다.

본 출원의 실시 예들에 기초하여 블러링된 이미지를 획득하는 방법이 도면을 참조하여 아래에 설명될 것이다.

도 1은 본 출원의 실시 예에 따른 미리보기 사진 블러링 방법의 순서도이다.

도 1을 참조하면, 본 출원의 미리보기 사진을 블러링하는 방법은 다음의 동작들을 포함할 수 있다.

(101)에서, 제1미리보기 사진(first preview picture)에 대해 포트레이트 인식이 수행되어, 상기 제1미리보기 사진에서 제1포트레이트(first portrait)의 정보를 판단하며, 상기 제1포트레이트의 정보는 상기 제1포트레이트의 에어리어(area)를 포함한다.

구체적으로, 상기 본 출원의 상기 실시 예에서 제공되는 상기 방법은 상기 본 출원에서 제공되는 상기 미리보기 사진 블러링 장치에 의해 실행될 수 있다. 상기 장치는 상기 미리보기 사진에 대한 블러링 제어를 구현하도록 단말 장치(terminal equipment)에서 구성된다.

본 실시 예에서, 상기 단말 장치는 촬영 기능(shooting function)을 가지는 임의의 하드웨어 장치, 예를 들어 스마트 폰, 카메라 및 개인용 컴퓨터(PC)일 수 있다. 본 출원에서 이에 대한 구체적인 제한은 없다.

또는, 본 실시 예의 상기 단말 장치는 또한 더블 카메라(double cameras)를 구비한 하드웨어 장치일 수 있다. 상기 더블 카메라는 2개의 후방 카메라들(rear cameras)을 나타낸다.

실시 예에서, 상기 2개의 후방 카메라들은 수평 방향(horizontal direction) 또는 수직 방향(vertical direction) 중 하나로 배열될 수 있음에 유의해야 한다.

여기서, 상기 수평 방향은 상기 단말 장치의 단변에 평행한 방향을 나타내고, 상기 수직 방향은 상기 단말 장치의 장변에 평행한 방향을 나타낸다.

본 명세서에서의 상기 포트레이트는 상기 촬영된 피사체의 얼굴 또는 신체 중 적어도 하나를 나타낸다는 점에 주목한다.

동작(101)이 구체적으로 실행되는 경우, 본 실시 예의 도 2에 도시된 동작들을 통해 상기 제1미리보기 사진에 대한 포트레이트 인식이 수행될 수 있다. 도 2의 예로서 얼굴 인식이 취해진다.

구체적으로, 상기 미리보기 사진에서 상기 포트레이트 인식이 수행되는 상기 동작은 다음과 같은 동작들을 포함할 수 있다.

(201)에서, 상기 제1미리보기 사진에서 얼굴 영역에 대응하는 깊이 정보가 판단된다.

구체적인 구현 시, 상기 제1미리보기 사진의 얼굴은 임의의 형태의 얼굴 인식 기술(face recognition technology)에 의해 인식될 수 있다. 예를 들면, 상기 제1미리보기 사진에 포함된 아이즈(eyes)가 먼저 캡처될 수 있고, 다음 상기 얼굴 영역은 상기 캡처된 얼굴에 따라 판단되며, 상기 얼굴 영역에 대응하는 상기 깊이 정보는 상기 단말 장치의 카메라 수에 따라 상이한 방식으로 획득된다.

예를 들면, 상기 단말 장치가 단일 카메라(single camera)를 가지는 경우, 상기 제1미리보기 사진은 초음파 레이더(ultrasonic radar)를 통해 스캔되어 상기 얼굴 영역에 대응하는 상기 깊이 정보를 획득할 수 있다.

상기 단말 장치에 더블 카메라가 있는 경우, 피사체의 깊이 정보, 즉 상기 피사체와 상기 더블 카메라가 위치한 평면 사이의 거리는 삼각 측량 범위 원리(triangulation ranging principle) 및 상기 피사체에 대한 상기 더블 카메라들 간의 차이에 따라 계산될 수 있다.

(202)에서, 상기 제1미리보기 사진에서의 포트레이트 윤곽(portrait contour)은 상기 깊이 정보에 따라 결정된다.

구체적으로, 실제 적용 시, 상기 단말 장치에 의해 촬영된 사진은 일반적으로 전경 영역(foreground region) 및 배경 영역(background region)을 포함한다. 상기 전경 영역과 상기 배경 영역 사이에는 비교적 명백한 깊이 변화(depth change)가 있다. 따라서, 본 실시 예에서, 상기 얼굴 영역에 대응하는 상기 깊이 정보가 획득된 후, 상기 깊이 정보에 따라 상기 제1미리보기 사진에서의 상기 포트레이트 윤곽이 판단될 수 있다.

(203)에서, 상기 포트레이트 윤곽에 대응하는 깊이 변화 값(depth change value)이 임계 값(threshold value)보다 큰지 여부가 판정된다. 예(YES) 이면, 동작(204)이 실행되고, 그렇지 않으면 동작(205)이 실행된다.

상기 임계 값은 상기 제1미리보기 사진에서의 상기 포트레이트의 촬영 조건(shooting condition)에 따라 적응적으로(adaptively) 설정될 수 있고, 본 출원에서 구체적으로 제한되지 않을 것이다.

구체적으로, 상기 제1미리보기 사진에서 상기 포트레이트 윤곽이 획득된 후, 상기 얼굴 윤곽(face contour)의 깊이 변화 값(depth change value)이 상기 임계 값(threshold value)과 추가로 비교되어 상기 얼굴 윤곽이 정확하게 획득되는지 여부를 판단할 수 있다. 상기 얼굴 윤곽의 상기 깊이 변화 값이 상기 임계 값보다 큰 경우, 동작(202)에서 판단된 상기 포트레이트 윤곽이 요건(requirement)을 충족시키는 것으로 표시된다. 상기 깊이 변화가 상기 임계 값보다 작은 경우, 동작(202)에서 판단된 상기 포트레이트 윤곽이 상기 요건을 충족시키지 않는 것으로 표시된다. 최종 판단된 포트레이트 윤곽을 보다 정확하게 만들려면, 상기 포트레이트 윤곽을 수정해야 한다.

(204)에서, 상기 판단된 포트레이트 윤곽은 포트레이트 인식 결과로서 판단된다.

(205)에서, 상기 포트레이트 윤곽은 상기 포트레이트 윤곽 내의 각 픽셀 및 인접 픽셀의 컬러 정보(color information)에 따라 보정된다.

구체적으로, 상기 포트레이트 윤곽에서 상기 픽셀 및 그 주변 픽셀의 상기 컬러 정보가 획득된다. 이어서, 상기 포트레이트 윤곽에 의하여 분할된 인접 픽셀들 사이의 컬러 변화가 대비하여 명백한지 아닌지를 판단한다. 아니오(NO) 이면, 상기 판단된 포트레이트 윤곽이 정확하지 않은 것으로 표시된다. 따라서 상기 포트레이트 윤곽이 바깥쪽으로 확장되거나 안쪽으로 축소될 수 있다. 상기 포트레이트 윤곽으로 분할된 상기 인접 픽셀들 사이의 컬러 차이가 분명한 경우, 상기 포트레이트 윤곽은 최종 포트레이트 인식 결과로 판단된다.

또한, 상기 제1미리보기 사진에서 상기 제1포트레이트의 상기 정보는 상기 판단된 포트레이트 윤곽에 따라 판단될 수 있다.

여기서, 상기 제1포트레이트는 상기 제1미리보기 사진의 임의의 영역에 위치할 수 있고, 본 출원에서 특별히 한정되지는 않는다.

구체적인 구현 시, 본 실시 예에서, 상기 제1미리보기 사진에서의 포트레이트들의 수는 하나 또는 다수, 예를 들어 2, 3 및 5 일 수 있으며, 이는 본 출원에서 구체적으로 제한되지 않을 것이다.

상기 미리보기 사진을 블러링하기 위한 장치들을 통해 상기 제1미리보기 사진에 대해 포트레이트 인식이 수행될 때, 그러한 판단된 제1포트레이트는 하나 이상 존재할 수 있다.

상기 실시 예의 가능한 구현에서, 상기 제1미리보기 사진의 포트레이트들이 보호될 필요가 없는 포트레이트를 포함하는 것으로 인식될 때, 사용자는 상기 제1포트레이트를 수동으로 선택할 수 있다. 즉, 상기 사용자는 상기 단말의 디스플레이 인터페이스에서 궤적을 스케치하여 상기 제1포트레이트를 선택할 수 있다.

이때, 상기 미리보기 사진을 블러링하는 상기 장치들은 상기 사용자가 상기 스케치한 궤적에 따라 상기 제1포트레이트의 영역 정보를 판단한다.

여기서, 상기 단말의 상기 디스플레이 인터페이스 상에 상기 사용자에 의해 상기 스케치된 궤적은 폐쇄 곡선 또는 폐쇄되지 않은 곡선일 수 있고, 이는 본 출원에서 구체적으로 제한되지 않을 것이다.

다른 실시 예에서, 상기 제1포트레이트는 또한 상기 단말에 의한 사전-촬영된(pre-shot) 이미지에 따라 판단될 수 있다. 즉, 사진은 상기 제1캐릭터를 위해 촬영되고, 상기 단말 장치에 의해 저장된다. 배경 블러링되는 효과가 있는 이미지를 촬영하면, 상기 단말 장치는 제1포트레이트의 상기 사전-촬영된 사진(pre-shot picture)에 따라 프리뷰 인터페이스에서 인식된 포트레이트 중에서 상기 제1포트레이트와 유사한 포트레이트를 자동으로 발견하고, 상기 발견된 포트레이트를 상기 제1포트레이트로 판단한다.

(102)에서, 보호된 타깃 영역은 상기 제1포트레이트의 상기 정보에 따라 판단된다.

구체적으로, 배경 블러링되는 이미지가 실제적으로 촬영될 때, 촬영 버튼을 누를 때 촬영된 피사체가 흔들리거나 사진사의 손이 떨릴 수 있으므로, 촬영 사진에서 상기 촬영 피사체가 블러링되는 조건이 존재할 수 있다. 이러한 조건의 발생을 피하기 위해, 본 출원에서, 상기 사전-결정된 제1포트레이트 정보에 따라 미리보기 사진에서 상기 제1포트레이트를 포함하는 영역이 판단될 수 있고, 상기 제1포트레이트를 포함하는 상기 영역이 보호될 상기 타깃 영역으로 판단된다.

구체적인 구현 시, 본 실시 예에서, 보호될 상기 타깃 영역은 다음 방식으로 판단될 수 있다. 이하, 예를 들어 설명한다.

제1구현 방식(A first implementation manner)

상기 제1포트레이트의 에어리어(area)는 사전 설정된 인자(preset factor)만큼 확대되고, 상기 타깃 영역의 에어리어가 판단된다.

여기서, 본 실시 예에서 상기 포트레이트의 상기 에어리어의 상기 사전 설정된 확대 인자(enlargement factor)는 디폴트(default)에 의해 상기 단말에 의해 판단될 수 있고, 또한 실제 요건에 따라 상기 사용자에 의해 적응적으로 설정될 수 있으며, 이는 본 출원에서 제한되지 않을 것이다.

구체적으로, 본 출원에서, 상기 제1미리보기 사진에서 상기 제1포트레이트의 상기 에어리어는 확대된 영역에 위치된 후속적으로 획득된 프레임 사진(frame picture)에서 제1포트레이트를 유지하기 위해 확대되어, 상기 미리보기 사진에 대해 배경 블러링을 이후 수행할 때 상기 촬영된 사진의 포트레이트가 블러링되는 것을 방지할 수 있고, 이로 인해 상기 포트레이트의 온전함을 보장한다.

제2구현 방식(A second implementation manner)

상기 타깃 영역의 상기 에어리어는 제1포트레이트의 상기 정보와 포트레이트 템플릿들 라이브러리에서 상기 사전 설정된 포트레이트 템플릿(preset portrait template)의 매칭 정도에 따라 판단된다.

여기서 본 실시 예에서 상기 포트레이트 템플릿들의 라이브러리는 다수의 포트레이트 이미지 샘플들에 따른 훈련(training)에 의해 획득될 수 있고, 이는 본 출원에서 제한되지 않을 것이다.

상기 포트레이트 템플릿들의 라이브러리는 최대 에어리어들(maximum areas)뿐만 아니라 상이한 속성들(attributes)과 포트레이트 템플릿들 사이의 관련성들(correspondences)을 정의하도록 구성되어 있다.

구체적인 구현 시, 본 실시 예에서, 상기 인식된 제1포트레이트는 제1포트레이트의 속성을 판단하기 위해, 상기 포트레이트 템플릿들의 라이브러리와 매칭될 수 있고, 상기 타깃 영역의 상기 에어리어는 상기 제1포트레이트의 상기 속성에 따라 판단된다.

여기서, 상기 제1포트레이트의 속성 정보는 연령 또는 성별일 수 있으나, 이에 한정되는 것은 아니다.

예를 들면, 상기 인식된 제1포트레이트가 포트레이트 템플릿들의 라이브러리와 매칭되어, 상기 제1포트레이트의 상기 속성이 어린이(child)임을 판단하면, 속성 및 타깃 영역 에어리어 매핑 테이블에서 상기 타깃 영역의 상기 어린이에 대응하는 에어리어 정보를 검색할 수 있다.

본 출원에서, 상기 인식된 포트레이트는 보호될 상기 타깃 영역을 판단하기 위해, 상기 포트레이트 템플릿들의 라이브러리와 매칭되어, 미리보기 사진을 블러링하는 시간이 절약될 수 있고, 상기 사용자 경험이 더욱 개선됨을 이해할 수 있다.

(103)에서, 미리보기 사진 전환 시, 제2미리보기 사진에서 상기 타깃 영역 이외의 영역에서 블러링이 수행된다.

구체적으로, 상기 제1미리보기 사진은 상기 제2미리보기 사진으로 전환되면, 상기 미리보기 사진 블러링 장치는, 보호될 상기 판단된 타깃 영역에 따라 상기 제2미리보기 사진에서 보호될 상기 타깃 영역 이외의 상기 영역에 대해 블러링을 수행할 수 있고, 이에 의해 상기 미리보기 사진의 포트레이트가 블러링되는 것을 방지하고, 상기 미리보기 사진의 상기 블러링 효과를 향상시킨다.

상기 사용자는 실제 촬영 프로세스에서 각 프리뷰 이미지의 프레임에 대해 블러링 동작을 실행하지 않음에 유의해야 한다. 본 실시 예의 미리보기 사진 블러링 장치가 상술한 방식으로 프리뷰 이미지의 각 프레임에 블러링을 수행하면, 상기 단말 장치에 처리 부하가 지나치게 높아질 수 있다.

따라서, 상기 단말 장치의 상기 처리 부하를 줄이기 위해, 본 출원의 상기 미리보기 사진에서 상기 타깃 영역 이외의 상기 영역에 대해 블러링이 수행되기 전에, 다음의 동작들이 더 실행될 수 있다.

제2동작(A first operation)

포트레이트 에지(portrait edge)를 보호하기 위한 명령이 획득된다.

구체적으로, 미리보기 사진을 블러링하기 위한 장치에서 특정 미리보기 사진에 대해 블러링이 수행될 필요가 있는 경우, 상기 사용자는 상기 미리보기 사진을 블러링하기 위한 장치들을 통해 상기 포트레이트 에지를 보호하기 위한 상기 명령을 입력하는 다수의 방식들을 제공할 수 있다.

여기서, 상기 포트레이트 에지를 보호하기 위한 상기 명령은 수동 프레스 방식(manual press manner), 음성 입력 방식(voice input manner), 수동 슬라이딩 방식(manual sliding manner) 등으로 입력될 수 있고, 이는 본 출원에서 제한되지 않을 것이다.

제2동작(A second operation)

상기 촬영 단말(shooting terminal)의 흔들림 진폭(shaking amplitude)이 제1임계 값보다 높은 것으로 판단된다.

여기서, 상기 제1임계 값은 상기 촬영 단말의 실제 촬영 조건에 따라 적응적으로 설정될 수 있고, 본 출원에서 구체적으로 한정되지는 않는다.

구체적으로, 상기 실제 촬영 프로세스에서, 상기 촬영 단말은 일반적으로 외부 인자로 인해 흔들릴 수 있다. 이러한 흔들림은 상기 촬영된 사진에서 상기 촬영된 피사체와 상기 단말 사이의 상대 변위 차이(relative displacement difference)를 야기할 수 있다. 따라서, 본 출원에서 상기 촬영 단말이 흔들리고, 상기 흔들림 진폭이 상기 제1임계 값보다 높을 때, 촬영된 피사체가 블러링되지 않은 선명한 사진이 촬영될 수 있도록 하기 위해, 상기 블러링 동작은 상기 제1포트레이트가 강조되고, 배경 부분이 블러링되는 이미지를 획득하도록 보호될 상기 판단된 타깃 영역에 따라 상기 제2미리보기 사진에서 보호될 상기 타깃 영역 이외의 상기 영역에서 실행될 수 있다.

본 출원의 상기 실시 예의 상기 미리보기 사진을 블러링하는 방법에 따르면, 상기 제1미리보기 사진에서 제1포트레이트를 판단하기 위해 상기 제1미리보기 사진에 대해 포트레이트 인식이 수행되고, 상기 판단된 제1포트레이트 정보에 따라 보호될 상기 타깃 영역이 판단되며, 미리보기 사진 전환 시, 상기 제2미리보기 사진에서 상기 타깃 영역 이외의 영역에 대해 블러링이 수행된다. 따라서, 상기 미리보기 사진에서 블러링이 수행될 때, 상기 미리보기 사진을 블러링하는 시간이 절약된다. 또한, 흔들릴 때 상기 촬영된 피사체가 실수로 블러링되는 것이 방지되어, 상기 미리보기 사진의 상기 블러링 효과가 향상되고, 상기 사용자의 만족도가 개선된다.

전술한 분석으로부터, 상기 제1포트레이트의 상기 정보를 판단하기 위해, 상기 제1미리보기 사진에 대해 포트레이트 인식이 수행되고, 이어서 보호될 상기 타깃 영역이 판단되며, 상기 미리보기 사진 전환 시, 상기 제2미리보기 사진에서 상기 타깃 영역 이외의 상기 영역에 대해 블러링이 수행된다. 구체적인 구현 시, 본 출원에서, 상기 제1포트레이트의 상기 정보에 따라 보호될 상기 타깃 영역의 판단은 다음 방식들로 구현될 수 있다. 상기 제1방식은 상기 제1포트레이트의 상기 정보와 상기 포트레이트 템플릿들의 라이브러리를 매칭시켜 보호될 상기 타깃 영역을 판단하는 것이고, 상기 제2방식은 상기 사전 설정된 인자에 의해 상기 제1포트레이트의 상기 에어리어를 확대시켜 보호될 상기 타깃 영역을 판단하는 것이다. 상기 제1방식이 본 실시 예에서 보호될 상기 타깃 영역을 판단하기 위해 채택되면, 먼저 상기 포트레이트 템플릿들의 라이브러리를 설치해야 하며, 그 다음 상기 설정된 포트레이트 템플릿들의 라이브러리와 상기 제1포트레이트의 상기 정보의 매칭에 따라 보호될 상기 타깃 영역이 판단된다. 본 실시 예에서의 상기 포트레이트 템플릿들의 라이브러리의 설치는 도 3과 함께 이하에서 상세히 설명될 것이다.

도 3은 본 출원에 따른 미리보기 사진을 블러링하는 다른 방법의 순서도이다.

도 3을 참조하면. 본 출원의 상기 미리보기 사진을 블러링하는 상기 방법은 다음의 동작들을 포함할 수 있다.

(301)에서, 포트레이트 이미지들의 샘플 세트(sample set of portrait images)가 획득되고, 상기 샘플 세트는 포트레이트들의 포즈(pose) 및 방향(orientation)의 다양한 사진들을 포함한다.

여기서, 상기 포트레이트들의 포즈 및 방향의 다양한 사진들은 포트레이트들, 포트레이트 포즈들 등의 다른 표현으로 이해될 수 있다.

구체적인 구현 시, 본 실시 예에서 상기 포트레이트 이미지들의 샘플 세트는 단말이 전달될 때 미리 구성될 수 있거나, 또한 서버 측으로부터 획득될 수 있다. 본 실시 예에서 이에 대한 제한은 없다.

이후에 설치되는 포트레이트 템플릿들의 라이브러리의 설득력을 보장하기 위해, 본 실시 예에서 상기 획득된 포트레이트 이미지들의 샘플 세트는 수만, 수십만, 심지어 수백만 개의 이미지들을 포함할 수 있으나, 본 출원에서는 구체적으로 제한되지 않는다는 것에 주목해야 할 것이다.

(302)에서, 상기 포트레이트 이미지들의 샘플 세트는 상이한 속성들을 가지는 사용자들에 대응하는 포트레이트 템플릿들 및 최대 포트레이트 에어리어들을 판단하도록 훈련되며, 포트레이트 템플릿들의 라이브러리가 설치된다.

구체적으로, 본 출원에서, 상기 포트레이트 이미지들의 샘플 세트가 획득된 후, 상기 획득된 포트레이트 이미지 샘플들이 분석되어 상기 포트레이트 이미지들의 샘플 세트 내의 각 포트레이트 이미지들의 속성 정보를 판단할 수 있다. 이어서, 상기 포트레이트 이미지들의 샘플 세트의 상기 속성 정보에 따라 훈련을 수행하여, 상이한 속성들을 가지는 포트레이트 이미지들에 대응하는 포트레이트 템플릿들 및 최대 포트레이트 에어리어들을 획득한다. 이어서, 상기 포트레이트 템플릿들의 라이브러리는 상기 최대 포트레이트 에어리어들은 물론이고 상기 포트레이트 이미지 샘플들과 상기 포트레이트 템플릿들 사이의 관련성들에 따라 설치된다.

(303)에서, 상기 제1미리보기 사진 내의 제1포트레이트 정보를 판단하기 위해, 제1미리보기 사진에 대해 포트레이트 인식이 수행되고, 상기 제1포트레이트의 상기 정보는 제1포트레이트의 에어리어를 포함한다.

(304)에서, 상기 제1포트레이트의 속성은 상기 제1포트레이트의 상기 정보 및 상기 포트레이트 템플릿들의 라이브러리 내의 각 사전 설정된 포트레이트 템플릿들의 매칭 정도에 따라 판단된다.

구체적으로, 상기 제1미리보기 사진에서 상기 제1포트레이트의 상기 정보가 판단된 후, 상기 판단된 제1포트레이트 정보는 상기 포트레이트 템플릿들의 라이브러리 내의 각 포트레이트 템플릿들과 매칭될 수 있고, 상기 매칭 정도가 가장 높은 상기 포트레이트 템플릿에 대응하는 상기 속성 정보는 제1포트레이트의 상기 속성으로 판단된다.

구체적인 구현 시, 먼저 상기 포트레이트 템플릿들의 라이브러리가 획득될 수 있다. 상기 포트레이트 템플릿들의 라이브러리는 최대 포트레이트 에어리어들 뿐만 아니라 포트레이트 속성과 포트레이트 템플릿들 사이의 관련성들(correspondences)을 포함한다. 이어서, 상기 제1포트레이트는 상기 획득된 포트레이트 템플릿들의 라이브러리의 각 포트레이트 템플릿들과 매칭되어, 상기 제1포트레이트와 가장 매칭되는 상기 포트레이트 템플릿을 판단한다. 상기 포트레이트 템플릿에 대응하는 상기 포트레이트 속성은 상기 제1포트레이트의 상기 속성으로 판단된다.

또한, 본 출원의 실시 예에서, 상기 포트레이트 템플릿들의 라이브러리의 정확도를 향상시키기 위해, 상기 포트레이트 템플릿들의 라이브러리는 또한 실제로 상기 단말에 의해 촬영된 이미지에 따라 주기적으로 업데이트될 수 있다.

예를 들면, 다른 사용자들이 사용하는 단말들은 일반적으로 다른 타깃 피사체들을 촬영할 수 있고, 다른 타깃 피사체들의 포트레이트 특징이 다르다. 예를 들면, 일부 촬영 피사체는 촬영 시 헤드(head)를 부드럽게 움직이고, 일부 촬영된 피사체는 촬영 시 헤드를 심하게 움직인다. 일부 촬영 피사체는 촬영 시 헤드를 왼쪽으로 기울이는 데 사용되고, 일부 촬영 피사체는 촬영 시 헤드를 오른쪽으로 기울이는 데 사용된다.

따라서, 상기 단말 장치는 실제 적용 시 사전 설정된 시간 내에 획득된 포트 이미지들에 따라 상기 포트레이트 템플릿들의 라이브러리를 업데이트할 수 있다. 따라서, 상기 업데이트된 포트레이트 템플릿들의 라이브러리를 사용하여 각 단말에서 판단된 타깃 영역이 더 정확하고 신뢰할 수 있다.

예를 들면, 사전 설정된 시간 내에 단말 장치(A)가 획득한 포트레이트 이미지들의 포트레이트를 왼쪽으로 기울이는 데 사용하는 경우, 상기 포트레이트 템플릿들의 초기 라이브러리에서 최대 포트레이트 에어리어는 포트레이트 에어리어(+a +b)와 같고, 여기서 a는 상기 포트레이트의 왼쪽으로 확장된 에어리어를 나타내고, b는 상기 포트레이트의 오른쪽으로 확장된 영역을 나타낸다. 상기 획득된 포트레이트 이미지에 따라 상기 포트레이트 템플릿들의 라이브러리를 업데이트한 후 상기 단말 장치(A)에 의해 판단된 최대 포트레이트 에어리어는 상기 포트레이트 에어리어(+a +b +c)일 수 있고, 여기서 c는 상기 획득된 포트레이트 이미지에서 상기 포트레이트의 습관에 따라 판단되고 상기 포트레이트의 왼쪽을 따라 확대되는 에어리어이다.

여기서, 상기 미리 설정된 시간은 실제 조건, 예를 들어 주 및 월에 따라 설정될 수 있으나, 본 출원에서 이에 대한 제한은 없다.

본 실시 예에서, 상기 포트레이트 템플릿들의 초기 라이브러리는 속성이 다른 사용자들에 대응하는 포트레이트 템플릿들과 최대 포트레이트 에어리어들을 포함하는 템플릿 라이브러리이다.

즉, 본 실시 예에서, 상기 포트레이트 템플릿들의 초기 라이브러리는 불규칙적으로 업데이트된다. 이와 같이, 상기 업데이트된 포트레이트 템플릿에 대해 상기 포트레이트의 속성이 이어서 판단되면, 인식 정확도가 더욱 향상될 수 있고, 인식 실패율이 감소될 수 있으며, 사용자 경험이 더욱 개선될 수 있다.

(305)에서, 타깃 영역의 에어리어는 상기 제1포트레이트의 속성에 따라 판단된다.

구체적으로, 본 출원에서, 상기 최대 포트레이트 에어리어들은 물론이고 상기 포트레이트 속성들과 상기 포트레이트 템플릿들 사이의 관련성들은 상기 포트레이트 템플릿들의 라이브러리에 저장되므로, 상기 제1포트레이트의 상기 속성이 판단된 후, 상기 포트레이트의 상기 속성에 따라 상기 제1포트레이트의 상기 타깃 영역의 상기 에어리어를 판단하기 위해 상기 최대 포트레이트 에어리어들 뿐만 아니라 상기 포트레이트 속성들과 상기 포트레이트 템플릿들 사이의 관련성들이 질의될 수 있다(queried).

(306)에서, 미리보기 사진 전환 시, 포트레이트 에지를 보호하기 위한 명령이 획득된다.

구체적으로, 본 실시 예에서, 상기 단말 장치의 미리보기 사진 블러링 부담을 감소시키기 위해, 블러링 요건으로 상기 미리보기 사진에 대한 블러링을 수행하기 전에, 상기 미리보기 사진을 블러링하기 위한 장치를 통해 제공된 다수의 입력 방식으로 상기 사용자에 의해 입력된 상기 포트레이트 에지를 보호하기 위한 명령이 먼저 수신될 수 있다.

여기서, 상기 포트레이트 에지를 보호하기 위한 명령은 수동 프레싱 방식, 음성 입력 방식, 수동 슬라이딩 방식 등으로 입력될 수 있고, 이는 본 출원에서 제한되지 않을 것이다.

(307)에서, 상기 포트레이트 에지를 보호하기 위해 상기 획득된 명령에 따라 그리고 영역과 상기 타깃 영역 사이의 거리에 따라 상기 영역에 대해 상이한 정도로 블러링이 수행된다.

구체적으로, 상기 사용자에 의해 입력된 상기 포트레이트 에지를 보호하기 위한 명령이 획득된 후, 상기 미리보기 사진을 블러링하기 위한 장치는 상기 포트레이트 에지를 보호하기 위한 명령에 따라 상기 미리보기 사진에 대해 배경을 블러링할 수 있다.

또한, 본 출원에서, 블러링 처리된 상기 미리보기 사진에서 피사체를 강조하고, 배경 부분이 더 부드럽고 자연스럽게 전환되도록 하기 위해, 상기 미리보기 사진의 다른 영역에 대해 블러링이 수행되면, 블러링은 상기 미리보기 사진에 대해 낮은 블러링 정도에서 높은 블러링 정도까지 수행될 수 있다.

여기서, 본 출원에서, 블러링은 상기 미리보기 사진의 배경 영역에서 낮은 블러링 정도에서 높은 블러링 정도로 수행되고, 상기 보호된 영역과 상기 블러링된 영역 사이의 전환이 더 부드럽고, 상기 촬영된 미리보기 사진에 대해 표시되는 이미지가 더 자연스럽다.

본 출원의 실시 예의 블러링 이미지를 획득하는 방법에 따르면, 상이한 포트레이트 이미지들의 샘플 세트가 먼저 회득되고, 상기 포트레이트 템플릿들의 라이브러리를 설치하도록 훈련된다. 상기 포트레이트 템플릿들의 라이브러리는 상기 최대 포트레이트 에어리어들 뿐만 아니라 상기 포트레이트 속성들과 상기 포트레이트 템플릿들 사이의 관련성들을 포함한다. 상기 제1미리보기 사진에서 상기 제1포트레이트의 정보를 판단하기 위해, 상기 제1미리보기 사진에 대해 포트레이트 인식이 추가로 수행된 후, 상기 제1포트레이트의 상기 정보는 상기 제1포트레이트의 상기 속성을 획득하기 위해 상기 포트레이트 템플릿들의 라이브러리 내의 각 포트레이트 템플릿들과 추가로 매칭될 수 있고, 이어서 상기 타깃 영역의 상기 에어리어는 상기 제1포트레이트의 상기 속성에 따라 판단된다. 미리보기 사진 전환 시, 상기 판단된 타깃 영역 및 상기 포트레이트 에지를 보호하기 위한 명령에 따라 상기 미리보기 사진에서 상기 타깃 영역 이외의 상기 영역에 대해 상이한 범위로 블러링이 수행된다. 따라서, 상기 미리보기 사진에서 블러링이 수행될 때, 상기 미리보기 사진의 블러링 속도가 증가되고, 시간이 절약된다. 또한, 흔들릴 때 촬영된 피사체가 블러링되는 것을 방지하여, 상기 미리보기 사진의 블러링 효과가 향상되고, 사용자의 만족도가 향상된다.

전술한 실시 예들을 구현하기 위해, 본 출원은 미리보기 사진을 블러링하는 장치를 추가로 제공한다.

도 4는 본 발명의 일 실시 예에 따른 미리보기 사진 블러링 장치의 구조도이다.

도 4를 참조하면, 본 출원의 미리보기 사진 블러링 장치는 제1판단 모듈(first determination module)(11), 제2판단 모듈(second determination module)(12) 및 블러링 모듈(blurring module)(13)을 포함한다.

상기 제1판단 모듈(11)은 상기 제1미리보기 사진에서 제1포트레이트 정보를 판단하기 위해 제1미리보기 사진에 대한 포트레이트 인식을 수행하도록 구성된다. 상기 제1포트레이트의 상기 정보는 제1포트레이트의 에어리어를 포함한다.

상기 제2판단 모듈(12)은 제1포트레이트의 상기 정보에 따라 보호될 타깃 영역을 판단하도록 구성된다.

상기 블러링 모듈(13)은 미리보기 사진 전환 시, 제2미리보기 사진에서 상기 타깃 영역 이외의 영역에 대해 블러링을 수행하도록 구성된다.

상기 프리뷰 퍽처를 블러링하는 방법의 실시 예에 대한 설명 및 기술은 또한 실시 예의 미리보기 사진을 블러링하는 장치에 적용된다는 것을 주목해야 한다. 그것의 구현 원리는 유사하며, 여기서는 상세하게 설명하지 않을 것이다.

본 실시 예의 상기 미리보기 사진 블러링 장치에 따르면, 상기 제1미리보기 사진에서 상기 제1포트레이트를 판단하기 위해 상기 제1미리보기 사진에 대한 포트레이트 인식이 수행되고, 이어서 상기 보호될 타깃 영역은 상기 제1포트레이트의 상기 판단된 정보에 따라 판단되며, 미리보기 사진 전환 시, 상기 제2미리보기 사진에서 상기 타깃 영역 이외의 상기 영역에 대해 블러링이 수행된다. 따라서, 상기 미리보기 사진에 대해 블러링이 수행되면, 상기 미리보기 사진을 블러링하는 시간이 절약된다. 또한, 흔들릴 때 상기 촬영된 피사체가 실수로 블러링되는 것이 방지되어, 상기 미리보기 사진의 상기 블러링 효과가 향상되고, 상기 사용자의 만족도가 개선된다.

전술한 실시 예들을 구현하기 위해, 본 출원은 단말 장치를 더 제공한다.

도 5는 본 발명의 일 실시 예에 따른 단말 장치의 구조도이다.

도 5를 참조하면, 본 출원의 단말 장치는 메모리(memory)(21), 프로세서(processor)(22) 및 촬영 모듈(shooting module)(23)을 포함한다.

상기 촬영 모듈(23)은 시나리오에서 이미지를 획득하도록 구성된다.

상기 메모리(21)는 실행 가능한 프로그램 코드들을 저장하도록 구성된다.

상기 프로세서(22)는 상기 메모리(21)에 저장된 상기 실행 가능한 프로그램 코드들을 판독하여, 상기 실행 가능한 프로그램 코드들에 대응하는 프로그램을 실행하여, 본 실시 예의 제1양태에 따른 상기 미리보기 사진 블러링 방법을 구현하도록 구성된다. 상기 미리보기 사진 블러링 방법은 제1미리보기 사진에서 제1포트레이트의 정보를 판단하기 위해 상기 제1미리보기 사진에 대해 포트레이트 인식이 수행되고, 상기 제1포트레이트의 상기 정보는 상기 제1포트레이트의 에어리어를 포함하고; 보호될 타깃 영역은 상기 제1포트레이트의 상기 정보에 따라 판단되며; 및 미리보기 사진 전환 시 제2미리보기 사진에서 상기 타깃 영역 이외의 영역에 대해 블러링이 수행되는 것을 포함한다.

본 실시 예에서, 상기 단말 장치는 촬영 기능을 가지는 임의의 하드웨어 장치, 예를 들어 스마트 폰, 카메라 및 PC일 수 있다. 본 출원에서 이에 대한 특정 제한은 없다.

일 양태에서, 본 실시 예의 상기 단말 장치는 또한 더블 카메라를 가지는 하드웨어 장치일 수 있다. 상기 더블 카메라는2개의 후방 카메라를 나타낸다. 다른 양태에서, 전방 카메라가 추가로 포함된다.

상기 미리보기 사진 블러링 방법의 본 실시 예에 대한 설명 및 기술은 또한 본 실시 예의 상기 단말 장치에 적용됨을 주목해야 하며, 그 구현 원리는 유사하며 여기에서 상세하게 설명되지 않을 것이다.

또한, 본 출원의 상기 단말 장치는 이미지 프로세싱 회로(image processing circuit)(24)를 더 포함할 수 있다.

상기 메모리(21)는 상기 프로세서(22)에 의해 실행 가능한 명령들을 저장하도록 구성된다.

상기 프로세서(22)는 상기 이미지 프로세싱 회로(24)에 의해 출력된 상기 블러링된 사진에 따라 본 실시 예의 제1양태에 따른 상기 미리보기 사진 블러링 방법을 구현하기 위해 상기 메모리(21)에서 상기 프로그램 코드들을 호출하도록 구성된다.

구체적으로, 상기 이미지 프로세싱 회로(24)는 하드웨어 및/또는 소프트웨어 컴포넌트에 의해 구현될 수 있고, 상기 이미지 신호 프로세싱(ISP) 파이프 라인을 정의하는 다양한 프로세싱 유닛을 포함할 수 있다.

도 6은 본 개시 내용의 일 실시 예에 따른 이미지 프로세싱 회로의 개략도이다. 도 6을 참조하면, 본 출원의 실시 예들과 관련된 이미지 프로세싱 기술의 각 양태는 단지 설명의 편의를 위해 도시된다.

도 6을 참조하면, 상기 이미지 프로세싱 회로(24)는 이미징 장치(imaging equipment)(1140), ISP 유닛(Image Signal Processing unit)(1150) 및 제어 로직 유닛(control logic unit)(1160)을 포함한다. 상기 이미징 장치(1140)는 하나 이상의 렌즈(lenses)(1141) 및 이미지 센서(image sensor)(1142) 및 구조화된 광 프로젝터(structured light projector)(1143)를 가지는 카메라를 포함할 수 있다. 상기 구조화된 광 프로젝터(1143)는 구조화된 광을 검출된 피사체에게 투사한다. 상기 구조화된 광의 패턴은 레이저 프린지(laser fringe), 그레이 코드(gray code), 사인 프린지(sine fringe), 랜덤하게 배열된 스펙클 패턴(randomly arranged speckle pattern) 등일 수 있다. 상기 이미지 센서(1422)는 상기 검출된 피사체 상으로의 투영에 의해 형성된 구조화된 광 이미지를 캡처하고, 상기 구조화된 광 이미지를 ISP 유닛(1150)으로 전송하고, 이어서 상기 ISP 유닛(1150)은 상기 구조화된 광 이미지를 복조하여 상기 검출된 피사체의 깊이 정보를 획득한다. 한편, 상기 이미지 센서(1422)는 또한 상기 검출된 피사체의 컬러 정보를 캡처할 수 있다. 물론, 상기 검출된 피사체의 구조화된 광 이미지 및 컬러 정보는 또한 각각 2개의 이미지 센서들(1142)에 의해 캡처될 수 있다.

예를 들어, 스펙클 구조화된 광의 경우, 상기 ISP 유닛(1150)은 구체적으로 다음을 포함하는 상기 구조화된 광 이미지를 복조한다: 상기 검출된 피사체의 스펙클 이미지가 상기 구조화된 광 이미지로부터 획득되고, 상기 검출된 피사체의 스펙클 이미지 및 기준 스펙클 이미지에 대해 사전 판단된 알고리즘에 따라 이미지 데이터 계산이 수행되고, 상기 기준 스펙클 이미지에서의 기준 스펙클 포인트에 대한 상기 검출된 피사체에 대해 상기 스펙클 이미지의 각 스펙클 포인트의 이동 거리가 획득되고; 상기 스펙클 이미지의 각 스펙클 포인트의 깊이 값은 삼각 측량 변환을 사용하여 계산되며, 상기 검출된 피사체의 상기 깊이 정보는 상기 깊이 값에 따라 획득된다.

물론, 양안시 방법(binocular vision method) 또는 TOF(Time Of Flight) 기반 방법을 사용하여 상기 깊이 이미지 정보 등을 획득할 수도 있다. 여기에는 제한이 없다. 상기 검출된 피사체의 상기 깊이 정보가 획득 또는 계산될 수 있는 임의의 방법은 상기 구현 모드의 범위 내에 속해야 한다.

상기 ISP 유닛(1150)은 상기 감지된 피사체의 상기 이미지 센서(1142)에 의해 캡처된 상기 컬러 정보를 수신한 후, 상기 검출된 피사체의 상기 컬러 정보에 대응하는 이미지 데이터(image data)를 처리할 수 있다. 상기 ISP 유닛(1150)은 상기 ISP 유닛 및/또는 상기 이미징 장치(1140)의 하나 이상의 제어 파라미터들을 판단하도록 구성 가능한 이미지 통계 정보(image statistical information)를 획득하기 위해 상기 이미지 데이터를 분석한다. 상기 이미지 센서(1422)는 컬러 필터 어레이(예를 들어, 베이어 필터)를 포함할 수 있고, 상기 이미지 센서(1422)는 상기 이미지 센서(1142)의 각 이미징 픽셀에 의해 캡처된 광 강도(light intensity) 및 파장 정보(wavelength information)를 획득하고, 상기 ISP 유닛(1150)에 대해 처리 가능한 일련의 원본 이미지 데이터를 제공할 수 있다.

상기 ISP 유닛(1150)은 다수의 포맷에 따라 픽셀 단위로 상기 원본 이미지 데이터를 처리한다. 예를 들어, 각 이미지 픽셀은 8, 10, 12 또는 14 비트들의 비트 깊이(bit depth)를 가질 수 있다. 상기 ISP 유닛(1150)은 상기 원본 이미지 데이터에 대해 하나 이상의 이미지 처리 동작들을 수행하고, 상기 이미지 데이터에 관한 상기 이미지 통계 정보를 수집할 수 있으며, 상기 이미지 처리 동작들은 동일하거나 상이한 비트 깊이 정확도에 따라 실행될 수 있다.

상기 ISP 유닛(1150)은 이미지 메모리(image memory)(1170)로부터 픽셀 데이터를 추가로 수신할 수 있다. 상기 이미지 메모리(1170)는 전자 장치의 메모리 기기, 저장 장치 또는 독립적인 전용 메모리의 일부일 수 있으며, DMA(Direct Memory Access) 특징을 포함할 수 있다.

상기 원본 이미지 데이터를 수신할 때, 상기 ISP 유닛(1150)은 하나 이상의 이미지 프로세싱 동작을 실행할 수 있다.

상기 ISP 유닛(1150)은 상기 검출된 피사체의 상기 컬러 정보 및 깊이 정보를 획득한 후, 이를 통합하여 3-D 이미지를 획득할 수 있다. 여기서, 상기 검출된 피사체의 대응하는 특징들은 외부 윤곽 추출 방법(exterior contour extraction method) 또는 윤곽 특징 추출 방법(contour feature extraction method) 중 적어도 하나를 이용하여 추출될 수 있다. 예를 들어, 상기 검출된 피사체의 상기 특징들은 능동 형태 모델(Active Shape Model:ASM), 능동 외형 모델(Active Appearance Model:AAM), 주성분 분석(Principal Component Analysis:PCA), 이산 코사인 변환(Discrete Cosine Transform:DCT) 등의 방법을 사용하여 추출되나, 본 명세서에 제한되지 않을 것이다. 등록 및 특징 통합 프로세싱(registration and feature integration processing)은 상기 검출된 피사체의 상기 깊이 정보로부터 추출된 상기 특징 및 상기 검출된 피사체의 상기 컬러 정보로부터 추출된 상기 특징에 각각 수행된다. 본 명세서에서 언급된 통합 프로세싱은 상기 깊이 정보 및 상기 컬러 정보로부터 추출된 상기 특징을 직접 결합하는 것을 나타낼 수 있고, 조합을 위해 상이한 이미지들에서 상기 동일한 특징에 대한 가중치 설정을 수행하는 것을 나타낼 수도 있으며, 다른 통합 방식이 채택될 수도 있다. 상기 통합된 특징들에 따라 3-D 이미지가 최종적으로 생성된다.

상기 3-D 이미지의 상기 이미지 데이터는 디스플레이 전에 다른 프로세싱을 위해 상기 이미지 메모리(image memory)(1170)로 전송될 수 있다. 상기 ISP 유닛(1150)은 상기 이미지 메모리(1170)로부터 상기 처리된 데이터를 수신하고, 원본 도메인에서 이미지 데이터 처리를 수행하고, 그리고 상기 처리된 데이터에 대해 RGB(Red, Green 및 Blue) 및 YCbCr의 컬러 스페이스들을 수행한다. 상기 3-D 이미지의 상기 이미지 데이터는 사용자가 GPU(Graphics Processing Unit)에 의해 뷰(view) 및/또는 추가 처리하기 위해 디스플레이(1180)로 출력될 수 있다. 또한, 상기 ISP 유닛(1150)의 출력은 상기 이미지 메모리(1170)로 추가 전송될 수 있고, 상기 디스플레이(1180)는 상기 이미지 메모리(1170)로부터 상기 이미지 데이터를 판독할 수 있다. 실시 예에서, 상기 이미지 메모리(1170)는 하나 이상의 프레임 버퍼들(frame buffers)을 구현하도록 구성될 수 있다. 또한, 상기 ISP 유닛(1150)의 상기 출력은 상기 이미지 데이터를 코딩/디코딩하기 위해 코더/디코더(coder/decoder)(1190)로 전송될 수 있다. 상기 코딩된 이미지 데이터는 저장될 수 있고, 상기 디스플레이(1180) 상에 디스플레이되기 전에 압축 해제된다. 상기 코더/디코더(1190)는 중앙 처리 장치(CPU) 또는 GPU 또는 코프로세서(coprocessor)에 의해 구현될 수 있다.

상기 ISP 유닛(1150)에 의해 판단된 이미지 통계 정보는 상기 제어 로직 유닛(control logic unit)(1160)으로 전송될 수 있다. 상기 제어 로직 유닛(1160)은 하나 이상의 루틴들(예를 들어, 펌웨어)을 실행하는 프로세서 및/또는 마이크로 컨트롤러를 포함할 수 있고, 하나 이상의 루틴들은 상기 수신된 이미지 통계 데이터에 따라 상기 이미징 장치(1140)의 제어 파라미터를 판단할 수 있다.

본 실시 예에서 제공되는 상기 단말 장치에 따르면, 제1미리보기 사진에서 제1포트레이트를 판단하기 위해 상기 제1미리보기 사진에 대해 포트레이트 인식이 수행되고, 이어서 상기 보호될 타깃 영역이 상기 제1포트레이트의 상기 판단된 정보에 따라 판단되며, 미리보기 사진 전환 시 상기 제2미리보기 사진에서 상기 타깃 영역 이외의 상기 영역에서 블러링이 수행된다. 따라서, 미리보기 사진에 대해 블러링이 수행되면, 미리보기 사진 블러링 시간이 절약된다. 또한, 흔들릴 때 촬영된 피사체가 실수로 블러링되는 것이 방지되어, 미리보기 사진의 블러링 효과가 향상되고, 사용자의 만족도가 개선된다.

본 출원은 또한 컴퓨터 판독 가능 저장 매체(computer-readable storage medium)를 제공한다.

컴퓨터 프로그램은 상기 컴퓨터 판독 가능 저장 매체에 저장되고, 상기 컴퓨터 프로그램은 본 실시 예의 제1양상에 따라 상기 미리보기 사진을 블러링하는 방법을 구현하기 위해 프로세서에 의해 실행된다. 상기 미리보기 사진을 블러링하는 방법은 상기 제1미리보기 사진에서 제1포트레이트 정보를 판단하기 위해 제1미리보기 사진에 대해 포트레이트 인식이 수행되고, 상기 제1포트레이트의 상기 정보는 제1포트레이트의 에어리어를 포함하고; 보호될 타깃 영역은 제1포트레이트의 상기 정보에 따라 판단되며; 및 미리보기 사진 전환 시 제2미리보기 사진에서 상기 타깃 영역 이외의 영역에서 블러링이 수행되는 것을 포함한다.

본 출원에서, 달리 명확하게 명시되고 제한되지 않는 한, 용어 "세트(set)", "연결(connect)" 등은 광범위하게 이해되어야 한다. 예를 들어, 기계적 연결(mechanical connection)을 나타낼 수도 있고 전기적 연결(electrical connection)을 나타낼 수도 있다. 직접 연결(direct connection)을 나타낼 수도 있고, 매체를 통해 구현된 간접 연결(indirect connection)을 나타낼 수도 있다. 또한 달리 한정되지 않는 한, 2개의 구성 요소의 내부 통신(internal communication) 또는 2개의 구성 요소 사이의 상호 작용 관계(interaction relationship)를 추가로 나타낼 수 있다. 당업자에게 있어서, 본 개시에서 이들 용어의 특정 의미는 특정 조건에 따라 이해될 수 있다.

본 명세서의 설명에서, "실시 예", "일부 실시 예", "예", "구체 예", "일부 예" 등의 용어를 참조하여 작성된 설명은 실시 예 또는 예와 함께 설명된 특정 특징들, 구조들, 재료들 또는 특성들이 본 개시의 적어도 하나의 실시 예 또는 예에 포함된다는 것을 나타낸다.

또한, "제1" 및 "제2" 라는 용어들은 단지 설명을 위해 채택된 것으로서, 상대적 중요성을 나타내거나 암시하거나 지시된 기술적 특징들의 수를 암시적으로 나타내는 것으로 이해되어서는 안 된다. 따라서, "제1" 또는 "제2"에 의해 정의된 특징은 그러한 특징 중 적어도 하나의 포함을 명시적 또는 암시적으로 나타낼 수 있다.

상기 순서도들에서 또는 다른 방식으로 본 명세서에 기술된 임의의 프로세스 또는 방법은 상기 프로세스의 특정 논리 기능들 또는 동작들을 실현하도록 구성된 하나 이상의 실행 가능한 명령들의 코드들을 포함하는 모듈, 세그먼트 또는 부분을 나타내는 것으로 이해될 수 있다. 또한, 본 발명의 상기 바람직한 구현 모드의 범위는 본 명세서에 도시되거나 논의된 시퀀스가 아닌 다른 구현을 포함하며, 관련 기능들에 따라 기본적으로 동시에 또는 반대 순서로 상기 기능들의 실행을 포함한다. 이는 본 개시의 실시 예들의 당업자에 의해 이해되어야 한다.

본 개시의 각 부분은 하드웨어, 소프트웨어, 펌웨어 또는 이들의 조합에 의해 구현될 수 있음을 이해해야 한다. 전술한 구현 모드에서, 다수의 동작들 또는 방법들은 메모리에 저장된 소프트웨어 또는 펌웨어에 의해 구현될 수 있고, 적절한 명령 실행 시스템에 의해 실행될 수 있다. 예를 들어, 다른 구현 모드와 같이 상기 하드웨어로 구현하는 경우, 당 업계에 공지된 데이터 신호에 대한 논리 기능을 구현하도록 구성된 논리 게이트 회로를 가지는 이산 논리 회로(discrete logic circuit), 적절한 결합 논리 게이트 회로를 가지는 응용 분야별 집적 회로(application-specific integrated circuit), PGA(Programmable Gate Array), FPGA(Field Programmable Gate Array) 중 임의의 하나 또는 조합이 구현을 위해 채택될 수 있다.

당업자는 전술한 실시 예의 방법에서의 동작의 전부 또는 일부가 프로그램에 의해 지시된 관련 하드웨어를 통해 완료될 수 있고, 상기 프로그램은 컴퓨터 판독 가능 저장 매체에 저장될 수 있으며, 상기 프로그램이 실행되면 방법 실시 예의 동작 중 하나 이상의 동작이 포함된다는 것을 이해해야 한다.

상기 저장 매체는 읽기 전용 메모리, 자기 디스크, 광 디스크 등일 수 있다. 본 개시의 실시 예는 위에서 도시되거나 설명되었다. 그러나, 전술한 실시 예는 예시적인 것이며 본 개시에 대한 제한으로서 이해되어서는 안 되며, 당업자는 본 개시의 범위 내에서 상기 전술한 실시 예들에 대한 변경, 수정, 대체, 변형을 수행할 수 있음을 이해할 수 있다.

Claims

제1미리보기 사진에 대해 포트레이트 인식을 수행하여, 상기 제1미리보기 사진에서 제1포트레이트의 정보를 판단하는 동작(101)-상기 제1포트레이트의 상기 정보는 상기 제1포트레이트의 에어리어를 포함함-;
상기 제1포트레이트의 상기 정보에 따라 보호될 타깃 영역을 판단하는 동작(102); 및
미리보기 사진들을 전환할 때, 제2미리보기 사진에서 상기 타깃 영역 이외의 영역을 블러링하는 동작(103);
을 포함하는 것을 특징으로 하는, 미리보기 사진 블러링 방법.
제 1 항에 있어서,
상기 제1포트레이트의 상기 정보에 따라 보호될 상기 타깃 영역을 판단하는 동작은:
사전 설정된 인자로 상기 제1포트레이트의 상기 에어리어를 확대하는 동작; 및
상기 타깃 영역의 에어리어를 판단하는 동작;
을 포함하고,
또는
상기 제1포트레이트의 상기 정보에 따라 보호될 상기 타깃 영역을 판단하는 동작은:
상기 제1포트레이트의 상기 정보 및 포트레이트 템플릿들의 라이브러리에서 사전 설정된 포트레이트 템플릿들 각각의 매칭 정도에 따라 상기 제1포트레이트의 속성을 판단하는 동작(304); 및
상기 제1포트레이트의 상기 속성에 따라 상기 타깃 영역의 에어리어를 판단하는 동작(305);
을 포함하는 것을 특징으로 하는, 미리보기 사진 블러링 방법.
제 2 항에 있어서,
상기 제1포트레이트의 상기 속성을 판단하는 동작 전에,
상기 포트레이트 템플릿들의 라이브러리를 획득하는 동작-상기 포트레이트 템플릿들의 라이브러리는 상기 포트레이트의 최대 에어리어뿐만 아니라 포트레이트의 속성과 포트레이트 템플릿 사이의 관련성을 포함함-;
을 포함하는 것을 특징으로 하는, 미리보기 사진 블러링 방법.
제 3 항에 있어서,
상기 포트레이트 템플릿들의 상기 라이브러리를 획득하는 동작은:
포트레이트 이미지들의 샘플 세트를 획득하는 동작(301)-상기 샘플 세트는 다양한 사진들의 포즈 및 방향의 포트레이트들을 포함함-; 및
상기 포트레이트 이미지들의 샘플 세트를 훈련시켜, 상이한 속성들을 가지는 사용자들에 대응하는 포트레이트 템플릿들 및 포트레이트들의 최대 에어리어들을 판단하는 동작(302);
을 포함하는 것을 특징으로 하는, 미리보기 사진 블러링 방법.
제 3 항에 있어서,
상기 포트레이트 템플릿들의 상기 라이브러리를 획득하는 동작은:
포트레이트 템플릿들의 초기 라이브러리를 획득하는 동작-상기 포트레이트 템플릿들의 초기 라이브러리는 상이한 속성들을 가지는 상기 사용자들에 대응하는 상기 포트레이트 템플릿들 및 상기 포트레이트의 최대 에어리어들을 포함함-; 및
사전 설정된 시간 내에 획득된 포트레이트 이미지들에 따라 상기 포트레이트 템플릿들의 초기 라이브러리를 업데이트하는 동작;
을 포함하는 것을 특징으로 하는, 미리보기 사진 블러링 방법.
제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
상기 제2미리보기 사진에서 상기 타깃 영역 이외의 상기 영역을 블러링하는 동작 전에,
포트레이트 에지를 보호하는 명령을 획득하는 동작;
또는
촬영 단말의 흔들림 진폭이 제1임계 값보다 높다고 판단하는 동작;
을 더 포함하는 것을 특징으로 하는, 미리보기 사진 블러링 방법.
제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
상기 제2미리보기 사진에서 상기 타깃 영역 이외의 상기 영역을 블러링하는 동작 전에,
상기 영역과 상기 타깃 영역 사이의 거리에 따라 상기 영역을 상이한 정도로 블러링하는 동작;
을 더 포함하는 것을 특징으로 하는, 미리보기 사진 블러링 방법.
제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
상기 제1미리보기 사진에 대해 포트레이트 인식을 수행하는 동작은:
상기 제1미리보기 사진에서 얼굴 영역에 대응하는 깊이 정보를 판단하는 동작(201);
상기 깊이 정보에 따라 상기 제1미리보기 사진에서 포트레이트 윤곽을 판단하는 동작(202);
상기 포트레이트 윤곽에 대응하는 깊이 변화 값이 임계 값보다 큰지 여부를 판단하는 동작(203); 및
상기 포트레이트 윤곽에 대응하는 상기 깊이 변화 값이 상기 임계 값보다 크다는 판단되면 그 응답으로, 상기 포트레이트 윤곽에서 각 픽셀 및 그 인접 픽셀의 컬러 정보에 따라 상기 포트레이트 윤곽을 보정하는 동작(205);
을 포함하는 것을 특징으로 하는, 미리보기 사진 블러링 방법.
제1미리보기 사진에 대해 포트레이트 인식을 수행하여, 상기 제1미리보기 사진에서 제1포트레이트의 정보를 판단하도록 구성되는 제1판단 모듈(11)-상기 제1포트레이트의 상기 정보는 상기 제1포트레이트의 에어리어를 포함함-;
상기 제1포트레이트의 상기 정보에 따라 보호될 타깃 영역을 판단하도록 구성되는 제2판단 모듈(12); 및
미리보기 사진들을 전환할 때, 제2미리보기 사진에서 상기 타깃 영역 이외의 영역을 블러링하도록 구성되는 블러링 모듈(13);
을 포함하는 것을 특징으로 하는, 미리보기 사진 블러링 장치.
제 9 항에 있어서,
상기 제1포트레이트의 상기 정보에 따라 보호될 상기 타깃 영역을 판단하는 상기 동작은,
사전 설정된 인자로 제1포트레이트의 상기 에어리어를 확대하는 동작; 및
상기 타깃 영역의 에어리어를 판단하는 동작;
또는
제1포트레이트의 상기 정보 및 포트레이트 템플릿들 라이브러리에서 사전 설정된 포트레이트 템플릿들 각각의 매칭 정도에 따라 상기 제1포트레이트의 속성을 판단하는 동작(304); 및
상기 제1포트레이트의 상기 속성에 따라 상기 타깃 영역의 에어리어를 판단하는 동작(305);
을 포함하는 것을 특징으로 하는, 미리보기 사진 블러링 장치.
제 10 항에 있어서,
상기 제1포트레이트의 상기 속성을 판단하는 상기 동작 전에, 상기 동작들은,
상기 포트레이트 템플릿들의 상기 라이브러리를 획득하는 동작-상기 포트레이트 템블릿들의 라이브러리는 포트레이트의 최대 영역은 물론이고 포트레이트의 속성과 포트레이트 템플릿 사이의 관련성을 포함함-;
을 더 포함하는 것을 특징으로 하는, 미리보기 사진 블러링 장치.
제 11 항에 있어서,
상기 포트레이트 템플릿들의 라이브러리를 획득하는 동작은:
포트레이트 이미지들의 샘플 세트를 획득하는 동작(301)-상기 샘플 세트는 다양한 사진들의 포즈 및 방향의 포트레이트들을 포함함-; 및
상기 포트레이트 이미지들의 샘플 세트를 훈련시켜, 상이한 속성들을 가지는 사용자들에 대응하는 포트레이트 템플릿들 및 포트레이트들의 최대 에어리어들을 판단하는 동작(302);
을 포함하는 것을 특징으로 하는, 미리보기 사진 블러링 장치.
제 11 항에 있어서,
상기 포트레이트 템플릿들 라이브러리를 획득하는 동작은:
포트레이트 템플릿들의 초기 라이브러리를 획득하는 동작-상기 포트레이트 템플릿들의 최초 라이브러리는 상이한 속성들을 가지는 상기 사용자들에 대응하는 상기 포트레이트 템플릿들 및 상기 포트레이트들의 최대 에어리어들을 포함함-; 및
사전 설정된 시간 내에 획득된 포트레이트 이미지들에 따라 상기 포트레이트 템플릿들의 초기 라이브러리를 업데이트하는 동작;
을 포함하는 것을 특징으로 하는, 미리보기 사진 블러링 장치.
프로세서에 의해 실행 가능한 명령들을 저장하고, 상기 실행 가능한 명령들이 실행될 때 제 1 항 내지 제 8 항 중 어느 한 항에 따른 방법을 실행하도록 구성되는 컴퓨터 판독 가능한 저장 매체.
프로세서(22);
상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 제 1 항 내지 제 8 항 중 어느 한 항에 따른 방법을 실행하게 하는 명령들을 저장하는 메모리(21);
를 포함하는 것을 특징으로 하는, 미리보기 사진 블러링 장치.