KR20130102083A

KR20130102083A - 손 검출을 제공하기 위한 방법 및 장치

Info

Publication number: KR20130102083A
Application number: KR1020137012660A
Authority: KR
Inventors: 이카이 팡; 레이 수; 콩퀴아오 왕
Original assignee: 노키아 코포레이션
Priority date: 2010-10-18
Filing date: 2010-10-18
Publication date: 2013-09-16
Anticipated expiration: 2030-10-18
Also published as: KR101486177B1; EP2630616A1; US8965051B2; EP2630616A4; US20130188836A1; WO2012051747A1; CN103250166A

Abstract

손 검출을 제공하기 위한 방법은 일련의 이미지 프레임에 대한 피처 변환 이미지 데이터를 수신하는 단계; 일련의 이미지 프레임 중 복수의 프레임과 기준 프레임의 피처 변환 이미지 데이터 간의 차이를 나타내는 비대칭 차이 데이터를 결정하는 단계; 및 비대칭 차이 데이터의 교집합에 기초하여 목표 영역을 결정하는 단계를 포함한다. 상기 방법에 대응하는 장치 및 컴퓨터 프로그램 제품 또한 제공된다.

Description

손 검출을 제공하기 위한 방법 및 장치{METHOD AND APPARATUS FOR PROVIDING HAND DETECTION}

본 발명의 실시예들은 일반적으로 사용자 인터페이스 기술에 관한 것으로, 특히, 예를 들면, 시각적 상호작용(visual interaction) 시스템을 위한 제스처 분석을 위해 손 검출을 제공하기 위한 방법 및 장치에 관한 것이다.

현대의 통신은 유선 및 무선 네트워크의 거대한 확장을 가져왔다. 컴퓨터 네트워크, 텔레비전 네트워크, 및 전화 네트워크는 소비자 요구에 의해 촉발된 전례없는 기술적 확장을 경험하고 있다. 무선 및 모바일 네트워킹 기술은 관련있는 소비자 요구사항을 해결하는 한편, 보다 유연하고 즉각적인 정보 전달을 제공하고 있다.

현재 및 미래의 네트워킹 기술은 정보 전달의 용이성 및 사용자에 대한 편의성을 계속해서 가능하게 할 것이다. 정보 전달의 용이성 및 사용자에 대한 편의성을 증가시키기 위한 요구가 존재하는 한 분야는 HCI(human-computer interaction)를 위한 인간 대 머신 인터페이스를 간략히 하는 것에 관한 것이다. 컴퓨팅 디바이스 및 핸드헬드 또는 모바일 디바이스의 분야에서의 최근 개발은 그러한 디바이스들의 능력을 향상시키는 것이기 때문에, 다음 세대의 HCI는 많은 이들의 마음에 달려있다. 더욱이, 디바이스가 콘텐츠를 처리하고, 콘텐츠를 생성하고, 콘텐츠를 저장하고 및/또는 요청시에 상대적으로 빠르게 콘텐츠를 수신하기 위한 능력을 증가시키는 경향이 있고, 또한 모바일 전화와 같은 모바일 전자 디바이스가 디스플레이 크기, 텍스트 입력 속도, 및 사용자 인터페이스(UI)의 물리적 구현에서의 제한에 직면하고 있기 때문에, HCI의 맥락에서 종종 도전과제가 발생한다.

더욱이, HCI에서의 향상은 또한 효과적인 HCI에 대해 변경을 제시할 수 있는 환경에서 컴퓨팅 디바이스와 사용자 인터페이스를 위한 개방적인 가능성 및 사용자 즐거움을 향상시킬 수 있다. 그러한 향상 중 하나는 제스처 인식에 관한 것이다. 예를 들면, 키패드 및 마우스와 같은 HCI에서 현재 채용되고 있는 다른 상호작용 메커니즘과 비교하여, 통신 설비 및 자연스러움을 향상시키기 위해 제스처 인식을 어느정도 고려할 수 있다. 이에 따라, 디지털 홈 가전에서 커맨드 컨트롤러로서 사용하기 위해, 파일/웹 네비게이션에서 사용하기 위해 또는 공통으로 사용되는 원격 컨트롤러의 대용으로서 사용하기 위해 제스처 인식을 가능하게 하는 몇몇 애플리케이션이 개발되었다. 그러나, 제스처 분석을 위한 현재의 메커니즘은 종종 느리고 사용하기에 번거로움이 있다. 차세대 HCI의 일반적인 유틸리티가 주어지면, 제스처 분석에서의 향상이 바람직할 수 있다.

따라서, 비전(vision) 기반 사용자 인터페이스를 위한 손 검출을 사용할 수 있는 방법, 장치 및 컴퓨터 프로그램 제품이 제공된다. 몇몇의 경우에, 이미지 프레임들의 피처 변형 버전들(feature transformed versions) 간의 비대칭 차이를 위해 일련의 이미지 프레임이 분석될 수 있다. 비대칭 차이는 손 또는 다른 이동 객체가 검출될 수 있는 목표 영역을 결정하기 위한 기초를 형성할 수 있다.

하나의 예시적인 실시예에서, 손 검출을 제공하는 방법이 제공된다. 이 방법은 일련의 이미지 프레임에 대한 피처 변형 이미지 데이터를 수신하는 단계, 일련의 이미지 프레임 중 복수의 프레임과 기준 프레임의 피처 변형 이미지 데이터 간의 차이를 나타내는 비대칭 차이 데이터를 결정하는 단계, 및 비대칭 차이 데이터의 교집합(intersection)에 기초하여 목표 영역을 결정하는 단계를 포함할 수 있다.

또 다른 예시적인 실시예에서, 손 검출을 제공하기 위한 장치가 제공된다. 이 장치는 적어도 하나의 프로세서, 및 컴퓨터 프로그램 코드를 포함하는 적어도 하나의 메모리를 포함할 수 있다. 적어도 하나의 메모리 및 컴퓨터 프로그램 코드는, 적어도 하나의 프로세서와 함께, 상기 장치로 하여금, 적어도 일련의 이미지 프레임에 대한 피처 변형 이미지 데이터를 수신하는 단계, 일련의 이미지 프레임 중 복수의 프레임과 기준 프레임의 피처 변형 이미지 데이터 간의 차이를 나타내는 비대칭 차이 데이터를 결정하는 단계, 및 비대칭 차이 데이터의 교집합에 기초하여 목표 영역을 결정하는 단계를 수행하도록 구성될 수 있다.

하나의 예시적인 실시예에서, 손 검출을 제공하기 위한 또 다른 장치가 제공된다. 이 장치는 일련의 이미지 프레임에 대한 피처 변형 이미지 데이터를 수신하기 위한 수단, 일련의 이미지 프레임 중 복수의 프레임과 기준 프레임의 피처 변형 이미지 데이터 간의 차이를 나타내는 비대칭 차이 데이터를 결정하기 위한 수단, 및 비대칭 차이 데이터의 교집합에 기초하여 목표 영역을 결정하기 위한 수단을 포함할 수 있다.

하나의 예시적인 실시예에서, 손 검출을 제공하기 위한 컴퓨터 프로그램 제품이 제공된다. 컴퓨터 프로그램 제품은 컴퓨터 실행가능 프로그램 코드 명령어를 저장한 적어도 하나의 컴퓨터 판독가능 저장 매체를 포함할 수 있다. 컴퓨터 실행가능 프로그램 코드 명령어는, 일련의 이미지 프레임에 대한 피처 변형 이미지 데이터를 수신하기 위한 프로그램 코드 명령어, 일련의 이미지 프레임 중 복수의 프레임과 기준 프레임의 피처 변형 이미지 데이터 간의 차이를 나타내는 비대칭 차이 데이터를 결정하기 위한 프로그램 코드 명령어, 비대칭 차이 데이터의 교집합에 기초하여 목표 영역을 결정하기 위한 프로그램 코드 명령어를 포함할 수 있다.

본 발명의 실시예는, 예를 들면, 모바일 또는 고정 환경에서 사용하기 위한 방법, 장치 및 컴퓨터 프로그램 제품을 제공할 수 있다. 결과적으로, 예를 들면, 컴퓨팅 디바이스 사용자는 자신의 컴퓨팅 디바이스와의 상호작용을 위한 향상된 능력을 즐길 수 있다.

본 발명의 몇몇 실시예를 일반적인 용어로 설명하였지만, 첨부 도면이 참조될 것이고, 축적을 맞출 필요는 없다.
도 1은 본 발명의 예시적인 실시예를 채용할 수 있는 이동 단말기의 블록도를 도시한다.
도 2는 본 발명의 예시적인 실시예에 따라 손 검출을 제공하기 위한 장치의 블록도를 도시한다.
도 3(도 3(a) 내지 도 3(l) 포함)은 본 발명의 예시적인 실시예에 따라 목표 영역을 식별하기 위한 비대칭 프레임 차이의 예시적인 결정을 도시한다.
도 4는 일련의 이미지, 대응하는 변환 이미지 프레임, 각각의 프레임과 기준 프레임 간의 차이 표현, 차이 표현의 교집합, 및 대칭 방법이 채용되는 예에 따른 대응 결과를 도시한다.
도 5는 비대칭 방법을 위해, 일련의 이미지, 대응하는 변환 이미지 프레임, 각각의 프레임과 기준 프레임 간의 차이 표현의 교집합, 및 본 발명의 실시예에 따른 대응 결과를 도시한다.
도 6은 본 발명의 예시적인 실시예에 따라 손 검출을 제공하기 위한 예시적인 방법에 따른 플로우차트이다.

이후, 본 발명의 몇몇 실시예가, 본 발명의 전부가 아닌 몇몇 실시예가 도시된 첨부 도면을 참조하여 상세히 설명된다. 사실상, 여기서 설명된 실시예와는 다른 많은 형태로 구체화될 수 있고, 여기서 설명된 실시예에 한정되는 것으로 해석되어서는 안된다; 오히려, 이들 실시예는 본 개시가 적용가능한 법적 요구조건을 만족하도록 제공된다. 유사한 참조부호는 전체에 걸쳐 유사한 구성요소를 지칭한다. 여기서 사용되는 바와 같이, 용어 "데이터", "콘텐츠", "정보" 및 유사한 용어들은 본 발명의 몇몇의 예시적인 실시예에 따라 전송, 수신, 동작, 및/또는 저장될 수 있는 데이터를 지칭하는 것으로 상호교환 가능하게 사용될 수 있다. 따라서, 그러한 용어들의 임의의 사용은 본 발명의 실시예의 사상 및 범위를 제한하는 것으로 취급되어서는 안된다.

부가하여, 여기서 사용되는 바와 같이, 용어 "회로"는 (a) 하드웨어만으로 회로 구현(예를 들면, 아날로그 회로 및/또는 디지털 회로로 구현); (b) 장치로 하여금 여기서 설명되는 하나 이상의 기능을 수행하도록 함께 동작하는 하나 이상의 컴퓨터 판독가능 메모리 상에 저장된 소프트웨어 및/또는 펌웨어 명령어를 포함하는 컴퓨터 프로그램 제품(들)과 회로들의 조합; 및 (c) 소프트웨어 또는 펌웨어가 물리적으로 제공되지 않더라도 동작을 위해 소프트웨어 또는 펌웨어를 요구하는, 예를 들면, 마이크로프로세서(들) 또는 마이크로프로세서(들)의 부분과 같은 회로를 지칭한다. 이러한 "회로"의 정의는 임의의 청구항을 포함하여 여기의 이 용어의 모든 사용에 적용한다. 추가의 예로서, 여기서 사용되는 바와 같이, 용어 "회로"는 또한 하나 이상의 프로세서 또는 그 프로세서의 부분(들) 및 그와 수반하는 소프트웨어 및/또는 펌웨어를 포함하는 구현예를 포함한다. 또 다른 예로서, 여기서 사용되는 용어 "회로"는, 예를 들면, 모바일 전화를 위한 기저대역 집적 회로 또는 애플리케이션 프로세서 집적 회로 또는 서버 내의 유사한 집적 회로, 셀룰러 네트워크 디바이스, 다른 네트워크 디바이스, 및/또는 다른 컴퓨팅 디바이스를 포함한다.

여기서 정의되는 바와 같이, 비일시적인 물리 저장 매체(예를 들면, 휘발성 또는 비휘발성 메모리 디바이스)를 지칭하는 "컴퓨터 판독가능 저장 매체"는 전자기 신호를 지칭하는 "컴퓨터 판독가능 전송 매체"와 구별될 수 있다.

전술한 바와 같이, 본 발명의 몇몇 실시예는 제스처 분석과 같이 비전 기반 사용자 인터페이스와 관련하여 향상을 경험할 수 있는 메커니즘을 제공하는 것에 관한 것일 수 있다. 손 검출 및/또는 국부화(localization)는 비전 기반 사용자 인터페이스라는 주제 내에서 유용한 대상일 수 있다. 그러나, 손은 몇몇 다른 검출 방법(예를 들면, 얼굴 검출 방법)보다 상대적으로 더 적은 텍스처(texture) 특성을 갖는 상대적으로 큰 굴절된(articulated) 형상 변화를 제공하기 때문에, 손 검출은 때때로 달성하기 어려울 수 있다. 손은 또한 색 기반 검출 방법을 상대적으로 불안정하게 할 수 있는 상대적으로 큰 휘도 변화를 제공하고, 이에 의해 비전 기반 사용자 인터페이스 개발에서의 손 검출의 사용을 복잡하게 할 수 있다.

본 발명의 몇몇 실시예는 입력되는 데이터의 비디오 스트림에 대한 제스처 분석을 위해 실질적으로 실시간 손 검출 및/또는 국부화가 달성될 수 있는 상대적으로 강건한 메커니즘을 제공할 수 있다. 이에 따라, 제한된 컴퓨팅 자원을 갖는 디바이스 상에서도 상대적으로 간단하고 계산상 효율적인 제스처 분석이 수행될 수 있다. 따라서, 예를 들면, 하나 이상의 손가락의 사용, 또는 손 전체의 사용이 다른 디바이스와 결합하여 모바일 디바이스 사용자 인터페이스와의 상호작용을 위해 사용될 수 있다. 예를 들면, 텔레비전 세트는 스크린 상에 데이터를 제공할 수 있고 카메라 전화(또는 간단히 카메라)와 통신 중일 수 있다. 카메라 전화는 텔레비전의 스크린 상에 포커싱될 수 있고, "플러그 앤 터치(plug and touch)" 상호작용 환경에서 인식되는 손 제스처에 기초하여 카메라 전화의 시야(field of view) 내에서 손 제스처를 제공하는 사용자에 의해 상호작용할 수 있다.

도 1은 본 발명의 실시예로부터 이점을 취할 수 있는 이동 단말기(10)의 블록도를 도시하는 본 발명의 하나의 예시적인 실시예이다. 그러나, 도시되고 이후 설명되는 이동 단말기는 단지 본 발명의 실시예로부터 이점을 얻을 수 있는 디바이스의 한 유형을 나타낸 것이고, 따라서, 본 발명의 실시예의 범위를 제한하는 것으로 취급되어서는 안된다는 것이 이해되어야 한다. 이동 단말기(10)의 몇몇 실시예가 예의 목적으로 도시되고 이후 설명되지만, 개인 휴대 정보 단말기(PDA), 페이저, 이동 텔레비전, 게임 디바이스, 모든 유형의 컴퓨터(예를 들면, 랩톱 또는 모바일 컴퓨터), 카메라, 오디오/비디오 플레이어, 라디오, GPS(global positioning system) 디바이스, 또는 전술한 것들의 임의의 조합과 같은 다른 유형의 이동 단말기, 및 다른 유형의 통신 시스템이 본 발명의 실시예를 가능하게 이용할 수 있다. 고정된 디바이스이더라도 예시적인 몇몇 실시예를 이용할 수 있다.

이동 단말기(10)는 송신기(14) 및 수신기(16)와 통신할 수 있는 안테나(12)(또는 다수의 안테나)를 포함할 수 있다. 이동 단말기는 또한 송신기(14) 및 수신기(16)로/로부터의 신호 제공 및 신호 수신을 제어하는 컨트롤러(20) 또는 다른 프로세싱 하드웨어와 같은 장치를 포함할 수 있다. 이들 신호는 적용가능한 셀룰러 시스템의 무선 인터페이스 표준에 따른 시그널링 정보를 포함할 수 있고, 및/또는, 사용자 음성에 따른 데이터, 수신 데이터 및/또는 사용자 생성 데이터를 또한 포함할 수 있다. 이와 관련하여, 이동 단말기(10)는 하나 이상의 무선 인터페이스 표준, 통신 프로토콜, 변조 유형, 및 액세스 유형을 이용하여 동작할 수 있다. 예로서, 이동 단말기(10)는 다양한 제1 세대, 제2 세대, 제3 세대, 및/또는 제4 세대 통신 프로토콜 등 중 임의의 것에 따라 동작할 수 있다. 예를 들면, 이동 단말기(10)는 제2 세대(2G) 무선 통신 프로토콜 IS-136(TDMA(Time Division Multiple Access)), GSM(Global system for Mobile communications), IS-95(CDMA(Code Division Multiple Access) 등에 따라 동작하거나, UMTS(Universal Mobile Telecommunications System), CDMA2000(Code Division Multiple Access 2000, WCDMA(Wideband Code Division Multiple Access), TD-SCDMA(Time Division-Synchronous Code Division Multiple Access) 등과 같은 3G 무선 통신프로토콜에 따라 동작하거나, EUTRAN(Evolved Universal Terrestrial Radio Access Network) 같은 3.9G 무선 통신 프로토콜에 따라 동작하거나, 제4 세대(4G) 무선 통신 프로토콜 등에 따라 동작할 수 있다. 대체하여(또는 부가적으로), 이동 단말기(10)는 비셀룰러 통신 메커니즘에 따라 동작할 수 있다. 예를 들면, 이동 단말기(10)는 WLAN(wireless local area network) 또는 다른 통신 네트워크에서 통신할 수 있다.

컨트롤러(20)와 같은 장치는 특히 이동 단말기(10)의 오디오 및 로직 기능을 구현하는 회로를 포함할 수 있다는 것이 이해된다. 예를 들면, 컨트롤러(20)는 디지털 신호 프로세서 디바이스, 마이크로프로세서 디바이스, 및 다양한 아날로그 대 디지털 컨버터, 디지털 대 아날로그 컨버터, 및/또는 하드웨어 지원 회로를 포함할 수 있다. 이동 단말기(10)의 제어 및 신호 처리 기능은 그들 각각의 능력에 따라 그들 디바이스 간에 할당된다. 따라서, 컨트롤러(20)는 변조 및 전송 전에 메시지 및 데이터를 컨벌루션적으로(convolutionally) 인코딩하고 인터리빙하기 위한 기능을 또한 포함할 수 있다. 컨트롤러(20)는 부가적으로 내부 VC(voice coder)를 포함할 수 있고, 내부 데이터 모뎀을 포함할 수 있다. 더욱이, 컨트롤러는 메모리에 저장될 수 있는 하나 이상의 소프트웨어 프로그램을 동작시키는 기능을 포함할 수 있다. 예를 들면, 컨트롤러(20)는 종래의 웹 브라우저와 같은 접속 프로그램을 동작시킬 수 있다. 접속 프로그램은, 예를 들면, 이동 단말기(10)가, WAP(Wireless Application Protocol), HTTP(hypertext transfer protocol) 등에 따라 위치 기반 콘텐츠와 같은 웹 콘텐츠 및/또는 다른 웹 페이지 콘텐츠를 송신하고 수신할 수 있게 할 수 있다.

이동 단말기(10)는 또한, 컨트롤러(20)에 접속될 수 있는 이어폰 또는 스피커(24), 링어(ringer; 22), 마이크로폰(26), 디스플레이(28), 사용자 입력 인터페이스 등과 같은 출력 디바이스를 포함하는 사용자 인터페이스를 포함할 수 있다. 이동 단말기(10)가 데이터를 수신하게 할 수 있는 사용자 인터페이스는, 이동 단말기(10)가 데이터를 수신하게 할 수 있는 키패드(30), 터치 디스플레이(도시 생략), 마이크로폰 또는 다른 입력 디바이스 같은 임의의 다수의 디바이스를 포함할 수 있다. 키패드(30)를 포함하는 실시예에서, 키패드(30)는 숫자(0-9) 및 관련 키(#,*), 및 이동 단말기(10)를 동작시키는데 사용되는 다른 하드 및 소프트 키를 포함할 수 있다. 대안으로, 키패드(30)는 종래의 QWERTY 키패드 배치를 포함할 수 있다. 키패드(30)는 또한 관련 기능을 갖는 다양한 소프트 키를 포함할 수 있다. 부가하여, 또는 대안으로, 이동 단말기(10)는 조이스틱과 같은 입력 디바이스 또는 다른 사용자 입력 인터페이스를 포함할 수 있다. 이동 단말기(10)는 또한, 이동 단말기(10)를 동작시키는데 사용되는 다양한 회로에 전력을 공급할 뿐만 아니라 탈착가능 출력으로서 기계적 진동을 선택적으로 제공하는 진동 배터리 팩과 같은 배터리(34)를 포함할 수 있다.

몇몇 실시예에서, 이동 단말기(10)는 컨트롤러(20)와 통신하는 카메라, 비디오 및/또는 오디오 모듈과 같은 미디어 캡처링 소자를 포함한다. 미디어 캡처링 소자는 저장, 디스플레이 또는 전송을 위해 이미지, 비디오 및/또는 오디오를 캡처링하기 위한 임의의 수단일 수 있다. 예를 들면, 미디어 캡처링 소자가 카메라 모듈(36)인 예시적인 실시예에서, 카메라 모듈(36)은 캡처된 이미지로부터 디지털 이미지를 형성할 수 있는 디지털 카메라를 포함할 수 있다. 이에 따라, 카메라 모듈(36)은 렌즈 또는 다른 광학 컴포넌트(들)와 같은 모든 하드웨어, 및 캡처된 이미지로부터 디지털 이미지 파일을 생성하는데 필요한 소프트웨어를 포함한다. 대안으로, 카메라 모듈(36)은 이미지를 시청(view)하는데 필요한 하드웨어만을 포함하는 한편, 이동 단말기(10)의 메모리 디바이스는 캡처된 이미지로부터 디지털 이미지 파일을 생성하는데 필요한 소프트웨어의 형태로 컨트롤러(20)에 의한 실행을 위한 명령어를 저장한다. 예시적인 실시예에서, 카메라 모듈(36)은 또한 이미지 데이터를 처리하는데 컨트롤러(20)를 지원하는 코프로세서와 같은 프로세싱 소자, 및 이미지 데이터를 압축 및/또는 압축해제하기 위한 인코더 및/또는 디코더를 포함할 수 있다. 인코더 및/또는 디코더는 JPEG 표준 포맷 또는 다른 유사한 포맷에 따라 인코딩 및/또는 디코딩할 수 있다. 몇몇의 경우에, 카메라 모듈(36)은 라이브 이미지 데이터를 디스플레이(28)에 제공할 수 있다. 더욱이, 예시적인 실시예에서, 디스플레이(28)는 이동 단말기(10)의 일 측에 위치될 수 있고, 카메라 모듈(36)은 디스플레이(28)에 대하여 이동 단말기(10)의 대향 측에 위치된 렌즈를 포함하여, 카메라 모듈(36)이 이동 단말기(10)의 일 측 상의 이미지를 캡처하고 그러한 이미지의 뷰를 이동 단말기(10)의 타 측에 위치된 사용자에게 제시할 수 있게 한다.

이동 단말기(10)는 또한 일반적으로 스마트 카드로서 지칭될 수 있는 사용자 신원 모듈(user identity module; UIM)(38)을 포함할 수 있다. UIM(38)은 전형적으로 프로세서가 내장된 메모리 디바이스이다. UIM(38)은, 예를 들면, 가입자 신원 모듈(subscriber identity module; SIM), 유니버셜 집적회로 카드(universal integrated circuit card; UICC), 유니버셜 SIM(USIM), 분리가능한 사용자 신원 모듈(removable user identity module; R-UIM) 또는 임의의 다른 스마트 카드를 포함할 수 있다. UIM(38)은 전형적으로 이동 가입자에 관련된 정보 요소를 저장한다. UIM(38)에 부가하여, 이동 단말기(10)에는 메모리가 장착될 수 있다. 예를 들면, 이동 단말기(300)는 데이터의 일시적 저장을 위한 캐시 영역을 포함하는 휘발성 RAM(Random Access Memory)과 같은 휘발성 메모리(40)를 포함할 수 있다. 이동 단말기(10)는 또한 내장되거나 및/또는 분리가능할 수 있는 다른 비휘발성 메모리(42)를 포함할 수 있다. 비휘발성 메모리(42)는 부가적으로 또는 대안으로 EEPROM(electrically erasable programmable read only memory), 플래시 메모리 등을 포함할 수 있다. 메모리는 이동 단말기(10)의 기능을 구현하기 위해 이동 단말기(10)에 의해 사용되는 임의의 다수의 정보 조각 및 데이터를 저장할 수 있다.

도 2는 본 발명의 예시적인 실시예에 따라 손 검출을 제공하기 위한 장치의 개략적인 블록도를 도시한다. 본 발명의 예시적인 실시예는 이제 도 2를 참조하여 설명되고, 도 2에서 손 검출을 제공하기 위한 장치(50)의 임의의 구성요소가 디스플레이되어 있다. 도 2의 장치(50)는, 예를 들면, 이동 단말기(10)에 채용될 수 있다. 그러나, 장치(50)는 대안으로 이동 및 고정 양쪽 모두의 다양한 다른 디바이스에서 구체화될 수 있다. 몇몇의 경우에, 실시예는 이들 디바이스의 하나 또는 그들의 조합에 채용될 수 있다. 따라서, 본 발명의 몇몇의 실시예는 분산형의 복수의 디바이스에 의해 또는 클라이언트/서버 관계의 다비이스에 의해 단일 디바이스(예를 들면, 이동 단말기(10))에서 전체적으로 구체화될 수 있다. 더욱이, 아래에 설명되는 디바이스들 또는 구성요소들은 필수적인 것이 아니고 따라서 임의의 실시예에서 몇몇은 생략될 수 있다는 것이 이해되어야 한다.

이제, 도 2를 참조하면, 손 검출을 제공하기 위한 장치가 제공된다. 장치(50)는 프로세서(70, 사용자 인터페이스(72), 통신 인터페이스(74) 및 메모리 디바이스(76)를 포함하거나 통신할 수 있다. 몇몇 실시예에서, 프로세서(70)(및/또는 프로세서(70)를 지원하거나 그와 관계된 코프로세서 또는 임의의 다른 프로세싱 회로)는 장치(50)의 컴포넌트들 중에서 정보를 통과시키기 위한 버스를 통해 메모리 디바이스(76)와 통신할 수 있다. 메모리 디바이스(76)는, 예를 들면, 하나 이상의 휘발성 및/또는 비휘발성 메모리를 포함할 수 있다. 달리 말하면, 예를 들면, 메모리 디바이스(76)는 머신(예를 들면, 프로세서(70) 같은 컴퓨팅 디바이스)에 의해 검색가능할 수 있는 데이터(예를 들면, 비트)를 저장하도록 구성된 게이트를 포함하는 전자 저장 디바이스(예를 들면, 컴퓨터 판독가능 저장 매체)일 수 있다. 메모리 디바이스(76)는 본 발명의 예시적인 실시예에 따라 장치로 하여금 다양한 기능을 실행하게 할 수 있는 정보, 데이터, 애플리케이션, 명령어 등을 저장하도록 구성될 수 있다. 예를 들면, 메모리 디바이스(76)는 프로세서(70)에 의해 프로세싱하기 위한 입력 데이터를 버퍼링하도록 구성될 수 있다. 부가하여 또는 대안으로, 메모리 디바이스(76)는 프로세서(70)에 의해 실행을 위한 명령어를 저장하도록 구성될 수 있다.

장치(50)는, 몇몇 실시예에서, 본 발명의 예시적인 실시예를 채용하도록 구성된 이동 단말기(예를 들면, 이동 단말기(10)) 또는 고정 통신 디바이스 또는 컴퓨팅 디바이스일 수 있다. 그러나, 몇몇 실시예에서, 장치(50)는 칩 또는 칩셋으로서 구체화될 수 있다. 달리 말하면, 장치(50)는 구조적 어셈블리(예를 들면, 베이스보드) 상에 재료, 컴포넌트 및/또는 배선을 포함하는 하나 이상의 물리적 패키지(예를 들면, 칩)를 포함할 수 있다. 구조적 어셈블리는 물리적 강도, 크기 보존, 및/또는 내부에 포함된 컴포넌트 회로에 대한 전기적 상호작용의 제한을 제공할 수 있다. 장치(50)는 따라서, 몇몇의 경우에, 단일 칩 상에 또는 단일의 "시스템 온 칩(system on a chip)"으로서 본 발명의 실시예를 구현하도록 구성될 수 있다. 이에 따라, 몇몇의 경우에, 칩 또는 칩셋은 여기서 설명되는 기능을 제공하기 위한 하나 이상의 동작을 수행하기 위한 수단을 구성할 수 있다.

프로세서(70)는 다수의 상이한 방식으로 구체화될 수 있다. 예를 들면, 프로세서(70)는 코프로세서, 마이크로프로세서, 컨트롤러, 디지털 신호 프로세서(DSP), DSP를 수반하는 프로세싱 소자 또는 DSP를 수반하지 않는 프로세싱 소자와 같은 하나 이상의 다양한 프로세싱 수단, 또는, 예를 들면, ASIC(application specific integrated circuit), FPGA(field programmable gate array), MCU(microcontroller unit), 하드웨어 가속기, 벡터 프로세서, GPU(graphic processing unit), 특수 목적의 컴퓨터 칩, 또는 다른 유사한 하드웨어 프로세서와 같은 직접 회로를 포함하는 다양한 다른 프로세싱 회로로서 구체화될 수 있다. 이에 따라, 몇몇 실시예에서, 프로세서(70)는 독립적으로 수행하도록 구성된 하나 이상의 프로세싱 코어를 포함할 수 있다. 멀티코어 프로세서는 단일 물리적 패키지 내에서 멀티프로세싱을 가능하게 할 수 있다. 부가하여 또는 대안으로, 프로세서(70)는 명령어의 독립적인 실행, 파이프라이닝 및/또는 멀티쓰레딩을 가능하게 하는 버스를 통해 협력하게 구성된 하나 이상의 프로세서를 포함할 수 있다.

예시적인 실시예에서, 프로세서(70)는 메모리 디바이스(76)에 저장되거나 또는 프로세서(70)에 액세스가능한 명령어를 실행하도록 구성될 수 있다. 대안으로 또는 부가적으로, 프로세서(70)는 하드 코딩된 기능을 실행하도록 구성될 수 있다. 이에 따라, 하드웨어 또는 소프트웨어 방법에 의해 구성되거나 또는 그들의 조합으로 구성되는지에 따라, 프로세서(70)는 본 발명의 실시예에 따라 동작을 실행할 수 있는(예를 들면, 회로에 물리적으로 구체화된) 엔티티를 나타내는 한편 적절히 구성될 수 있다. 따라서, 예를 들면, 프로세서(70)가 ASIC, FPGA 등으로서 구체화되는 경우, 프로세서(70)는 여기서 설명되는 동작을 수행하기 위한 하드웨어로 특별히 구성될 수 있다. 대안으로, 또 다른 예로서, 프로세서(70)가 소프트웨어 명령어의 실행자로서 구체화되는 경우, 명령어는 그 명령어가 실행될 때 여기서 설명된 알고리즘 및/또는 동작을 수행하도록 프로세서(70)를 특별히 구성할 수 있다. 그러나, 몇몇의 경우, 프로세서(70)는 여기서 설명된 알고리즘 및/또는 동작을 수행하기 위한 명령어에 의해 프로세서(70)를 추가적으로 구성함으로써 본 발명의 실시예를 채용하는데 적용되는 특정 디바이스(예를 들면, 이동 단말기, 고정 단말기 또는 네트워크 디바이스)의 프로세서일 수 있다. 프로세서(70)는 특히 그 프로세서(70)의 동작을 지원하도록 구성된 클록, ALU(arithmetic logic unit) 및 로직 게이트를 포함할 수 있다.

한편, 통신 인터페이스(74)는 장치(50)와 통신하여 네트워크 및/또는 임의의 다른 디바이스 또는 모듈로부터/로 데이터를 수신 및/또는 전송하도록 구성되는 하드웨어, 또는 하드웨어와 소프트웨어의 조합으로 구체화되는 디바이스 또는 회로와 같은 임의의 수단일 수 있다. 이와 관련하여, 통신 인터페이스(74)는, 예를 들면, 무선 통신 네트워크와 통신을 가능하게 하는 안테나(또는 다중 안테나) 및 지원 하드웨어 및/또는 소프트웨어를 포함할 수 있다. 몇몇 환경에서, 통신 인터페이스(74)는 대안으로 또는 유선 통신을 또한 지원할 수 있다. 이에 따라, 예를 들면, 통신 인터페이스(74)는 통신 모뎀 및/또는 케이블, DSL(digital subscriber line), USB(universal serial bus) 또는 다른 메커니즘을 통해 통신을 지원하는 다른 하드웨어/소프트웨어를 포함할 수 있다.

사용자 인터페이스(72)는 프로세서(70)와 통신하여, 사용자 인터페이스(72)에서 사용자 입력의 표시를 수신하고 및/또는 가청, 가시, 기계적 또는 다른 출력 사용자에게 제공할 수 있다. 이에 따라, 사용자 인터페이스(72)는, 예를 들면, 키보드, 마우스, 조이스틱, 디스플레이, 터치 스크린, 소프트 키, 마이크로폰, 스피커, 또는 다른 입력/출력 메커니즘을 포함할 수 있다. 장치(50)가 서버 또는 몇몇의 다른 네트워크 디바이스로서 구체화되는 예시적인 환경에서, 사용자 인터페이스는 제한되거나 제거될 수 있다. 그러나, 장치가 통신 디바이스(예를 들면, 이동 단말기(10))로서 구체화되는 실시예에서, 사용자 인터페이스(72)는 다른 디바이스 또는 구성요소 중에서 특히 스피커, 마이크로폰, 디스플레이 및 키보드 등 중 임의의 또는 모두를 포함할 수 있다. 이와 관련하여, 예를 들면, 프로세서(70)는, 예를 들면, 스피커, 링어, 마이크로폰, 디스플레이 등과 같은 사용자 인터페이스의 하나 이상의 구성요소 중 적어도 몇몇 기능을 제어하도록 구성된 사용자 인터페이스 회로를 포함할 수 있다. 프로세서(70) 및/또는 프로세서(70)를 포함하는 사용자 인터페이스 회로는 프로세서(70)에 액세스가능한 메모리(예를 들면, 메모리 디바이스(76) 등)에 저장된 컴퓨터 프로그램 명령어(예를 들면, 소프트웨어 및/또는 펌웨어)를 통해 사용자 인터페이스의 하나 이상의 구성요소의 하나 이상의 기능을 제어하도록 구성될 수 있다.

예시적인 실시예에서, 프로세서(70)는 피처 차이 분석기(feature difference analyzer; 80)로서 구체화되거나, 그를 포함하거나 또는 제어할 수 있다. 이에 따라, 몇몇 실시예에서, 프로세서(70)는 여기서 설명되는 바와 같이 피처 차이 분석기(80)에 귀속되는 다양한 기능의 실행 또는 발생을 유발, 지시 또는 제어한다고 할 수 있다. 피처 차이 분석기(80)는 소프트웨어에 따라 동작하는 디바이스 또는 회로와 같은 임의의 수단이거나, 또는 하드웨어 또는 하드웨어와 소프트웨어의 조합(예를 들면, 소프트웨어 제어 하에 동작하는 프로세서(70), 여기서 설명되는 동작을 수행하도록 특별히 구성되는 ASIC 또는 FPGA로서 구체화되는 프로세서(70), 또는 그들의 조합)에 구체화되어, 여기서 설명되는 피처 차이 분석기(80)의 대응하는 기능을 수행하기 위한 디바이스 또는 회로를 구성할 수 있다. 따라서, 소프트웨어가 채용되는 예에서, 소프트웨어를 실행하는 디바이스 또는 회로(예를 들면, 일 예에서의 프로세서(70))는 그러한 수단과 관계된 구조를 형성한다.

예시적인 실시예에서, 피처 차이 분석기(80)는 일반적으로 몇몇의 경우에 피처 변형 이미지를 생성하고, 프레임들 간의 비대칭 차이를 결정하고, 비대칭 차이에 대해 다시 2진화(rebinarization)를 수행하고, 비대칭 차이 간의 교집합에 기초하여 목표 영역을 세분하는 것을 포함할 수 있는 동작 중 임의의 동작 또는 모든 동작을 수행하도록 구성될 수 있다. 몇몇 실시예에서, 피처 변형 이미지를 생성하는 것보다는 오히려, 피처 차이 분석기(80)는 또 다른 디바이스에 의해 또는 이동 단말기(10)의 개별 모듈에 의해 변형된 피처 변형 이미지 데이터를 수신할 수 있다.

따라서, 예를 들면, 피처 차이 분석기(80)는 피처 변형 이미지 프레임을 생성 또는 수신하도록 구성될 수 있다. 몇몇 실시예에서, 이미지 프레임은, 예를 들면, LBP(local binary pattern) 텍스처 연산자를 이용하여 피처 변환될 수 있다. 그 후, 이미지 프레임은 그들 간의 비대칭 차이를 결정하기 위해 분석될 수 있다. 차이에 기초하여, 세분된 목표 영역이 점진적으로 결정될 수 있다.

이에 따라, 몇몇 예에서, 변환된 피처 프레임 T _c 및

는 비디오 시퀀스에서의 미리 정해진 간격에서 프레임 Ic 및

에 대해 결정될 수 있다. 전술한 바와 같이, 변환은 LBP 및/또는 MCT(modified census transform)일 수 있다. 변환은 차이를 강건하게 하거나, 예를 들면, 휘도 변화와 같은 장애에 덜 약하게 할 수 있다.

변환 후, 비대칭 차이 D ₀ , D ₁ ..., D _i ,..는 간격 d_i에서 결정될 수 있고, 여기서

이다. 피처 차이 분석기(80)는 다음에 적응적 임계값 메커니즘(adaptive threshold mechanism)을 이용하여 프레이 차이 M_i를 다시 이진화하도록 구성될 수 있다. 그 후, 목표 영역(TA)은

에 따라 프레임 차이에 기초하여 세분될 수 있다.

몇몇 실시예에서, 비대칭 프레임 차이 결정은 이동이 발생하는 이미지 시퀀스의 영역을 식별하기 위한 메커니즘으로서 사용될 수 있다. 더욱이, 비대칭 프레임 차이 결정의 사용은 복잡도 및 계산 비용을 감소시켜, 피처 차이 분석기(80)의 구현을 이동 또는 핸드헬드 디바이스 상에 가능하게 달성할 수 있게 할 수 있다. 비대칭 프레임 차이 결정은 상대적으로 직접적인 프레임 차이를 다루는 것과 관련하여 할 수 있고, 따라서 전형적으로 실제 시스템과 연결하여 사용되지는 않을 수 있다. 그러나, 예시적인 실시예에서, 프레임 차이는 피처 변환 이미지일 수 있고, 따라서, 비대칭 프레임 차이는 상대적으로 역할을 잘할 수 있다.

목표 영역(TA)을 식별하기 위해, T _c _-d 에 대응하는 제1 프레임과 T _c 에 대응하는 제2 프레임 간의 차이와 같은 단일 프레임 차이는 충분하지 않을 수 있다. 따라서, 몇몇 프레임을 분석함으로써 목표 영역(TA)을 결정하기 위해 대칭 프레임 차이가 사용될 수 있다. 대칭 차이가 결정되면, 목표 영역(TA)은 이진화된 프레임 차이들의 교집합에 따라 획득될 수 있다. 그러나, 목표 영역(TA)이 대칭 차이를 이용하여 현재 프레임(예를 들면, Tc)에서 결정되는 대신 이전 변환 프레임(예를 들면,

에서 결정될 수 있더라도, 그러한 메커니즘은 프로세싱 시에 d _l 프레임의 지연을 야기할 수 있고, 따라서, 실시간 상호작용 애플리케이션에서 사용하는데는 덜 바람직할 수 있다. 따라서, 본 발명의 몇몇 실시예는 프레임 차이를

형태로 구축하여, 목표 영역(TA)이 현재 프레임 T_c에 대해 얻어질 수 있다. 따라서, 대칭 차이들의 프로세싱은 각각의 연속적인 프레임 간의 차이(예를 들면, 제1 프레임과 제2 프레임 간의 차이, 제2 프레임과 제3 프레임 간의 차이, 제3 프레임과 제4 프레임 간의 차이 등)의 검사를 포함할 수 있다. 한편, 비대칭 차이의 프로세싱은 각각의 개별 프레임을 공통 프레임에 비교하는 것(예를 들면, 제1 프레임과 제2 프레임 간의 차이, 제3 프레임과 제1 프레임 간의 차이, 제4 프레임과 제1 프레임 간의 차이 등)을 포함할 수 있다.

따라서, 예를 들면, 간격 d _i 를 갖는 몇몇 프레임을 사용하여 프레임 비대칭 차이를

같은 스타일로서 결정할 수 있으며, 여기서 T _i 는 LBP 변환 프레임을 나타낸다. 도 3(a) 내지 도 3(l)을 포함하는 도 3은 목표 영역을 식별하기 위한 비대칭 프레임 차이의 예시적인 결정을 도시한다. 이와 관련하여, 도 3(a), 도 3(b), 도 3(c) 및 도 3(d)는 다양한 아이템이 디스플레이된 디스플레이를 도시하는 일련의 프레임(예를 들면, 프레임 F _c _- _d3 , F _c _- _d2 , F _c _- _dl 및 F _c )을 도시한다. 도 3(a) 내지 도 3(d)에서 볼 수 있는 바와 같이, 도 3(a)에 디스플레이 쪽으로 가리키는 손이 있고, 그 손은 각각의 후속 프레임에서 약간 아래쪽으로 이동한다. 도 3(e), 도 3(f), 도 3(g) 및 도 3(h)는 도 3(a), 도 3(b), 도 3(c) 및 도 3(d)에 각각 도시된 이미지 프레임의 피처 변환 표현(예를 들면, T_c _- _d3, T_c _- _d2, T_c-dl 및 T_c)를 도시한다. 피처 변환 분석기(80)는 이들 피처 변환 표현들 간의 차이를 결정하도록 구성될 수 있다. 따라서, 예를 들면, 도 3(i)는 T_c _- _d3와 T_c 간의 차이를 나타낼 수 있다. 달리 말하면, 도 3(i)는 도 3(e)와 도 3(h)에 있는 프레임들의 표현들 간의 차이를 나타낼 수 있다. 도 3(j)는 T_c _- _d2와 T_c 간의 차이를 나타낼 수 있다. 달리 말하면, 도 3(j)는 도 3(f)와 도 3(h)에 있는 프레임들의 표현들 간의 차이를 나타낼 수 있다. 한편, 도 3(k)는 T_c _- _dl과 T_c 간의 차이를 나타낼 수 있다. 달리 말하면, 도 3(k)는 도 3(g)와 도 3(h)에 있는 프레임들의 표현들 간의 차이를 나타낼 수 있다. 다음에, 도 3(l)은 이진화된 프레임 차이들의 교집합을 나타낸다. 달리 말하면, 도 3(l)은 도 3(i), 도 3(j) 및 도 3(k)에 도시된 표현들의 교집합을 나타낸다. 따라서, 도 3(i), 도 3(j), 및 도 3(k)의 차이 이미지들의 교집합은 현재 프레임 Tc에서 손의 위치를 부여하는 결과를 제공한다. (각각의 개별적인 세트의 이웃 프레임들 간의 차이들 및 따라서 T_c _- _d3와 T_c _- _d2, T_c _- _d2와 T_c _- _dl, 및 T_c _- _dl과 T_c 간의 차이를 결정할 수 있는) 대칭 차이를 포함하는 결정과 비교하면, 도 3을 참조하여 제공되는 바와 같이 일 예에 따라 제공된 지연은 제거될 수 있다.

몇몇 상황에서, 머리, 손 또는 몇몇의 다른 신체 부위의 이동은 매우 빨리 상호작용하지 않을 수 있다. 따라서, 연속 프레임 내의 그러한 객체들의 위치들에서의 차이들은 그리 크지 않을 수 있다. 프레임들 간의 차이들을 결정하는 대칭 방법의 사용은 그러한 경우에 연속 프레임들에서의 작은 변화들은 검출될 수 없기 때문에 그리 유용한 결과를 제공하지 않을 수 있다. 따라서, 지연 문제를 생성하는 것에 부가하여, 대칭 방법은 연속 프레임들에서의 작은 변화들에 기인한 몇몇의 상호작용을 검출하지 못할 수 있다. 예로서, 도 4는 프레임들 간의 차이들을 결정하기 위한 대칭 방법의 사용을 도시한다. 도 4의 이미지들의 제1 행(84)은 일련의 프레임을 도시한다. 제2 행(85)은 이미지들의 제1 행(84)의 피처 변환 표현을 도시한다. 제3 행(86)은 각각의 연속 프레임 간의 차이를 나타낸다. 도시된 바와 같이, 이미지들의 제1 행(84)의 일련의 프레임들 각각에서의 손의 이동이 상대적으로 작기 때문에 차이가 상대적으로 작다. 마지막으로, 제4 행(87)은 차이들의 교집합의 결과를 나타내고 제5 행(88)은 최종 결과를 도시한다. 다시, 각각의 연속 프레임 간의 이동이 작고 따라서 변화가 작기 때문에 교집합의 결과는 매우 작다. 최종 결과는 거의 인지할 수 없는 트래킹 영역이다.

한편, 비대칭 방법은, 전술한 바와 같이, 차이들을 비대칭적으로 결정할 때 고려되는 더 큰 시간적 스팬이 존재하기 때문에 보다 정확하게 이동 영역을 검출할 수 있다(예를 들면, 차이들은 인전합 프레임들 간에 항상 존재하는 것은 아니지만, 일련의 프레임과 현재 프레임 또는 일련의 프레임들 중 가장 최근 프레임과 같은 기준 프레임 간에는 존재한다). 그러한 차이가 도 5와 관련하여 도시되어 있다.

구현예에서, 해밍 거리를 이용하여, LBP 변환 후 이진화된 프레임 차이 정보를 얻을 수 있다. 따라서, 대응하는 코드들은 LBP 값 내의 비트 수에 대하여 상이할 수 있다. 잡음 장애물을 제거하거나 또는 적어도 감소시키기 위해, 프레임 차이에서의 i번째 픽셀에서의 해밍 거리는 1보다 크지않으면, 차이 이미지의 픽셀은 0으로 설정될 수 있다. 따라서, 예를 들면, 프레임 차이 이미지에서의 픽셀 p에 대하여:

그 후, 비대칭 프레임 차이 이진 이미지들이 결정될 수 있다. 다음에, 프레임 차이들은 다시 이진화될 수 있다. 몇몇 실시예에서, 로컬 적응적 임계치화 메커니즘을 이용하여 프레임 차이 이미지들을 다시 이진화할 수 있다. 차이 이미지에서의 픽셀 pl에 중심을 둔 m x m 서브윈도우에 대하여, 서브윈도우 내의 넌-제로(non-zero) 픽셀을 n_non _- _zero로서 정의하면, 차이 이미지 내의 픽셀 p_l의 새로운 값은 다음과 같이 설정될 수 있다:

도 5는 (제1 행(91)에) 예시적인 일련의 이미지, (제2 행(92)에) 대응하는 변환 이미지 프레임들, (제3 행(93)에) 각각의 개별 프레임과 기준 프레임(이 예에서는 T4) 간의 차이 표현들, 및 (제5 행(95)에) 대응 결과를 도시한다. 다시 이진화된 차이 이미지 M_l은 프레임 차이 T _c - T _c _- _d1 , T _c - T _c _- _d2 , ..., T _c - T _c _- _dl ...로부터 얻어질 수 있다. 시퀀스 M_l을 이용하여 세분된 목표 영역(TA)이 추론될 수 있다. 이와 관련하여, 예를 들면, 실제 목표 영역(TA)은

와 같이 Ml의 교집합으로부터 추론될 수 있다. 이미지 내의 작은 구멍을 채우고 잡음을 제거하는 다른 후속 동작이 그 후 달성될 수 있다. (도 5에 "결과"로 명명된) 결과는 손의 이동이 발생하는 목표 영역(TA)의 비교적 깨끗한 표시를 제공하고, 따라서 비전 시스템이 제스처 검출 또는 다른 비전 기반 인터페이스 동작을 위해 대응하는 영역에 포커싱할 수 있게 한다. 도 3 및 도 5에서, D _ij = Diff ( T _i , T _j )이다. 도 5의 결과를 도 4의 결과에 비교함으로써 알 수 있는 바와 같이, 연속하는 프레임들 간에 작은 변화들이 경험되는 상황에서 비대칭 차이가 보다 민감하기 때문에 비대칭 차이의 사용이 목표 영역의 더 깨끗한 표시를 제공한다.

따라서, 본 발명의 몇몇 실시예는 비교적 제한되지 않은 프로세싱 자원들을 갖지 않는 모바일 플랫폼에 대해서도 실시간 상호작용 애플리케이션에서 사용하기 위한 손 검출 및/또는 국부화를 가능하게 할 수 있다. 따라서, 계산상 고가일 수 있는 프레임 차이들에 기초하여 목표 검출을 이동하는 것은 상대적으로 저가로 달성될 수 있는 한편, 지연없이 결과가 달성될 수 있게 할 수 있다(예를 들면, 현재 프레임 내의 목표(손)의 위치가 임의의 지연없이 즉각적으로 검출될 수 있다). 몇몇 실시예는 또한 (프레임들 간의 사소한 또는 느린 이동을 고려하는 것을 포함하여) 상대적으로 넓은 범위의 속도 응답을 제공할 수 있다. 몇몇 실시예는 또한 사용되는 차이 값들이 LBP 변환 이미지들로부터 얻어질 수 있기 때문에 카메라 뷰의 이동에 기인한 휘도 변화에 강건한 내성을 가질 수 있다.

도 6은 본 발명의 예시적인 실시예에 따른 방법 및 프로그램 제품의 플로우 차트이다. 플로우차트의 각각의 블록, 및 플로우 차트 내의 블록의 조합은 하드웨어, 펌웨어, 프로세서, 회로, 및/또는 하나 이상의 컴퓨터 프로그램 명령어를 포함하는 소프트웨어의 실행과 연관된 다른 디바이스 같은 다양한 수단에 의해 구현될 수 있다는 것이 이해될 것이다. 예를 들면, 전술된 절차들 중 하나 이상은 컴퓨터 프로그램 명령어에 의해 구체화될 수 있다. 이와 관련하여, 전술한 절차들을 구체화하는 컴퓨터 프로그램 명령어는 사용자 단말기 또는 네트워크 디바이스의 메모리 디바이스에 의해 저장될 수 있고 사용자 단말기 또는 네트워크 디바이스 내의 프로세서에 의해 실행될 수 있다. 이해될 수 있는 바와 같이, 임의의 그러한 컴퓨터 프로그램 명령어는, 컴퓨터 또는 다른 프로그램가능 장치 상에서 실행하는 명령어가 플로우차트 블록(들) 내에서 특정된 기능을 구현하기 위한 수단을 생성하도록, 컴퓨터 또는 다른 프로그램가능 장치(예를 들면, 하드웨어) 상에 로딩되어 머신을 생성할 수 있다. 이들 컴퓨터 프로그램 명령어는 또한 컴퓨터 또는 다른 프로그램가능 장치가 특정 방식으로 기능하도록 지시할 수 있는 컴퓨터 판독가능 메모리에 저장되어, 컴퓨터 판독가능 메모리에 저장된 명령어가 플로우차트 블록(들)에 특정된 기능을 구현하는 제조 물품을 생산하도록 할 수 있다. 컴퓨터 프로그램 명령어는 또한 일련의 동작들이 컴퓨터 또는 다른 프로그램가능 장치 상에서 수행되도록 컴퓨터 또는 다른 프로그램가능 장치 상에 로딩되어, 컴퓨터 또는 다른 프로그램가능 장치 상에서 실행하는 명령어가 플로우차트 블록(들)에 특정된 기능을 구현하도록 컴퓨터 구현 프로세스를 생산할 수 있다.

따라서, 플로우차트의 블록은 특정 기능을 수행하기 위한 수단의 조합 및 특정 기능을 수행하기 위한 동작의 조합을 지원한다. 또한, 플로우차트의 하나 이상의 블록, 및 플로우차트 내의 블록들의 조합은 특정 기능을 수행하는 특정 목적의 하드웨어 기반 컴퓨터 시스템, 또는 특정 목적의 하드웨어 및 컴퓨터 명령어의 조합에 의해 구현될 수 있다.

이와 관련하여, 본 발명의 일 실시예에 따른 방법은, 도 6에 도시된 바와 같이, 동작 100에서 일련의 이미지 프레임에 대한 피처 변환 이미지 데이터를 수신하는 단계, 동작 110에서 일련의 이미지 프레임 중 복수의 프레임과 기준 프레임의 피처 변환 이미지 데이터 간의 차이를 나타내는 비대칭 차이 데이터를 결정하는 단계, 및 동작 120에서 비대칭 차이 데이터의 교집합에 기초하여 목표 영역을 결정하는 단계를 포함할 수 있다.

몇몇 실시예에서, 상기 동작들 중 임의의 동작은 수정되거나 후술되는 바와 같이 더 부연될 수 있다. 더욱이, 몇몇 실시예에서, 부가의 선택적 동작이 또한 포함될 수 있다(그 예가 도 6에 점선으로 도시되어 있다). 아래의 수정, 선택적 부가 또는 부연 각각은 홀로 또는 여기서 설명된 특징들 중 임의의 다른 것과 결합하여 상기 동작과 함께 포함될 수 있다는 것이 이해되어야 한다. 몇몇 실시예에서, 방법은 동작 115에서 비대칭 차이 데이터를 다시 이진화하는 단계를 포함할 수 있다. 몇몇의 경우에, 목표 영역을 결정하는 단계는 다시 이진화된 비대칭 차이 데이터의 교집합에 기초하여 목표 영역을 결정하는 단계를 포함한다. 몇몇 실시예에서, 비대칭 차이 데이터를 다시 이진화하는 단계는 국부 적응적 임계화를 이용하여 다시 이진화를 실행하는 단계를 포함한다. 몇몇 실시예에서, 피처 변환 이미지 데이터를 수신하는 단계는 LBP(local binary pattern) 연산자를 이용하여 변환된 데이터를 수신하는 단계를 포함할 수 있다. 예시적인 실시예에서, 비대칭 차이 데이터를 결정하는 단계는 복수의 프레임의 순차 프레임과 현재 프레임의 피처 변환 이미지 데이터 간의 차이를 결정하는 단계를 포함할 수 있다. 몇몇의 경우에, 피처 변환 이미지 데이터는 복수의 프레임에서 손의 위치를 나타내는 데이터를 수신하는 단계를 포함할 수 있다. 몇몇의 예에서, 목표 영역을 결정하는 단계는 복수의 프레임에서 객체의 이동이 발생하는 영역을 결정하는 단계를 포함할 수 있다.

예시적인 실시예에서, 상기 도 6의 방법을 실행하기 위한 장치는 전술한 동작(100-120) 중 몇몇 또는 각각을 수행하도록 구성된 프로세서(예를 들면, 프로세서(70))를 포함할 수 있다. 프로세서는, 예를 들면, 하드웨어 구현 로직 기능을 수행하거나, 저장된 명령어를 실행하거나, 또는 각각의 동작을 수행하기 위한 알고리즘을 실행함으로써 동작 100-120을 수행하도록 구성될 수 있다. 대안으로, 장치는 전술한 동작 각각을 수행하기 위한 수단을 포함할 수 있다. 이와 관련하여, 예시적인 실시예에 따라, 동작 100-120을 수행하기 위한 수단의 예는, 예를 들면, 피처 차이 분석기(80)를 포함할 수 있다. 부가하여 또는 대안으로, 적어도 프로세서(70)가 피처 차이 분석기(80)를 제어하도록 구성되거나 또는 심지어 피처 차이 분석기(80)로서 구체화될 수 있다는 사실에 의해, 프로세서(70) 및/또는 명령어를 실행하거나 전술한 바와 같이 정보를 프로세싱하기 위한 알고리즘을 실행하기 위한 디바이스 또는 회로는 동작 100-120을 수행하기 위한 예시적인 수단을 형성할 수 있다.

몇몇의 경우에, 전술한 동작 100-120은 임의의 수정과 함께, 적어도 하나의 네트워크를 통해 적어도 하나의 서비스에 액세스할 수 있게 하는 적어도 하나의 인터페이스로의 액세스를 가능하게 하는 것을 포함하는 방법에서 구현될 수 있다. 그러한 경우에, 적어도 하나의 서비스는 적어도 동작 100 내지 120을 수행한다고 할 수 있다.

이들 발명이 전술한 설명 및 관련 도면에서 제공되는 교시의 이점을 갖는 당해 기술분야에 통상의 지식을 가진자는 여기서 설명된 본 발명의 다수 변경 및 다른 실시예를 알 것이다. 따라서, 본 발명은 개시된 특정한 실시예로 제한되지 않으며, 변경 및 다른 실시예가 첨부된 청구범위의 범위 내에 포함되도록 의도된 것이라는 것이 이해될 것이다. 또한, 전술한 설명 및 관련 도면이 구성요소 및/또는 기능의 소정 예시적 결합의 맥락에서 몇몇의 예시적 실시예를 설명하였지만, 구성요소 및/또는 기능의 상이한 결합이 첨부된 청구범위의 범위를 벗어나지 않고 대체 실시예에 의해 제공될 수 있다는 것이 이해되어야 한다. 이와 관련하여, 예를 들면, 명시적으로 전술한 것 이외의 구성요소 및/또는 기능의 상이한 결합은 첨부된 청구범위의 일부에서 설명될 수 있다. 여기서 특정한 용어를 사용하였지만, 그들은 단지 일반적인 설명적 의미를 위해 사용된 것이고 제한을 목적으로 하는 것은 아니다.

Claims

일련의 이미지 프레임에 대한 피처(feature) 변환 이미지 데이터를 수신하는 단계와,
상기 일련의 이미지 프레임 중 복수의 프레임과 기준 프레임의 피처 변환 이미지 데이터 간의 차이를 나타내는 비대칭 차이 데이터를 결정하는 단계와,
상기 비대칭 차이 데이터의 교집합에 기초하여 목표 영역을 결정하는 단계를 포함하는
방법.
제1항에 있어서,
상기 피처 변환 이미지 데이터를 수신하는 단계는 LBP(local binary pattern) 연산자를 이용하여 변환된 데이터를 수신하는 단계를 포함하는
방법.
제1항 또는 제2항에 있어서,
상기 비대칭 차이 데이터를 결정하는 단계는 상기 복수의 프레임 중 순차 프레임과 현재 프레임의 피처 변환 이미지 데이터 간의 차이를 결정하는 단계를 포함하는
방법.
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 비대칭 차이 데이터를 다시 이진화하는(rebinarizing) 단계를 더 포함하는
방법.
제1항 내지 제4항 중 어느 한 항에 있어서,
상기 목표 영역을 결정하는 단계는 다시 이진화된 비대칭 차이 데이터의 교집합(intersection)에 기초하여 상기 목표 영역을 결정하는 단계를 포함하는
방법.
제1항 내지 제5항 중 어느 한 항에 있어서,
상기 비대칭 차이 데이터를 다시 이진화하는 단계는 국부 적응적 임계화를 이용하여 다시 이진화를 실행하는 단계를 포함하는
방법.
제1항 내지 제6항 중 어느 한 항에 있어서,
상기 피처 변환 이미지 데이터를 수신하는 단계는 상기 복수의 프레임에서 손의 위치를 나타내는 데이터를 수신하는 단계를 포함하는
방법.
제1항 내지 제7항 중 어느 한 항에 있어서,
상기 목표 영역을 결정하는 단계는 상기 복수의 프레임에서 객체의 이동이 발생하는 영역을 결정하는 단계를 포함하는
방법.
적어도 하나의 프로세서, 및 컴퓨터 프로그램 코드를 포함하는 적어도 하나의 메모리를 포함하는 장치로서,
상기 적어도 하나의 메모리 및 상기 컴퓨터 프로그램 코드는, 상기 적어도 하나의 프로세서와 함께, 상기 장치로 하여금 적어도,
일련의 이미지 프레임에 대한 피처 변환 이미지 데이터를 수신하고,
상기 일련의 이미지 프레임 중 복수의 프레임과 기준 프레임의 피처 변환 이미지 데이터 간의 차이를 나타내는 비대칭 차이 데이터를 결정하며,
상기 비대칭 차이 데이터의 교집합에 기초하여 목표 영역을 결정하도록 구성되는
장치.
제9항에 있어서,
상기 적어도 하나의 메모리 및 컴퓨터 프로그램 코드는 상기 적어도 하나의 프로세서와 함께, 상기 장치로 하여금, LBP(local binary pattern) 연산자를 이용하여 변환된 데이터를 수신함으로써 피처 변환 이미지 데이터를 수신하게 하도록 구성되는
장치.
제9항 또는 제10항에 있어서,
상기 적어도 하나의 메모리 및 컴퓨터 프로그램 코드는 상기 적어도 하나의 프로세서와 함께, 상기 장치로 하여금, 상기 복수의 프레임 중 순차 프레임과 현재 프레임의 피처 변환 이미지 데이터 간의 차이를 결정함으로써 비대칭 차이 데이터를 결정하게 하도록 구성되는
장치.
제9항 내지 제11항 중 어느 한 항에 있어서,
상기 적어도 하나의 메모리 및 컴퓨터 프로그램 코드는 상기 적어도 하나의 프로세서와 함께, 상기 장치로 하여금, 상기 비대칭 차이 데이터를 다시 이진화하게 하도록 또한 구성되는
장치.
제9항 내지 제12항 중 어느 한 항에 있어서,
상기 적어도 하나의 메모리 및 컴퓨터 프로그램 코드는 상기 적어도 하나의 프로세서와 함께, 상기 장치로 하여금, 다시 이진화된 비대칭 차이 데이터의 교집합에 기초하여 상기 목표 영역을 결정하게 하도록 구성되는
장치.
제9항 내지 제13항 중 어느 한 항에 있어서,
상기 적어도 하나의 메모리 및 컴퓨터 프로그램 코드는 상기 적어도 하나의 프로세서와 함께, 상기 장치로 하여금, 국부 적응적 임계화를 이용하여 다시 이진화를 실행하게 하도록 구성되는
장치.
제9항 내지 제14항 중 어느 한 항에 있어서,
상기 적어도 하나의 메모리 및 컴퓨터 프로그램 코드는 상기 적어도 하나의 프로세서와 함께, 상기 장치로 하여금, 상기 복수의 프레임에서 손의 위치를 나타내는 데이터를 수신함으로써 피처 변환 데이터를 수신하게 하도록 구성되는
장치.
제9항 내지 제15항 중 어느 한 항에 있어서,
상기 적어도 하나의 메모리 및 컴퓨터 프로그램 코드는 상기 적어도 하나의 프로세서와 함께, 상기 장치로 하여금, 상기 복수의 프레임에서 객체의 이동이 발생하는 영역을 결정함으로써 상기 타겟 영역을 결정하게 하도록 구성되는
장치.
제9항 내지 제16항 중 어느 한 항에 있어서,
상기 장치는 이동 단말기이고, 상기 이동 단말기의 적어도 몇몇 기능의 사용자 제어를 가능하게 하도록 구성된 사용자 인터페이스 회로를 더 포함하는
장치.
컴퓨터 실행가능 프로그램 코드 명령어를 저장한 적어도 하나의 컴퓨터 판독가능 저장 매체를 포함하는 컴퓨터 프로그램 제품으로서,
상기 컴퓨터 실행가능 프로그램 코드 명령어는 적어도 실행될 때 장치로 하여금,
일련의 이미지 프레임에 대한 피처 변환 이미지 데이터를 수신하고;
상기 일련의 이미지 프레임 중 복수의 프레임과 기준 프레임의 피처 변환 이미지 데이터 간의 차이를 나타내는 비대칭 차이 데이터를 결정하며;
상기 비대칭 차이 데이터의 교집합에 기초하여 목표 영역을 결정하도록 하는 프로그램 코드 명령어를 포함하는
컴퓨터 프로그램 제품.
제18항에 있어서,
상기 비대칭 차이 데이터를 다시 이진화하기 위한 프로그램 코드 명령어를 더 포함하는
컴퓨터 프로그램 제품.
제18항 또는 제19항에 있어서,
상기 목표 영역을 결정하기 위한 프로그램 코드 명령어는 다시 이진화된 비대칭 차이 데이터의 교집합에 기초하여 상기 목표 영역을 결정하기 위한 명령어를 포함하는
컴퓨터 프로그램 제품.
일련의 이미지 프레임에 대한 피처 변환 이미지 데이터를 수신하기 위한 수단과,
상기 일련의 이미지 프레임 중 복수의 프레임과 기준 프레임의 피처 변환 이미지 데이터 간의 차이를 나타내는 비대칭 차이 데이터를 결정하기 위한 수단과,
상기 비대칭 차이 데이터의 교집합에 기초하여 목표 영역을 결정하기 위한 수단을 포함하는
장치.