KR20140107452A - 터치 표면 상의 객체 추적 - Google Patents

Abstract

장치는 터치-감지 기기를 기반으로 하는 FTIR의 터치 표면 상에서 객체를 추적하는 방법을 실행한다. 방법은 상기 터치 표면 상의 상호작용에서 국지적인 변화를 나타내는 상호작용 패턴을 생성하고(50-52), 상기 상호작용 패턴에서 명백한 피크를 식별하고(53), 명백한 피크에 기반하여 기존 이동 궤적을 업데이트한다(54). 에러 억제 프로세스(56)는 잠재 추적 문제를 가진 관련된 궤적을 식별하고, 각 관련된 궤적에 대하여 둘 또는 이상의 이동 제안을 정의하고, 상기 방법의 하나 또는 그 이상의 후속 반복에서 상기 이동 제안의 평가를 발생시키도록 상기 명백한 피크 및/또는 상기 기존 이동 궤적을 처리하는 방법에서 적어도 단속적으로 수행된다. 상기 에러 억제 프로세스는 더 많은 정보가 사용 가능할 때까지 상기 관련된 궤적의 상기 객체를 어떻게 추적할 지에 대한 최종 결정을 연기하여 추적을 개선한다. 이는 추적 문제의 원인이 가라앉도록 하거나 간섭을 보이는 상기 터치 표면 상의 영역에서 상기 객체가 멀어지도록 할 수도 있다.

Description

터치 표면 상의 객체 추적{TRACKING OBJECTS ON A TOUCH SURFACE}

본 출원은 참조로써 본 명세서에 통합되는 2011년 12월 16일에 출원된 스웨덴 특허 출원 제1151209-2호 및 2011년 12월 16일에 출원된 미국 가출원 제61/576458호의 이익을 주장한다.

본 발명은 터치 표면 상의 객체 추적에 관한 것으로, 특히 광투과 패널 내부에서부터 터치 표면을 조명하도록, 복수의 인커플링 포인트에서 복수의 아웃커플링 포인트로 광 투과 패널 내부에서 광의 진행에 의해 동작하는 터치-감지 기기의 터치 표면에 관한 것이다.

터치 감지 시스템("터치 시스템")은 다양한 애플리케이션에서 널리 사용되고 있다. 일반적으로 터치 시스템은 터치 표면과 손가락이나 스타일러스와 같은 터치 객체에 의한 직접 접촉 또는 근접(즉, 접촉 없이)을 통해 작동된다. 터치 시스템은 컨트롤 패널에서 예를 들어 랩탑 컴퓨터의 터치 패드로 그리고 예를 들어 휴대폰과 같은 휴대용 장치 상에 디스플레이에 대한 오버레이로 사용된다. 디스플레이 상에 오버레이되거나 그 내부에 통합되는 터치패널 또한 "터치 스크린"을 표시한다. 많은 다른 애플리케이션들이 당업계에 공지되어 있다.

터치 시스템은 동시에 두개 이상의 터치를 더 넓은 범위에서 검출할 수 있도록 설계되고, 이는 종종 기술 분야에서 "멀티-터치"로 일컬어진다.

멀티-터치 감도를 제공하기 위하여 예를 들어, 터치 패널 상의 터치의 광산란된 포인트(들)을 캡처하는 카메라를 이용하거나, 또는 저항 와이어 그리드, 정전 용량 센서, 스트레인 게이지 등을 터치 패널에 통합하는 것과 같은 여러 공지 기술이 있다.

국제공개 WO2011/028169 및 WO2011/049512는 FTIR(Frustrated Total Internal reflection)을 기반으로 하는 멀티-터치 시스템을 개시한다. 광 시트는 TIR(Total Internal Reflection)에 의해 패널 내부에서 전파하도록 패널 안으로 결합된다. 객체가 패널의 터치 표면과 접촉할 때, 전파하는 광은 터치 포인트에서 감쇠된다. 전송된 광은 하나 또는 그 이상의 광 센서에 의해 복수의 아웃 커플링 포인트에서 측정된다. 광 센서로부터의 신호는 터치 표면에 걸친 상호 작용의 2D 표현을 생성하는 이미지 재구성 알고리즘으로 입력을 위해 처리된다. 하나 이상의 사용자가 터치 표면과 상호작용하는 동안 2D 표현에서 터치의 현재 위치/크기/형상의 반복 판정을 가능하게 한다.

터치는 측정 노이즈, 주변 광, 터치표면 상의 오염(예를 들면 지문 및 다른 타입의 얼룩), 진동 등과 같은 간섭의 존재하에서 검출될 필요가 있다. 항상 터치 표면 상의 터치를 적절하게 검출하는 것을 어렵게 만드는 이러한 간섭은, 경과 시간 동안 만이 아니라 터치 표면 전역에 걸쳐서 다를 수 있다. 또한, 접촉 객체와 터치 표면 사이의 상호 작용의 정도는 상이한 객체 사이에서 그리고 경과 시간에 대하여 모두 다를 수 있다. 예를 들어, 상호작용은 터치 표면 상에 고정된 위치에서 객체가 탭되는지, 드래그되는지, 또는 유지되는지에 따라 좌우된다. 상이한 객체는, 예를 들어, 상호작용의 정도가 사용자 손가락 사이에서 다르고, 더욱이 상이한 사용자의 손가락 사이에서도 다른 상이한 정도의 상호작용을 산출한다.

여러 터치, 복잡한 제스처뿐만 아니라 상호작용과 간섭의 시공간적 변화의 조합은 터치의 식별을 요구하는 작업으로 만들 것이다. 예를 들어, 터치 스크린 상에서 진행하는 제스처가 시스템에 의해서 중단되어, 제스처 도중에 임의의 터치를 검출하지 못하면, 사용자 경험은 방해될 수 있다.

전술된 국제공개 WO2011/028169 및 WO2011/049512는 예를 들어 오염에 의해 야기된 상호작용을 예측하는 간헐적로 업데이트된 2D 백그라운드 상태에 의해 2D 표현을 보상하는 것에 의해, 또는 오염의 영향을 표시하도록 간헐적으로 업데이트된 기준 값에 의해 측정 신호를 표준화하는 것에 의해 오염의 영향을 억제하는 상이한 기술들을 제안한다. 그러한 억제는 불완전하거나 다른 종류의 간섭이 존재하는 한도에서, 2D 표현은 여전히 객체 터치에 대하여 에러를 범한 거짓 피크를 포함할 수 있다.

종래 기술은 감쇠된 광 경로가, 고스트 터치와 함께 바른 터치를 포함할 수 있는 후보 터치 세트를 결정하기 위해, 식별되고 처리되는 광학 멀티-터치 시스템에서, 터치 결정에 대한 기술을 개시한 WO2010/006883을 포함한다. 후보 위치는 그 다음 고스트 터치가 추가 처리로부터 식별되고 제거되는 것을 허용하여 각 후보 터치의 형상 및 영역에 기초하여 확인된다.

본 출원인은 간섭의 존재 하에 터치 표면 상에 객체를 추적하는 개선에 대한 필요성을 확인하였다.

본 발명의 목적은 종래의 위에서 식별된 제한 들 중 하나 이상을 적어도 부분적으로 극복하는 것을 목적으로 한다.

또 다른 목적은 FTIR에 의해 동작하는 멀티 터치 시스템의 터치 표면 상에 객체 추적을 가능하게 하는 것이다.

본 발명의 다른 목적은 2D 표현이 간섭에 의한 피크를 포함하는 경우에도 터치 표면 상의 상호 작용의 2D 표현에 기초한 추적을 가능하게 하는 것이다.

이러한 목적, 또한 이하에서 설명될 추가의 목적 중 하나 이상은, 독립항에 따른 방법, 컴퓨터 프로그램 제품, 장치 및 터치 감지 기기에 의해서 적어도 부분적으로 달성되고, 그 실시예는 종속항에 의해서 정의된다.

본 발명의 일 측면은 터치 감지 기기의 터치 표면 상에서 하나 또는 그 이상의 객체의 이동을 추적하는 방법에 관한 것이다. 터치 감지 기기는 광투과성 패널 내에서 터치 표면을 조명하도록 복수의 인커플링 포인트로부터 복수의 아웃커플링 포인트로 광투과성 패널 내부에서 내부 반사에 의해 광이 진행하도록 동작 가능하고, 여기서 적어도 하나의 광 검출기가 상기 아웃 커플링 포인트에서 수신된 광이 나타내는 출력 신호를 생성하도록 아웃커플링 포인트에 광학적으로 연결된다. 상기 방법은 시간 순서로 반복하도록 동작하는데, 각각의 반복은: 상기 터치 표면 상의 상호 작용에서 국지적 변화를 나타내는 상호작용 패턴을 생성하도록 상기 출력 신호를 처리하는 단계; 명백한 피크의 식별을 위해 상기 상호작용 패턴을 처리하는 단계; 및 상기 명백한 피크에 기초하여 이전 반복에서 상기 터치 표면 상에 존재하는 것으로 간주된 객체의 기존 이동 궤적을 업데이트하는 단계를 포함한다. 상기 방법은 상기 시계열적 반복에서 적어도 단속적으로 실행되는 에러 억제 프로세스를 추가로 포함하고, 상기 프로세스는: 잠재적 추적 문제를 가진 관련된 궤적을 식별하도록 상기 명백한 피크 및/또는 상기 기존 이동 궤적을 처리하는 단계; 각각의 관련된 궤적에 대하여 적어도 2개의 이동 제안을 정의하는 단계; 및 하나 또는 그 이상의 후속 반복에서 상기 적어도 2개의 이동 제안의 평가를 발생시키는 단계를 포함한다.

상기 에러 억제 프로세스 덕분에, 제1 측면의 방법은 FTIR에 의해 동작하는 멀티-터치 시스템의 터치 표면 상에서 개선된 객체 추적 능력을 제공한다. 잠재적인 추적 문제를 식별하고 처리하도록 설계된 에러 억제 프로세스는 관련된 궤적 또는 추적에 대하여 상이한 이동 제안을 정의한다. 각 이동 제안은 이후 반복에 대하여 상기 관련된 궤적의 가상 이동을 나타낸다. 이에 따라, 상기 이동 제안은, 연기될 상기 관련 궤적의 상기 객체를 어떻게 추적할지에 대한 최종 결정을 허용하여, 후속 반복에서 검출되는 상기 명백한 피크에 대하여 평가될 수 있다. 이는 최종 결정이 더 많은 정보를 가지고 이루어질 수 있도록 하여 추적을 개선할 것이다. 또한, 추적 문제의 근원이 가라앉고 및/또는 객체가 간섭을 나타내는 터치 표면 상의 영역에서 멀어지도록 이동하는 것을 허용한다.

일반적으로 적어도 2개의 이동 제안은 잠재적 추적 문제의 분류에 기초하여 및/또는 이전 반복 동안의 관련된 궤적의 이동 특성에 기초하여 정의될 수 있다. 따라서, 잠재적인 추적 문제의 다른 유형은 정의 단계에서 정의된 상이한 이동 제안으로 이어질 수 있다. 마찬가지로, 상기 관련된 궤적의 최근 이동 특성(속도, 가속도 등)은 상기 정의 단계에서 정의된 상이한 이동 제안으로 이어진다.

일 실시예에서, 상기 평가는 각 관련된 궤적에 대하여 상기 적어도 2개의 이동 제안 중 하나를 선택한다. 또한, 기존의 이동 궤적을 업데이트하는 단계는 상기 선택에 기초하여 각각의 관련된 궤적을 업데이트하는 단계를 포함할 수 있다.

일 실시예에서, 상기 관련된 궤적은 잠재적인 거짓 피크를 식별하도록 상기 명백한 피크를 처리하고, 상기 기존 이동 궤적에 상기 잠재적인 거짓 피크를 맵핑하여 식별된다.

일 실시예에서, 상기 적어도 2개의 이동 제안은 상기 관련된 궤적에 상응하는 상기 객체가 정지된 제1 제안과 상기 관련된 궤적에 상응하는 상기 객체가 이동하는 제2제안을 포함한다.

일 실시예에서, 상기 적어도 2개의 이동 제안은 상기 관련된 궤적에 상응하는 상기 객체가 상기 터치 표면에서 제거되는 제1 제안과 상기 관련된 궤적에 상응하는 상기 객체가 이동하는 제2 제안을 포함한다.

상기 에러 억제 프로세스는 예측 접근법에 따라 동작할 수 있다. 예측 접근법의 일 실시예에서, 제2 이동 제안은 상기 객체가 제1 평가 주기 동안 예측된 궤적을 따라 이동을 계속하도록 명령한다. 또한, 상기 적어도 2개의 이동 제안을 정의하는 단계는 상기 관련된 궤적의 함수로 상기 예측된 궤적을 생성하는 단계를 포함하고, 및/또는 상기 평가는 상기 예측된 궤적에 상기 제1 평가 주기에서 식별된 상기 명백한 피크의 적어도 일부를 매칭하는 단계를 포함할 수 있다. 또한, 상기 업데이트하는 단계가 상기 명백한 피크의 적어도 일부를 상기 기존 이동 궤적에 매칭하는 단계를 포함하는 경우, 상기 에러 억제 프로세스는 상기 명백한 피크의 상기 적어도 일부를 제2 평가 주기 동안 상기 관련된 궤적에 매칭하는 것을 방지하는 단계를 추가로 포함한다. 그에 의해, 상기 에러 억제 프로세스는 상기 제2 평가 주기 동안 상기 상호 작용 패턴에서 상기 관련된 궤적 주위에 불확실 영역을 정의하는 단계와, 제2 평가 주기 동안, 업데이트 하는 단계가 상기 불확실 영역에 배치된 상기 명백한 피크에 대하여 동작하는 것을 방지하는 단계를 추가로 포함할 수 있다.

대안으로 또는 추가적으로, 에러 억제 프로세스는 반응성 접근법에 따라 동작할 수 있다. 반응성 접근법의 일 실시예에서, 상기 업데이트하는 단계는 상기 기존 이동 궤적에 새로운 이동 궤적을 식별하고 추가하는 단계를 포함하고, 상기 평가는 상기 새로운 이동 궤적의 후보를 상기 관련된 궤적에 매치하는 단계를 포함한다. 또한 상기 매치하는 단계는 상기 후보의 시작의 예측된 방법 및 상기 관련된 궤적과 상기 후보의 현재 위치 사이의 거리 중 적어도 하나의 함수이다. 또한, 상기 에러 억제 프로세스는 불확실 영역에서 새로운 이동 궤적이 식별되는 것을 방지하도록 제2 평가 주기 동안 상기 상호 작용 패턴 내의 상기 관련된 궤적 주위에 불확실 영역을 정의하는 단계를 포함할 수 있다.

일 실시예에서, 잠재적 추적 문제는 상기 터치 표면 상의 광 산란 및 상기 터치 표면 상의 오염에서 변화 중 적어도 하나에 의해 야기된다.

일 실시예에서, 상기 잠재적 추적 문제는 상기 명백한 피크의 영역을 평가하는 영역 발견 방법과 상기 기존 이동 궤적의 속도를 평가하는 속도 발견 방법, 기존 이동 궤적의 가속도를 평가하는 가속도 발견 방법, 산란 검출 발견 방법, 및 오염 검출 발견 방법 중 적어도 하나를 적용하여 식별된다.

산란 검출 발견 방법은 상기 명백한 피크가 양의 명백한 피크와 음의 명백한 피크를 포함하는 경우, 각각의 양의 명백한 피크는 상기 상호 작용 패턴에서 국지적으로 증가된 상호작용을 나타내고, 각각의 음의 명백한 피크는 상기 상호작용 패턴 내에 국지적으로 감소된 상호작용을 나타낸다. 일 실시예에서, 상기 산란 검출 발견 방법은 양의 명백한 피크가 하나 또는 그 이상의 상기 음의 명백한 피크와 연관 되는 것으로 간주될 때 상기 잠재 추적 문제를 식별한다. 일 실시예에서, 산란 검출 발견 방법은 상기 기존 이동 추적 밖에 위치하는 상기 하나 또는 그 이상의 상기 음의 명백한 피크를 추가로 필요로 할 수 있다. 상기 양의 명백한 피크는 상기 양의 명백한 피크가 상기 하나 또는 그 이상의 음의 명백한 피크에 대하여 주어진 공간적 관계를 가질 때 상기 하나 또는 그 이상의 음의 명백한 피크와 연관되는 것으로 간주될 수 있다. 상기 주어진 공간적 관계는 상기 양의 명백한 피크와 상기 하나 또는 그 이상의 음의 피크 사이의 최대 거리를 정의할 수 있다.

상기 오염 검출 발견 방법은 상기 명백한 피크가 상기 상호 작용 패턴 내에 국지적으로 증가되는 상호작용을 표시하는 양의 명백한 피크를 포함할 때 적용될 수 있다. 일 실시예에서, 오염 검출 발견 방법은 양의 명백한 피크가 상기 기존 이동 궤적 중 하나를 따라 위치하는 것으로 간주될 때 상기 잠재적 추적 문제를 식별한다. 일 실시예에서, 상기 방법이 상기 양의 명백한 피크의 적어도 일부를 상기 기존 이동 궤적에 매칭하는 단계를 포함하면, 매치된 명백한 피크의 세트와 비-매치된 명백한 피크의 세트를 식별하도록, 상기 오염 검출 발견 방법은 상기 양의 명백한 피크가 상기 비-매치된 명백한 피크의 세트 내에 포함되는 것을 추가로 요구할 수 있다.

상기 제1 측면은 상기 터치 표면 상의 더블 탭을 처리하도록 구현될 수 있다. 하나의 그러한 실시예에서, 상기 잠재적 추적 문제는 기존 이동 궤적이 상기 터치 표면 상에서 정지하고 일시적으로 최소값을 보이는 동안 제1 임계값을 초과하는 상호작용 강도를 가질 때 식별될 수 있다. 또한, 상기 적어도 2개의 이동 제안은 평가 주기 안에서 상기 관련된 궤적에 상응하는 상기 객체가 정지하고 상기 터치 표면과 접촉을 유지하는 제1 제안과, 상기 평가 주기 안에서 상기 관련된 궤적에 상응하는 객체가 상기 터치 표면으로부터 단속적으로 제거되고 그 다음 상기 터치 표면과 접촉으로 돌아가는 제2 제안을 포함할 수 있다. 또한, 상기 평가는 상기 평가 주기 안에서 제2 임계값에 관한 상기 상호작용 강도를 모니터링하는 단계를 포함할 수 있다.

일 실시예에서, 상기 잠재적 추적 문제는 복수의 양의 피크가 상기 상호작용 패턴 안에서 링-형상을 형성하는 것으로 간주될 때 식별될 수 있다.

본 발명의 제2 측면은 데이터-처리 시스템 상에서 실행될 때, 상기 제1 측면의 방법을 수행하도록 적용되는 컴퓨터 코드를 포함하는 컴퓨터 프로그램 제품이다.

본 발명의 제3 측면은 터치-감지 기기의 터치 표면 상에서 하나 또는 그 이상의 객체의 이동을 추적하는 장치이다. 상기 터치-감지 기기는 광투과성 패널 내부로부터 상기 터치 표면을 조명하도록, 상기 광투과성 패널 안에서 복수의 인커플링 포인트로부터 복수의 아웃커플링 포인트로 내부 반사에 의해 광을 전파하는 동작이 가능하고, 광 감지 수단이 상기 아웃커플링 포인트에 광학적으로 결합되어 상기 아웃커플링 포인트에서 수신된 광을 나타내는 출력 신호를 생성한다. 상기 장치는: 상기 출력 신호에 대한 입력; 및 시계열적 반복으로 동작하도록 설정되는 신호 처리기를 포함한다. 각 반복은, 상기 터치 표면 상의 상호작용에서의 국지적 변화를 나타내는 상호작용 패턴을 생성하도록 상기 출력 신호를 처리하는 단계; 명백한 피크의 식별을 위해 상기 상호작용 패턴을 처리하는 단계; 및 이전 반복에서 상기 터치 표면 상에 존재하는 것으로 간주된 객체의 기존 이동 궤적을 상기 명백한 피크에 기초하여 업데이트하는 단계를 포함한다. 상기 장치는, 잠재적 추적 문제를 가진 관련된 궤적을 식별하도록 상기 명백한 피크 및/또는 상기 기존 이동 궤적을 처리하는 단계; 각 관련된 궤적에 대하여 적어도 2개의 이동 제안을 정의하는 단계; 및 하나 또는 그 이상의 후속 반복에서 상기 적어도 2개의 이동 제안의 평가를 발생시키는 단계에 의한 시계열적 반복으로 적어도 단속적으로 동작하도록 설정되는 에러 억제 모듈을 추가로 포함.

본 발명의 제4 측면은, 전술된 상기 터치-감지 기기의 터치 표면 상에서 하나 또는 그 이상의 객체의 이동을 추적하는 장치이다. 상기 장치는 시계열적으로 반복하여 동작하도록 설정되고: 상기 출력 신호를 수신하기 위한 수단; 상기 터치 표면 상의 상호 작용에서 국지적 변화를 나타내는 상호작용 패턴을 생성하도록 상기 출력 신호를 처리하기 위한 수단; 명백한 피크의 식별을 위하여 상기 상호작용 패턴을 처리하기 위한 수단; 및 상기 명백한 피크에 기초하여, 이전 반복에서 상기 터치 표면 상에 존재하는 것으로 간주된 객체의 기존 이동 궤적을 업데이트하기 위한 수단을 포함한다. 상기 장치는 적어도 단속적으로 상기 시계열적으로 반복하여 동작하도록 설정된 에러 억제 수단을 추가로 포함하고: 상기 명백한 피크 및/또는 기존 이동 궤적을 잠재적 추적 문제와 관련된 궤적을 식별하도록 처리하기 위한 수단; 각 관련된 궤적에 대하여 적어도 2개의 이동 제안을 정의하기 위한 수단; 및 하나 또는 그 이상의 시계열적 반복으로 상기 2개 이상의 이동 제안의 평가를 발생시키기 위한 수단을 포함한다.

본 발명의 제5 측면은 광투과성 패널 안에서 터치 표면을 조명하도록, 복수의 인커플링 포인트로부터 복수의 아웃커플링 포인트로 내부 반사에 의해 광을 전파하도록 설정된 광투과성 패널; 상기 인커플링 포인트에서 광을 제공하기 위한 수단; 상기 아웃커플링 포인트에서 수신된 광이 나타내는 출력 신호를 생성하는 수단; 및 상기 제3 또는 제4 측면에 따라 하나 또는 그 이상의 객체의 이동을 추적하기 위한 장치를 포함하는 터치-감지 기기에 관한 것이다.

본 발명의 제6 측면은 광투과성 패널 안에서 부터 터치 표면을 조명하도록, 복수의 인커플링 포인트에서 복수의 아웃커플링 포인트로 내부 반사에 의해 광을 전파하도록 설정된 광투과성 패널; 상기 광을 제공하도록 상기 인커플링 포인트에 광학적으로 결합되는 적어도 하나의 광 이미터; 상기 아웃커플링 포인트에서 수신된 광을 나타내는 출력 신호를 생성하도록 상기 아웃커플링 포인트에 광학적으로 결합되는 적어도 하나의 광 검출기; 및 상기 제3 또는 제4 측면에 따라 하나 또는 그 이상의 객체의 이동을 추적하기 위한 장치를 포함하는 광-감지 기기에 관한 것이다.

상기 제1 측면의 상기 전술된 실시예 중 어느 하나는 상기 제2 내지 제6 측면의 실시예로 구현될 수 있다.

본 발명의 또 다른 목적, 특징, 태양 및 장점은 첨부된 도면은 물론 첨부된 청구범위로부터 다음 상세한 설명으로부터 나타날 것이다.

본 발명의 실시예들은 다음 개략도를 참조하여 보다 상세히 설명될 것이다.
도 1a 및 1b는 터치-감지 FRIT 시스템의 단면도 및 상면도이다.
도 2a 내지 2c는 각각 총 감쇠 패턴, 백그라운드 패턴, 및 오프셋 패턴의 3D 도면이다.
도 3a 및 3b는 2개의 움직이는 객체를 나타낸 상이한 패턴을 나타내는 도면이다.
도 4는 터치 표면 상의 2개의 객체의 이동 궤적을 나타낸다.
도 5a는 본 발명의 실시예에 따른 객체 추적 방법을 나타낸 흐름도이고, 도 5b는 도 5a의 방법을 구현하기 위한 구조의 블럭도이다.
도 6a 및 6b는 에러 억제 없는 추적과 터치 표면 상의 객체 움직임의 상응하는 해석을 나타낸다.
도 7a 내지 7f는 추적 에러 억제를 위한 예측 접근법을 나타낸다.
도 8a 및 8b는 추적 에러를 억제하는 반응 접근법을 나타낸다.
도 9는 원환 형상의 상이한 패턴을 나타낸 도면이다.
도 10a 내지 10d는 상이한 종류의 사용자 상호작용에 대한 시간 함수로서의 감쇠의 그래프이다.
도 11a 내지 11d는 광 산란에 의해 어떻게 간섭이 발생되는 지를 나타낸 FTIR 시스템의 평면도이다.
도 12는 광 산란에 의해 발생된 참 피크와 거짓 피크를 포함하는 오프셋 패턴을 나타낸 도면이다.
도 13a 및 13b는 오염 내의 변화에 의해 어떻게 간섭이 발생되는 지를 나타낸 FTIR 시스템의 평면도이다.
도 14는 오염 내의 변화에 의해 발생된 참 피크와 거짓 피크를 포함하는 오프셋 패턴을 나타낸 도면이다.
도 15는 오염 내의 변화에 의해 발생되는 참 피크와 거짓 피크를 포함하는 차분 패턴을 나타낸 도면이다.
도 16a 내지 16f는 에러 억제 없는 추적을 나타낸다.
도 17a 내지 17f는 시간의 함수로 추적을 따라 광 산란의 결과를 나타낸다.
도 18은 본 발명의 다른 실시예에 따른 객체 추적 방법을 나타낸 흐름도이다.
도 19는 도 18의 방법에서 추적 이력 리스트를 포함하는 프로세스를 나타낸다.

본 발명의 실시예를 설명하기 전에 몇 가지 정의가 주어질 것이다.

"터치 객체" 또는 "터치하는 객체"은 터치 시스템 내의 하나 또는 그 이상의 센서에 의해 검출되도록 터치 표면에 충분히 근접하게 되거나 적극적으로 또는 의도적으로 터치하는 물리적 객체이다. 물리적 객체는 예를 들어 손가락과 같은 생물 또는 무생물이 될 수 있다.

"상호 작용"은 상기 터치 객체가 센서에 의해 측정된 파라미터에 영향을 주는 경우 발생한다.

"상호작용 강도"는 상호작용 정도의 상대적인 또는 절대적인 측정이다.

"상호작용 맵" 또는 "상호작용 패턴"은 터치 표면 전역에서 또는 그 일부에서의 2차원(2D) 분포이다. "상호작용 맵"이 감쇠값을 포함하는 경우, "감쇠 맵" 또는 "감쇠 패턴"으로도 표시된다.

"터치"는 상기 상호작용 패턴에서 보여지는 상호작용의 포인트를 나타낸다. 터치는 임의 좌표 시스템에서 터치 표면 상의 위치, 상호작용 강도, 크기(예를 들어, 직경, 영역 등), 형상 등과 같은 상이한 터치 파라미터와 연관될 수 있다.

"프레임" 또는 "반복"은 데이터 수집으로 시작하고 터치 데이터의 결정으로 끝나는 반복되는 이벤트를 나타낸다. 터치 데이터는 임의 조합의 터치 파라미터를 포함하거나 기초로 한다.

본 명세서에서 사용되는 바와 같이, "추적"은 상호작용의 일시적인 이력에 대한 정보이다. 프레임의 시퀀스에서, 즉 서로 다른 시점에서 검출된 상호작용으로부터의 터치는 추적에 수집된다.

추적은 수명, 위치, 위치 이력, 크기, 형상 등과 같은 상이한 추적 파라미터와 연관될 수 있다. 추적의 "수명"은 추적이 얼마나 오래 존재하는 지를 나타내고, 프레임의 수, 추적에서 최초 터치의 프레임의 수, 시간 주기 등으로 주어질 수 있다. 추적의 "위치"는 추적에서 가장 최근의 터치의 위치로 주어지고, 추적의 "크기"는 추적에서 가장 최근 터치의 크기를 나타낸다. "위치 이력" 또는 "이동 궤적"은, 예를 들어, 추적에서 최근 몇 터치의 위치 또는 추적에서 모든 터치의 위치, 추적의 형상을 근사하는 곡선 또는 칼만 필터로 주어지는, 터치 표면 전역에서 추적의 공간적 범위의 적어도 일부를 나타낸다.

다음 상세한 설명 전반에 걸쳐 동일한 참조 번호는 상응하는 구성요소를 식별하는 데 사용된다,

1. 터치-감지 기기

도 1a 및 1b는 "FTIR 시스템"으로도 표시되는, FTIR(Frustrated Total Internal Reflection)의 개념에 기반하는 터치-감지 기기(100)의 예시적인 실시예를 도시한다. 장치는 패널(1) 내부로부터 터치 표면(4)을 조명하도록, 패널(1) 내에서 광 이미터(2)에서 광센서 또는 검출기(3)로 광을 전송하여 동작한다. 패널(1)은 하나 이상의 레이어의 고체 물질로 만들어지고 임의의 형상을 가질 수 있다. 패널(1)은 내부 반사에 의해 광이 전파하는 내부 방사 전파 채널을 정의한다. 도 1의 예에서, 전파 채널은 패널(1)의 경계면(5,6) 사이에 정의되고, 여기서 상면(5)은 전파하는 광이 터치 객체(7)와 상호작용을 허용하고 그에 의해 터치 표면(4)을 정의한다. 이는 패널(1)을 통과하는 전파로 광이 터치 표면(4) 내의 내부 전반사(TIR;total internal reflection)에 의해 반사되도록, 패널(1)로의 광 입사에 의해 달성된다. 광은 바닥면(6)에서 또는 그 위의 반사 코팅에 대하여 TIR에 의해 반사될 수 있다. 그것은 예를 들어, 패널이 상이한 물질의 복수의 레이어를 포함하는 경우, 전파채널이 바닥면(6)으로부터 이격되는 것 또한 고려될 수 있다. 장치(100)는 디스플레이 장치 또는 모니터에 오버레이되거나 통합되도록 설계될 수 있다.

장치(100)는 터치 표면(4)의 부근에 가깝게 또는 접촉하여 운반된 객체(7)가 터치 포인트에서 전파광과 상호작용하는 것을 허용한다. 이 상호작용에서, 광의 일부는 객체(7)에 의해 산란될 수 있고, 광의 일부는 객체(7)에 의해 흡수될 수 있고, 광의 일부는 패널(1) 전역에서 원래 방향으로 전파를 계속할 수 있다. 따라서, 터치 객체(7)는 전체 내부 반사의 국지적 실패를 일으키고, 이는 도 1a에서 터치 객체(7)의 하향 세선으로 도시된 바와 같이 전송된 광의 에너지(파워/세기)의 감소를 가져온다.

이미터(2)는 패널(1) 내부에서 상응하는 숫자의 광 시트를 생성하도록 터치 표면(4)의 주변을 따라 분포된다. 도1b의 실시예에서, 각 이미터(2)는 패널(1)에서 전파하는 동안 패널(1)의 평면에서 확장하는 광선을 생성한다. 각 광선은 패널(1) 상의 하나 이상의 진입 또는 인커플링 포인트(포트)로부터 전파한다. 센서(3)는 패널(1) 상의 복수의 이격된 아웃커플링 포인트(포트)에서 이미터(2)로부터 광을 수신하도록 터치 표면(4)의 주면을 따라 분포된다. 인커플링 및 아웃커플링 포인트는 단지 광선이 각각 패널(1)을 들어오고 나가는 위치를 일컫는다는 것이 이해되어야 한다. 따라서, 하나의 이미터/센서는 복수의 인커플링/아웃커플링 포인트에 광학적으로 결합될 수 있다. 그러나, 도 1b의 실시예에서, 검출선(D)은 개별적인 이미터 쌍에 의해 정의된다.

센서(3)는 신호처리기(10)에 의해 수신되고 샘플링된 출력 신호를 집합적으로 제공한다. 출력 신호는 임의의 광 이미터(2)에 의해 방사되고 임의의 광 센서(3)에 의해 수신된 광 에너지를 각각 나타내는 "투영 신호"로도 표시되는 복수의 서브-신호를 포함한다. 구현에 따라, 신호처리기(10)는 개별 투영 신호의 분리를 위해 출력 신호를 처리할 필요가 있다. 개념적으로, 터치 장치(100)는 터치 표면(4) 상에 검출선(D)의 격자를 정의는 것으로 간주되고, 여기서 각 검출선(D)은 터치 표면(4)위로 투영되듯이 이미터(2)에서 센서(3)로의 광 전파 경로에 상응한다. 따라서, 투영 신호는 개별 검출선(D) 상에서 광의 수신된 에너지 또는 파워를 나타낸다. 이는 터치 객체(7)가 하나 또는 그 이상의 검출선(D) 상에서 수신된 에너지의 감소(감쇠)를 초래한다는 것으로 실현된다.

이하에서 설명되는 바와 같이, 신호처리기(10)는 터치 표면(1) 전역에서 감쇠 값의 분포(간단히, "감쇠 패턴"으로 일컬음)를 결정하도록 투영 신호를 처리하도록 설정될 수 있고, 여기서 각 감쇠값은 광의 국지적인 감쇠를 나타낸다. 감쇠 패턴은 예를 들어 육각 패턴 또는 삼각 그물과 같은 다른 종류의 격자가 고려될 수 있지만, 예를 들어 통상의 디지털 이미지와 같은 정상적인 x-y 격자 내에 배치되는 감쇠 값과 같이 여러 가지 상이한 방법으로 표현될 수 있다. 감쇠 패턴은 또한 신호처리기(10)에 의해서 또는 터치 결정을 위한 별도의 장치(미도시)에 의해서 처리될 수 있으며, 이 별도의 장치는 위치(예컨대 x,y 좌표), 형상 또는 터치하는 각 객체의 영역과 같은 터치 데이터의 추출을 포함할 수 있다.

도시된 실시예에서, 장치(100)는 이미터(2)의 활성화를 선택적으로 제어하고 가능하면 센서(3)로부터의 데이터 판독을 제어하도록 연결되는 컨트롤러(12) 또한 포함한다. 신호처리기(10)와 컨트롤러(12)는 별도의 유닛으로 구성될 수 있거나, 단일 유닛으로 통합될 수 있다. 신호처리기(10)와 컨트롤러(12) 하나 또는 모두는 처리 유닛(14)에 의해 실행되는 소프트웨어에 의해 적어도 부분적으로 구현될 수 있다.

도 1은 FTIR 시스템의 단지 하나의 예를 나타내는 것이 이해되어야 한다. 예를 들어, 검출선은 대신 패널(1) 내부의 하나 또는 그 이상의 광선을 스위핑하거나 스캐닝하는 것에 의해 생성될 수 있고, 광은 대신 예를 들어, 패널 (1)에 부착된 전용 결합 구성요소의 사용에 의해 상면(5) 및 바닥면(6)을 통해 패널(1) 안으로 및 밖으로 연결될 수 있다. 다른 FTIR 시스템의 예는 예를 들어, US6972753, US7432893, US2006/0114237, US2007/0075648, WO2009/048365, WO2010/006882, WO2010/006883, WO2010/006884, WO2010/006885, WO2010/006886, WO2010/064983, 및 WO2010/134865에 개시되고, 이들은 모두 참조로 본 명세서에 통합된다. 본 발명의 개념은 그러한 다른 FTIR 시스템에도 적용될 수 있다.

2. 감쇠 패턴

재구성 함수 또는 알고리즘은 출력 신호 내의 투영 신호에 기초하여 터치 표면(4) 상의 감쇠 패턴을 결정하기 위해 사용될 수 있다. 본 발명의 실시예는 필터링 백 프로젝션, FFT-기반 알고리즘, ART(Algebraic Reconstruction Technique; 대수 재구성법), SART(Simultaneous Algebraic Reconstruction Technique; 동시 대수 재구성법) 등과 같은 단층 재구성법을 포함하여, 투영 신호 값을 기반으로 이미지 재구성을 위한 임의의 사용 가능한 알고리즘을 사용할 수 있다. 대안으로, 상기 재구성 함수는 하나 또는 그 이상의 기본 함수의 적용에 의해 및/또는 베이지안 반전(Bayesian inversion)과 같은 통계적 방법에 의해 상기 감쇠 패턴을 생성할 수 있다. 터치 판정에 사용하기 위해 설계된 그러한 재구성 함수의 예는 WO2010/006883, WO2009/077962, WO2011/049511, WO2011/139213 및 WO2012/050510에서 찾을 수 있고, 이들 모두가 본 명세서에서 참조로 결합된다. 종래의 이미지 재구성법은 예를 들어, Natterer의 "The Mathematics of Computerized Tomography", 및 Kak과 Slaney의 "Principles of Computerized Tomographic Imaging"와 같은 수학 문헌에서 찾을 수 있다.

재구성 함수는 시간 포인트 t에서 입력 값 s_t가, 물리적 터치 시스템의 특성을 반영하는 투영 함수

에 따라, 감쇠 패턴 a_t에 좌우된다는 가정에 기초하여 설계된다:

. 따라서, 재구성 알고리즘은 재구성 함수의 사용에 의해 s_t로부터 a_t를 재구성하도록 설계된다:

.

입력 값 s_t의 포맷이 재구성 함수

에 특유할 수 있다는 것이 이해될 것이다. 감쇠 패턴의 재구성이 가능하도록, 입력 값 s_t는 개별 검출선에 대한 감쇠값으로 표현될 수 있다. 그러한 감쇠값은 예를 들어, 각각의 기준값으로 k번째 검출선의 투영값 I_k를 나누는 것에 의해 얻어지는 전송값에 기초한다:

. 기준값의 적절한 선택에 의해, 전송값은 각 검출선에서 측정된 사용 가능한 광 에너지의 분율(예를 들어, [0,1] 범위 내)를 표현하도록 생성된다. 각 검출선의 입력 값은 예를 들어

또는 그 근사값, 예를 들어

에 의해 주어질 수 있다.

재구성된 감쇠 패턴 a_t는 시간 포인트 t에서 터치 표면 상의 축적된 감쇠의 분포를 나타낼 것이다. 축적된 감쇠는 터치 객체에 의해 야기된 감쇠와 터치 표면 상의 오염에 의해 야기된 감쇠 모두를 포함하고, 그러한 상호작용 패턴 a_t는 따라서 "전체 감쇠 패턴" 또는 "전체 패턴"으로 표시된다.

배경 기술에서 개시된 바와 같이, 결과적으로 "터치 감쇠 패턴" 또는 "오프셋 패턴"으로 표시되는 보상된 감쇠 패턴 o_t이 되는, 터치 표면 상의 오염의 영향에 대하여 전체 감쇠 패턴 a_t을 적어도 부분적으로 보상하는 것이 기술 분야에 알려져 있다. 예를 들어, WO2011/049512는 현재 광 상태(전체 패턴에 상응하는)를 반복적으로 생성하는 터치 장치를 제안한다. 터치 장치는 또한 백그라운드 상태(또는 "백그라운드 패턴")을 반복적으로 업데이트하고, 이는 터치 표면 상의 오염에 의해 야기된 예측된 감쇠값의 2-차원 분포이다. 보상된 광 상태(오프셋 패턴에 상응하는)는 그 다음 현재 광 상태로부터 백그라운드 상태를 감산하는 것에 의해 형성된다. 대안적인 또는 보충적인 보상 기법은 WO2011/028169에서 제안되고, 이는 투영값을 입력값으로 변환하는 데 사용되는 기준값(REF_k)이 터치 표면(4) 상의 오염의 영향을 포함하도록 단속적으로 업데이트된다. 기준값의 업데이트를 통해 오염의 영향을 추적하는 것에 의해, 터치 장치는 재구성 함수에 입력에서 이미 오염에 대하여 보상하고, 그에 의해 직접적으로 오프셋 패턴을 생성한다. 2012년 9월 24일에 출원된 출원인의 PCT 출원 PCT/SE2012/051006와 함께, WO2011/049512 와 WO2011/028169는 모두 그 전체가 참고로 결합된다.

전체 패턴 a_t는 터치 표면의 좌표 시스템 X, Y(도1b 참조)에서 3D 도면으로, 도 2a에 도시된다. 패턴 a_t는 터치와 오염 모두로부터의 터치 표면 상의 축적된 감쇠를 표현한다. 도 2b는 이전 터치의 지문에 의해 야기된 제1 감쇠 성분 α1, 터치 표면 상에 놓인 손바닥에 의한 얼룩에 의해 야기된 제2 감쇠 성분 α2, 및 수분 누출에 의해 야기된 제3 감쇠 성분 α3을 설명하는 백그라운드 패턴 b_t-1의 도면이다. 도 2c는 픽셀 단위로 a_t에서 b_t-1을 감산하여 얻어지는 오프셋 패턴 o_t의 도면이다. 3개의 터치를 형성하는 3개의 피크 β1, β2, β3는 '0' 감쇠에 가까운 균일한 백그라운드 레벨에 대하여 보여진다.

이 오프셋 패턴 o_t가, 오염에 의해 야기된 차이를 대체로 제외하고, 예를 들어 터치 객체 없이 깨끗한 터치 표면과 비교하여 터치 표면 상에 객체의 현재 배열에 의해 야기되는 감쇠의 차이와 같은, 터치 표면 상의 터치 관련 감쇠에 장기 변화를 반영하도록 얻어져서 실현된다.

일반적으로 추적의 일시적 범위 보다 (훨씬) 더 짧은 시구간 △t동안 발생하는, 단기 변화를 나타내는 미분 감쇠 패턴을 생성하는 것 또한 가능하다. 그러한 미분 감쇠 패턴을 본 명세서에서는 "미분 패턴"으로 표시되고, da_t로 지정된다.

미분 패턴 da_t는 현재 오프셋 패턴에서 이전 것을 감산하여 계산된다: da_t = o_t - o_t-△t. 대안으로, 미분 패턴 da_t는, △t가 감쇠에서 변화를 가져오는 터치 객체의 이동을 위해 충분히 길고, 오염이 상당히 축적하는 것을 피하도록 충분히 작게 선택되는 경우, 현재 전체 패턴에서 이전 것을 감산하여 계산된다: da_t = a_t - a_t-△t. 예를 들어, 시간 차는 약 5ms보다 길고, 바람직하게 약 20 내지 80 ms이지만 1 내지 5초만큼 클 수 있다.

다른 대안에서, 미분 패턴 da_t는 현재 시점(t)과 이전 시점(t-?) 사이의 입력값에서의 차이를 가져와 얻을 수 있는 변화값 ds_t로부터 재구성될 수 있다:

이거나, 또는, 동등하게, 로그 신호 값의 차이에 의해:

따라서, 재구성 함수

은, 재구성 함수

가 적어도 거의 선형이면, 미분 패턴 da_t를 생성하도록 변화 값 ds_t 상에서 동작할 수 있다. :

변화 값 상에서 동작에 의해, 상이한 시점에서 전체 패턴 또는 오프셋 패턴을 계산하고, 저장하고, 복구할 필요를 제거할 수 있다.

미분 패턴 생성을 위한 다른 대안이, 그 전체가 참조로 통합되는, 2012년 10월 8일 출원된 본 출원인의 PCT 출원 PCT/SE2012/051073에 개시된다.

구현과 관계 없이, 미분 패턴 da_t는 터치 표면 전역(또는 터치 표면의 관련 부분)의 미분 값의 분포이고, 여기서 각 미분 값은 터치 표면 상의 특정 위치 또는 재구성 셀(픽셀)에서 △t동안 감쇠에서의 국지적 변화(증가/감소)를 표현할 수 있다. 미분 패턴 da_t는 따라서, 터치 표면 전역에서 △t 동안 터치 상호작용과 오염 기여에서의 변화의 이미지로 보여질 수 있다. 미분 패턴 da_t는 △t 동안 터치 표면 상에 부가되거나 제거되는 객체는 물론 터치 표면과 접촉하는 객체의 이동에 의해 야기되는 감쇠에서의 일시적 변화를 주로 나타낸다. 이동하는 객체는 일반적으로 미분 패턴에서 즉 양의 피크와 음의 피크의 조합인 "쌍극 피크"로 나타난다. 도 3a는 2개의 쌍극 피크

및

를 포함하는 미분 패턴 da_t의 3D 도면이다. 도 3b는 도3a내의 미분 패턴 da_t의 평면도이다. 객체가 △t 동안 움직이는 경우, 상응하는 터치는 새로운 픽셀을 점유하고, 이는 결과적으로 양의 피크가 되고, 구 픽셀을 떠나면 음의 피크가 된다. 객체가 터치 표면에서 제거되면, 제거된 터치는 미분 패턴에서 단일 음의 피크로 표시되고, 객체가 터치 표면과 접촉되면, 새로운 터치는 단일 양의 피크로 표시될 것이다. 도 3b에서, 객체가 △t 동안 서로로부터 떨어지도록 이동하여 실현된다.

본 발명의 실시예는 터치 표면 상의 객체의 이동을 추적하는 전체 패턴, 오프셋 패턴 또는 미분 패턴, 또는 이들 패턴의 조합 중 하나에서 동작할 수 있다. 다음에서, 참조는 달리 명시되지 않으면 전술된 타입의 패턴 모두를 지칭하도록 의도되는 "감쇠 패턴" 또는 "패턴"으로 이루어진다.

3. 추적

터치 기기(100)는 연속되는 시점에서 패턴을 생성하도록 동작되어, 시간의 함수로 추적된 터치 표면 상에서 객체의 이동을 가능하게 한다. 추적은 결과적으로 터치 표면 상의 이동 궤적이 되고 예를 들어 터치 표면 상의 사용자-제어된 제스처의 인식을 허용할 수 있다. 예를 들어, 도 4 는 "줌 인" 명령으로 해석될 수 있는 "집지 않은(un-pinch)" 제스처에서 터치 표면(4) 상에서 드래그되는, 두 객체(7)의 이동 궤적 T1, T2를 나타낸다.

도 5a는 도 1의 기기(100)에서 객체를 추적하는 방법의 실시예를 나타낸 흐름도이다. 방법은 일반적으로 신호 처리기(10)(도1)에 의해 반복적으로 실행되는 단계(50 내지 56)의 시퀀스를 포함한다. 본 설명의 맥락에서, 단계(50 내지 56)의 각 시퀀스는 "프레임" 또는 "반복"으로 표현된다.

각 프레임은 데이터 수집 단계(50)으로 시작하고, 여기서, 출력 신호는 예를 들어, 전술된 투영 신호 I_t 각각으로부터 값을 샘플링하여 광센서(3)에서 획득된다. 데이터 수집 단계(50)에 의해서는 각 검출선에 대하여 하나의 투영 값을 얻는다. 데이터는 상기 기기(100)에서 모든 사용 가능한 검출선에 대하여 수집될 수 있지만 수집될 필요는 없다고 언급될 수 있다. 데이터 수집 단계(50)는 예를 들어 노이즈 감소를 위한 필터링과 같이 투영 값의 전처리 단계를 포함할 수도 있다.

변환 단계(51)에서, 투영 값 I_t는 실행에 따라, 입력 값 s_t, 또는 변화값 ds_t로 변환을 위해 처리될 수 있다.

후속 패턴 생성 단계(52)는 2장에서 설명된 임의의 기법에 따라 패턴을 생성하도록 상기 입력 또는 변화 값에서 재구성 함수

를 작동한다.

피크 검출 단계(53)에서, 패턴은 그 다음 예를 들어, 임의의 공지 기술을 사용하여 피크 검출을 위해 처리된다. 일 실시예에서, 글로벌 또는 로컬 한도가 노이즈 억제를 위해 패턴에 처음으로 적용된다. 상기 한도 이상 떨어진 감쇠값을 가진 임의 영역이 국지적 최대값을 찾도록 추가로 처리될 수 있다. 식별된 최대값은 예를 들어, 2-차원 2차 다항식 또는 가우시안 벨 형상을 맞추는 것에 의해 또는 감쇠 값의 관성 타원을 찾는 것에 의해 터치 형상과 중심 위치 결정을 위한 추가로 처리될 수 있다. 국지적 최소값은 유사한 방법으로 식별될 수 있다. 클러스터링 알고리즘, 에지 검출 알고리즘, 표준 얼룩 검출, 발수 기술, 범람 메우기 기술, 등과 같은 기술 분야에서 잘 알려진 여러 다른 기술도 있다. 단계(53)은 예를 들어, 피크 위치, 피크 크기, 피크 형상, 피크 감쇠, 피크 기호와 같은 상이한 피크 파라미터의 값을 포함할 수 있는 피크 리스트를 결과로 낳는다. 피크 감쇠는 피크 감쇠 값 또는 피크 형상 안에서의 감쇠 값의 가중합에 의해서 주어질 수 있다. 피크 기호는 패턴에서 피크가 양인지 음인지를 나타낸다.

단계(54)는 상기 피크 리스트 내의 검출된 피크를 추적 이력 리스트 THLt-1 내의 기존 추적에 매치하고, 이는 기존 추적의 기록이고 전자 메모리 M에서 검색된다. 기록은 리스트, 해시테이블, 이진 트리 등과 같은 선형 또는 비 선형의 임의의 적절한 데이터 구조에 의해 구현된다. 추적 이력 리스트는 예를 들어 존재하는 것으로 간주된 모든 추적과 같이, 현재 프레임에 관련된 것으로 간주되는 추적에 대한 추적 파라미터의 값을 포함하도록 유지되고, 이는 존재 가능성이 없는 것으로 간주되는 임의의 추적 또한 포함할 수 있다. 전술한 바와 같이, 추적 파라미터는 예를 들어, 각 추적에 대한 수명, 위치, 위치 이력, 감쇠 강도, 크기, 및 형상을 포함할 수 있다. 매치 단계는 매치된 피크, 비-매치된 피크, 및 비-매치된 추적을 결과로 낳는다. 추적 이력 리스트(THL_t-1)는 추후에 매칭을 토대로 하여 업데이트 되고, 앞으로의 프레임에 사용하기 위한 메모리(M)에 현재의 추적 이력 리스트(THL_t)로서 저장된다. 업데이트 단계는 기존 추적에 대한 추적 파라미터 값의 업데이트, 종료된 추적의 제거, 및 새로운 추적에 대한 추적 파라미터 값의 삽입을 포함할 수 있다.

단계(55)에서, 현재 터치 데이터는 데이터 수집 단계(50)으로 프로세스가 리턴해서 결정되고 출력한다. 현재 터치 데이터는 종료된 추적(터치 업), 새로운 추적(터치 다운)과 연관된 파라미터 값, 및 진행하는 추적과 연관된 파라미터 값을 표시할 수 있다. 파라미터 값은, 피크 파라미터 값 또는 추적 파라미터 값과 같이, 피크 검출, 매칭, 및 업데이트 단계 동안 결정된 값을 선택하는 것에 의해 결정될 수 있다. 단계(55)는 단계(54)에서 식별된 모든 기존 및 새로운 추적에 대한 터치 데이터를 출력할 수 있다. 그러나, 단계(55)는 사용자 경험을 개선하기 위해 현재 터치 데이터를 조작하는 "출력 필터"를 구현하는 것을 고려할 수 있다. 예를 들어, 출력 필터는 잘못된 피크 검출의 영향을 억제하기 위해 복수의 프레임에 대하여 새로운 추적을 출력하는 것을 연기할 수 있다. 마찬가지로, 출력 필터는, 예를 들어 이들 프레임 동안 비-매치된 추적에 대한 최신 터치 데이터를 출력하거나 터치 이력 리스트 내의 추적 파라미터 값에 기초하여 이들 프레임에 대하여 투영된 터치 데이터를 출력하는 것에 의해, 복수의 프레임에 대한 비-매치된 추적의 제거를 지연하도록 설정될 수 있다. 출력 필터가 단계(55)에서 발견된 추적 중에 능동적인 선택을 하고 선택된 추적에 대한 현재 터치 데이터만 출력하도록 설정되는 것 또한 고려될 수 있다.

추적은, 특히 간섭이 있을 때, 상이한 시간에 검출된 터치를 올바르게만 매치할 필요가 있을 뿐만 아니라, 새로운 터치의 발생(즉, 새로운 이동 궤적의 시작, "터치 다운")과 기존 터치의 소멸(즉, 진행하는 이동 궤적의 종료, "터치 업")을 올바르게 검출할 필요가 있으므로, 힘든 작업임을 알게 된다. 터치들은 패턴 내에서 그리고 시간의 함수로 감쇠가 상당히 다르다는 것 또한 주목해야 한다. 예를 들어, 움직이는 객체("드래그")는 FTIR-기반 터치 기기에서 움직이지 않는 객체보다 종종 더 약한 감쇠를 산출하는 것으로 보인다. 간섭은, 예를 들어, 측정 노이즈, 재구성 함수에 의해 개입된 인공물, 또는 즉, 패널 외부의 광원에 의한 광인 주변 광에 의해 야기될 수 있고, 센서에 의해 검출된다. 이하 4장에서 설명되는 바와 같이, 간섭은 터치 객체에 의해 산란된 광에 의해 야기되거나 및/또는 터치 표면 상의 오염에 대한 보상의 불완전으로부터도 기인할 수 있다. 간섭이 참 터치에 대하여 실수하고 새로운 추적에 대하여 시작 포인트로 사용되거나 기존 추적의 위치로 추가되는 경우, 추적 프로세스가 심각하게 방해되는 것이 실현된다. 전술된 출력 필터의 적절한 설계에 의해, 사용자가 사소한 추적 오차에 노출되는 것을 피할 수 있다. 그러나, 더 큰 추적 오차가 추적 이력 리스트에서 진행할 수 있고, 사용자 경험을 방해한다. 실시예가 도 6a 및 6b에서 주어진다. 도 6a는 터치 표면 전역에서 손가락이 드래그되는 것으로 프레임이 시계열적으로 매치되고 식별되는 터치 위치(검은 점)를 도시한다. 점선은, 드래그를, 추적이 중단되는 제1 추적(T1)과 제1 추적(T1)으로부터 떨어뜨리는 제2 추적(T2)로 분리시키도록 하는, 복수의 프레임에 대한 추적 실패를 나타낸다. 실패한 추적은 예를 들어, 제1 추적(T1)으로 매치되어 제1 추적(T1)이 중단된 것으로 인식되도록 하는 지문을 남기는 손가락에 의해 발생될 수 있다. 손가락이 지문에서 멀어짐에 따라, 추적은 손가락에 의한 피크를 다시 검출하고 새로운 추적 T2에 속하는 것으로 식별한다. 도6b에 도시된 바와 같이, 출력 단계(55)로부터 그 터치 데이터를 수신하는 애플리케이션 컨트롤러는 제1 및 제2 추적을 두 객체(7)의 집지 않은 제스처(cf. 도4)를 나타내는 것으로 해석하고 줌인 액션을 시작하여 사용자를 놀라고 실망하게 만든다.

추적 에러를 억제하기 위하여, 도 5a의 방법은 추적 에러가 단계(54)에서 업데이트된 추적 이력 리스트로 도입되고 전파되는 가능성을 감소시키도록 설계된 에러 억제 단계(56)를 포함한다. 도시된 실시예에서, 에러 억제 단계(56)는 "관련된 추적"으로 표현된 특정 추적에 대한 잠재적인 추적 문제를 식별하고, 그 다음 관련된 추적에 대한 이동 제안을 정의한다. 이동 제안은 예를 들어 주어진 평가 주기 동안, 추적 프로세스에서 평가된 다운스트림인 다른 가설이다. 다음에서, 평가는 단계(56)의 일부로 수행되는 것이 가정된다. 평가의 결과는 그 다음 후속 프레임의 단계(54)에서 관련된 추적의 업데이트를 제어하기 위해 사용된다. 단계(56)은 모든 프레임 동안 실행될 수 있지만 모든 프레임 동안 실행될 필요는 없다는 것이 이해될 것이다. 또한, 이동 제안의 다음 평가는 평가 주기 동안 모든 프레임에 대하여 실행될 수 있지만 모든 프레임 동안 실행될 필요는 없다.

일 실시예에서, 잠재 추적 문제는, 임의의 불확실한 피크("틀릴 가능성 있는 피크"), 즉, 폭 넓은 감지에서 간섭에서 기인한 것같이 간주되는 피크를 식별하도록, 단계(53)에서 검출된 피크에 전용 발견 방법을 적용하여 식별된다. 발견 방법은 특정 종류의 간섭으로부터 피크를 식별하도록 설계될 수 있다. 상이한 발견 방법의 예가 이하에서 4장에서 주어진다.

도 5a의 실시예와 그 변형예를 참조하면, 하나 또는 그 이상의 개시된 단계들은 동시에 달성될 수 있다는 것이 이해되어야 한다. 예를 들어, 후속 프레임의 데이터 수집 단계(50)는 단계(51 내지 56) 중 임의의 하나와 동시에 시작될 수 있다.

3.1 예측 접근법

일 실시예에서, 에러 억제 단계(56)는 예측 접근법에 기초하고, 즉, 이동 제안이 관련된 추적의 가능한 미래의 궤적을 나타낸다. 도 6에 도시된 추적 문제를 어드레스하기 위하여, 단계(56)는 2개의 상이한 이동 제안을 정의할 수 있다: 객체는 정지되고("정지 제안") 객체는 임시 추적을 따라 현재 방향에서 이동을 계속한다("이동 제안").

예측 접근법은 도 7에 예시되고, 여기서 검은 점은 매칭된 터치 위치를 나타내고, 사각형은 식별된 추적 문제를 나타내고, 십자는 검출된 피크를 나타내고, 하얀 점은 예측된 터치 위치를 나타내고, 실선은 추적을 나타내고, 점선은 임시 추적을 나타낸다. 도 7a는 평가 주기△t₁에 대한 레이아웃으로 임시 추적의 개요를 제시한다. 예측된 위치 p1-p6는 이동 제안이 평가될 때 연속하는 프레임 f1-f6 각각에 관련된 추적의 타당한 위치를 나타낸다. 예측된 위치 p1-p6는 예를 들어, 당업자에게 잘 알려져 있듯이, 관련된 추적의 위치 이력으로부터 추정에 의해 단계(56)에 의해 정의될 수 있다. 검색 영역 s1-s6는 예측된 위치 p1-p6 각각에 관련하여 정의되고, 각각의 예측된 위치 p1-p6를 포함할 수 있지만 포함해야 하는 것은 아니다. 이동 제안의 평가에서, 검색 영역 s1-s6 안에 떨어지는 검출된 피크는 이동 제안을 평가하기 위하여 처리될 것이다. 이동 제안이 평가 주기△t₁ 동안 또는 끝에 가능한 것으로 간주되면, 단계(54)는 따라서 추적 이력 리스트에 관련된 추적을 업데이트하도록 신호를 보낼 것이다. 그렇지 않으면, 단계(54)는 관련된 추적이 중지되도록 업데이트하도록 신호를 보낼 것이다. 평가 주기 △t₁의 길이는 FTIR 시스템 추적 문제의 감도에 영향을 미친다. 계속된 이동의 검출이 가능하도록 충분한 길이여야 하지만 관련된 추적에 다른 객체의 이동이 잘못 연결되는 것을 피할 수 있도록 충분히 짧아야 한다. 검색 영역 s1-s6의 크기 및 위치와 함께, 평가 주기 △t₁의 길이는 정해진 순서의 실험 작업에서 중요한 문제이다.

여러 생각할 수 있는 구현 중 하나가 도 7b 내지 7d에 도시된다. 도 7b에서, 피크는 검색 영역 s3에서 프레임 f3 동안 발견되고, 후보 위치 c3로 지정된다. 하나 이상의 피크가 검색 영역에서 발견되면 평가는 최적 매치(예를 들어, 상호 거리 및/또는 크기의 유사성, 감쇠 강도 등에 기반하여)를 후보 위치로 선택하거나 복수의 후보 위치 상에서 동작할 수 있다. 도 7c에서, 프레임 f4에서 식별된 피크는 후보 위치 c3(예를 들어, 상호 거리 및/또는 크기의 유사성, 감쇠 강도 등에 기반하여)에 매치된 것으로 확인된다. 이는 단계(56)이 이동 제안을 선택하도록 하고 관련된 추적이 도 7d에 도시된 바와 같이 단계(54)에 의해 업데이트되도록 한다. 분명히, 단계(56)은 이동 제안을 수용하기 전에, 매칭된 후보 위치의 더 큰 시퀀스를 요구할 수 있다. 변형예에서(미도시), 단계(56)은 이동 제안을 수용하기 전에 각각의 검색 영역 안에 배치되는 다음 후보 위치를 요구할 수 있다. 다른 변형예에서(미도시), 단계(56)은 하나의 후보 위치가 검색 영역중 하나 안에 있으면 곧 이동 제안을 수용할 수 있다. 도 7d에 관하여, 예측된 위치(p1, p2 및 가능하면 p3도)는 단계(54)에서 업데이트될 때 관련된 추적에 추가될 수 있으나 추가될 필요가 있는 것은 아닌 것이 이해되어야 한다.

단계(56)이 대신 중지 제안을 선택하면, 관련된 추적은 도7e에 표시된 바와 같이 업데이트될 것이다. 업데이트된 추적의 전단이 서로(각 프레임 f1 - f6 당 하나)의 상단에서 복수의 터치 위치를 포함하는 것이 실현된다.

변형예(미도시)에서, 검색 영역 s1-s6는 관련된 추적에 관련하여 정의되는 단일 검색 영역에 의해 대체되거나 보완된다. 단일 검색 영역은 평가 주기△t₁동안 임시 추적의 범위를 포함하도록 정의될 수 있다(cf. 도7a). 예를 들어, 단일 검색 영역에서 검출된 모든 피크는 이동 제안을 평가하기 위해 사용될 수 있다.

도 7f는 예측 접근 방법의 확장을 도시한다. 여기서, 단계(56)는 추적 문제를 포함하는 차단 영역 또는 불확실 영역(b1)을 정의한다. 차단 영역(b1)은 추적 문제의 위치, 관련된 추적의 현재 위치, 접근하는 프레임 내의 관련된 추적의 예측된 위치 등에 관하여 설정될 수 있다. 차단 영역(b1)은 추적 문제의 원인이 계속되어 앞으로의 프레임에서 추적 과정에 영향을 미친다는 사실을 보고해줄 것이다. 차단 영역은 상이한 함수와 연관될 수 있다. 하나의 변형예에서, 단계(53)은 차단 영역(b1)에서 피크 검출이 방지된다. 다른 변형예에서, 단계(56) 내의 평가는 차단 영역(b1)에서 검출되는 피크에 기초하여 이동 제안을 평가하는 것이 방지된다. 또 다른 변형예에서, 단계(54)는 다른 추적(즉, 관련된 추적뿐 아니라 다른 추적)으로 차단 영역(b1)에서 검출된 피크를 매칭하는 것이 방지된다. 이들 변형예의 조합이 가능하다. 예를 들어, 도7f에서, 차단 영역(b1) 내의 피크는 새로운 추적이 되지도 못하고 이동 제안을 평가하기 위해 사용되지도 않을 수 있다. 차단 영역(b1)은 일반적으로 평가 주기△t₂ 동안 존재할 수 있고, 이는 주기 △t₁과 동일할 수 있지만 동일할 필요는 없다. △t₁이 터치 표면과 참인 상호작용의 시간 크기와 관련되는 데도, △t₂ 가 추적 문제의 근원의 시간 크기와 관련되므로, △t₂ 는 △t₁ 에 독립적으로 설정되는 것이 바람직하다.

변형예(미도시)에서, 차단 영역은 생략되고 새로운 피크가 단계(53)에 의해 검출되고 단계(54)에 의해 사용되는 것이 허용되지만 관련된 추적으로의 매칭에 대해서는 허용되지 않다. 따라서, 단계(54)는 관련된 추적대신 다른 추적을 업데이트하고 새로운 추적을 생성하는 데에만 검출된 피크를 사용하는 것이 허용될 수 있다.

3.2 반응성 접근 방법

다른 실시예에서, 에러 억제 단계(56)는 반응성 접근 방법, 즉, 이동 제안이 관련된 추적 부근에서 식별되는 추적에 기초하여 평가되는 접근 방법을 기초로 하고, 그것으로 인하여 그러한 추적은 관련 추적에 연결될 수 있다. 반응성 접근 방법은 상기 정지 제안과 이동 제안을 사용할 수 있다.

반응성 접근 방법은 도 8에서 예시되고, 도면에서, 검은 점들은 매칭된 터치 위치를 나타내고, 사각형은 식별된 추적 문제를 나타내고, 점들은 검출된 피크를 나타내고, 점선 화살표는 시점의 예측된 궤적을 나타낸다. 도 8a는 잠재적 추적 문제를 검출한 후에 복수 프레임의 추적을 보여주고 있다. 차단 영역 또는 불확실 영역(b1)은, 예를 들어 도7f를 참조로 전술된 바와 같이, 잠재적 추적 문제를 포함하도록 정의된다. 차단 영역(b1)은 평가 주기 △t₂ 동안 존재할 것이고, 차단 영역(b1)에서 발생한 피크가 이동 제안 평가에 사용되는 것이 방지된다. 구현예에 따라, 단계(53)는 차단 영역(b1)에서 피크 검출이 차단될 수 있거나, 단계(56)는 차단 영역(b1)에서 검출된 피크에 기초하여 이동 제안을 평가하는 것이 차단될 수 있다. 도 7f의 예와 유사하게, 차단 영역(b1)은 단계(54)가 차단 영역(b1)에서 검출된 피크를 다른 추적에 매칭하는 것을 방지하는 추가 효과를 가질 수 있다. 단계(56)는 관련된 추적에 가능한 연결에 대하여 평가 주기 △t₁ 동안 차단 영역(b1) 바깥에서 검출된 새로운 추적을 분석하여 이동 제안을 평가한다. 이 평가는 도 8a에서 더 점선 화살표로 표시된 바와 같이, 새로운 추적을 거꾸로 투영하여, 각 새로운 추적의 시작의 명백한 방향의 결정을 포함할 수 있다. 시작의 방향이 충분히 관련된 추적에 가까울 경우, 단계(56)는 이동 제안을 선택할 수 있고, 관련된 추적이 도8b에 표시된 바와 같이 단계(54)에 의해 업데이트되도록 할 수 있다. 대안으로 또는 부가적으로, 단계(56)의 평가는 관련된 추적과 새로운 추적 각각의 시작 사이의 거리, 및/또는 영역 내의 유사성, 및/또는 관련된 추적 내의 터치와 새로운 추적 내의 터치 사이의 형상에 기초될 수 있다.

변형예에서(미도시), 이는 차단 영역의 사용과 조합될 수 있고, 단계(56)는 전용 검색 영역 내의 시작을 갖는 새로운 추적 평가에 제한되고, 이는 관련된 추적 또는 추적 문제에 관하여 정의될 수 있다. 그러한 검색 영역의 사용은 평가될 새로운 추적의 양을 제한하여 프로세싱을 감소시킬 수 있다. 검색 영역은 고정된 위치 및 범위를 가질 수 있거나 평가 주기 △t₁ 안에서 시변 범위 및/또는 위치를 가질 수 있다.

3.3 다른 이동 제안

정지 및 이동 제안은 단계(56)에서 사용될 수 있는 제안의 예시들뿐이다. 이들 제안들이 터치 표면 상의 객체의 여러 이동을 캡처하더라도, 이들은 다른 및 더 상세한 이동 제안, 예를 들어, 역전 제안(객체 역 방향), 좌회전 제안(객체를 왼쪽으로 90°회전), 우회전 제안(객체를 왼쪽으로 90°회전), 등과 결합되거나 대체될 수 있다.

특정 FTIR 시스템에서, 추적 프로세스가 터치업 이벤트(터치 표면에서 들어올려진 터치 객체)와 이동을 시작할 터치 객체(정지된 추적) 사이의 구분이 어려울 수 있다. 예를 들어, 미분 패턴에서, 터치업 이벤트는 음의 피크의 결과가 될 뿐만 아니라, 음의 피크 주위의 원 내의 작은 양의 피크의 "원환체(torus)"의 결과가 될 수도 있다. 도 9는 그러한 원환체 형상을 가진 미분 패턴 da_t의 예이다. 도 3b로 돌아가면, 음의 및 양의 피크의 결과 조합이 터치업 이벤트 대신 객체의 이동으로 잘못 해석될 수 있는 것이 실행된다. 이 잠재적 추적 에러를 처리하기 위해, 단계(56)는 잠재적 추적 문제로 환형체 형상을 식별하도록 설정될 수 있고, 평가 주기 △t₁ 동안, 평가되는 이동 제안과 "터치 업 제안"을 정의한다. 이동 제안은 예측 또는 반응성 접근 법 중 임의의 것에 따라 평가될 수 있다. 터치업 제안은 이동 제안이 거부되는 경우 선택될 수 있다. 대안으로, 터치업 제안은 잠재적 추적 문제의 위치에서 피크의 존재/부재의 평가에 의해 확정된다.

일반적으로, 단계(56)가 원환체 형상, 작은 의사 피크, 사중극(quadropole)(이하 참조)과 같은 잠재적 추적 문제의 상이한 종류를 식별 또는 분류할 수 있는 경우, 단계(56)는 잠재적 추적 문제의 종류에 따라 평가되도록 제안의 상이한 조합을 정의할 수 있음을 주목해야 한다. 예를 들어, 원환체 형상이 이동 및 터치업 제안을 결과로 가져올 수 있는 반면에, 사중극(quadropole)은 이동 및 정지 제안을 결과로 가져올 수 있다. 대안으로 또는 부가적으로, 예를 들어, 정지 및 이동 제안이 움직임에서 관련된 추적에 대하여 정의되도록, 그리고 터치업 및 이동 제안이 나머지 관련된 추적에 대하여 정의되도록, 상이한 제안이 관련된 추적의 위치 이력(즉, 이전 프레임 동안 관련된 추적의 이동 특성)에 따라 단계(56)에 의해 정의될 수 있다.

3.4 단속적으로 들어올려진 객체의 추적

본 발명의 추적 기술은 예를 들어 더블 탭을 생성하는 것과 같은 터치 표면으로부터 단속적으로 들어올려진 객체의 추적에 대해서도 적용할 수 있다. 더블 탭은 연속하는 2개의 탭, 즉 터치 다운, 터치 업, 터치 다운, 그리고 터치 업을 포함한다. 탭들 사이의 시간이 작으면, 더블 탭은 정지 추적으로 오인될 수 있는데, 즉 객체가 터치 표면을 터치하고 그 다음 이 위치에 유지하는 것으로 오인될 수 있다. 도 10은 상이한 종류의 터치 이벤트에 대한 오프셋 패턴에서 하나의 위치에서 감쇠 강도의 시간 변화 그래프를 포함한다. 도 10a는 터치 표면 상의 단일 탭을 나타낸다. 터치 다운 이벤트는 감쇠 강도가 임계 레벨(TH)보다 상승할 때 검출되고, 터치업 이벤트는 감쇠 강도가 임계 레벨(TH)(또는 상이한 임계 레벨)보다 낮아질 때 검출된다. 도 10b-10c는 객체가 터치 표면을 터치하고 그 다음 여전히 유지될 때 감쇠 강도의 시간 변화의 예시이다. 터치 다운 이벤트 후 약간의 시간 동안 감쇠 강도의 감소는 터치 객체와 터치 표면 사이의 애플리케이션 압력의 변화에 (부분적으로) 기여될 수 있다. 도10d는 빠르게 연달은 2개의 탭을 나타내고, 여기서 탭 사이의 시간은 감쇠 강도가 임계 레벨(TH) 미만으로 떨어지는 것을 허용하지 않는다. 종래의 추적 프로세스는 그러므로 도 10d의 더블 탭을 무시하였다. 에러 억제 단계(56)는 이 상황을 처리하도록 적용될 수 있다. 예를 들어, 단계(56)는 그 시작에서부터(즉, 터치 다운 이벤트부터) 특정 시간 주기 안에 감쇠 강도의 시간적 최소값이 있는 것을 발견하는 경우, 잠재적 추적 문제를 식별 할 수 있다. 시간적 최소값은 도 10c-10d에서 화살표로 발견된다. 단계(56)는 또한 "접촉 제안"(객체가 터치 표면과 접촉 상태 유지)과 "더블탭 제안"(객체가 더블탭 생성)을 정의한다. 이들 제안은 그 다음 평가 주기 △t₁ 동안 단계(56)에 의해 평가된다. 감쇠 강도가 △t₁ 안에 임계 레벨(TH)이하로 떨어지면, 더블탭 제안이 선택될 수 있고, 그렇지 않으면 접촉 제안이 선택될 수 있다.

4. 거짓 피크의 시작 및 검출

전술된 바와 같이, 거짓 피크는 잠재적 추적 문제의 표지로 사용될 수 있다. 일부 거짓 피크는 FTIR 시스템에 특정한 간섭에 의해 생성된다. 이하에서, 2개의 상이한 시작의 거짓 피크가 상세하게 검토된 후, 거짓 피크를 식별하는 데 사용될 수 있는 상이한 추론이 설명된다.

4.1 광 산란에 의해 야기된 거짓 피크

광 산란은 그 원 경로로부터 벗어나 패널 내에서 전파하는 광의 일부를 야기하는 물리적인 프로세스이다. FTIR 시스템에서, 예를 들어 복사 전파 채널을 정의하는 경계면 내의 불규칙성에 의해 야기된 산란, 및 패널의 벌크 물질내의 불규칙성에 의해 야기된 산란과 같이, 패널 내의 고유 산란이 있을 수 있다. 이 산란은 시간 경과에 따라 불변이고 기기의 캘리브레이션에 의해 고려될 수 있다.

FTIR 시스템에서, 광 산란은 지문이나 얼룩과 같은 터치 표면 상의 오염과 함께 터치 객체에 의해 야기될 수도 있다. 이 종류의 광 산란은 동적인데, 즉, 객체의 위치와 오염의 분포가 모두 시간 경과에 따라 변할 수 있기 때문에 시스템이 사용되는 바에 따라 변화한다. 또한, 광 산란은 객체의 종류와 객체가 터치 표면에 누르는 정도에 가압하였는지에 따라 다를 수 있다. 마찬가지로, 광산란은 예를 들어 지문 및 액체 유출과 같은 상이한 종류의 오염에 대하여 다를 수 있다. 예를 들어, 인간의 손가락 또는 지문의 계곡과 능선의 패턴은 전파하는 광의 일관성에 따라 간섭/회절 형상과 함께 불규칙 광 산란을 일으킬 수 있다.

도 11a-11d는 FTIR시스템에서 광센서(3)에 의해 측정되는 투영 값 상의 광 산란의 영향을 나타낸다. 단순화를 위해, 시스템은 1개의 광 이미터(2)와 5개의 광 센서(3)로 도시된다. 도 11a에서, 객체(7)가 터치 표면과 접촉하게 된다. 도 11b에서, 기기는 동적 광 산란이 없는 것으로 가정된다. 이미터(2)는 제1 및 제2 검출선을 생성하도록 활성화된다. 제1 검출선은 객체(7)와 터치 표면 사이에서 직접적으로 접촉 영역을 통과하여, 투영값이 감소된다(즉, 감쇠 증가). 제2 검출선은 접촉 영역 오른쪽으로 직접적으로 통과하여 결과적으로 투영값을 변화시키지 않는다(즉, 감쇠 없음). 도 11c는 동적 광산란의 영향을 나타낸다. 접촉 영역을 따라 충돌하는 광의 일부는 객체에 의해 산란되고 제2 검출선의 센서 상에 충돌한다. 따라서, 도 11d에 도시되는 바와 같이, 제2 검출선의 투영 값은 그 센서에 도달하는 전파 광(도 11b)과 그 센서에 도달하는 산란 광(도 11c)의 합을 나타낼 것이다. 이는 제2 검출선에 대하여 증가된 투영 값(즉, 감소된 감쇠)을 가져온다. 도 11에 관한 설명이 객체(7)이 지문과 같은 국지적 오염으로 대체되었을 때 동일하게 적용할 수 있다.

도 11d의 객체(7)가 터치 표면에서 지금 들어올려지면(또는 동일하게, 국지적 오염이 적어도 부분적으로 제거됨), 제1 검출선의 투영 값은 제2 검출선의 투영 값이 감소하는 동안 증가될 것이다(산란된 광이 제거되므로). 따라서, 제2 검출선에 대한 감쇠는 증가할 것이고, 이는 새로운 터치로 잘못 해석되는 결과 패턴에서 양의 피크를 가져올 수 있다.

동적 광 산란이 검출선 사이에서 결과적으로 광 에너지 재분포를 가져오는 것이 실현된다. 대체적으로, 그러나 일반적이지는 않게, 동적 광산란은 객체/오염 산란에 가깝게 통과하는 검출선에 영향을 미친다. 이는 결과 패턴에서 감쇠의 재분포로 이어진다. 광산란에 의해 새로운 광이 만들어지는 것이 아니므로, 패턴 내에서 재분포된 감쇠의 합은 0이다. 이는 동적 광산란이 결과적으로 패턴에서 양의 피크와 음의 피크를 모두 가져온다는 것을 의미한다. 이 산란-유도된 피크는 대체로 산란 객체/오염 주위의 국지적 현상으로 나온다. 도 12는 오프셋 패턴(o_t) 상에 오버레이된 추적 T1의 개략도이고, 이는 단일 터치 객체에 의해 발생하는 피크를 포함한다. 피크는, 본 명세서에서 합쳐서 "사중극"으로 표시되는, 2개의 양의 피크와 2개의 음의 피크를 포함하는 한정된 그룹을 형성한다. 그러한 사중극은 객체(7)를 나타내는 하나 또는 그 이상의 참 피크(양/음) 상에 중첩될 수 있다. 그 때문에 참 피크는 사중극에 의해 적어도 부분적으로 감춰질 수 있다.

4.2 오염 변화에 의해 야기된 거짓 피크

객체가 터치 표면 상의 궤적을 따라 이동할 때, 터치 표면 상의 오염을 변화시킬 수 있다. 예를 들어, 객체가 손가락일 경우, 이는 터치 표면 상에 손가락 기름을 더할 수 있고 터치 표면 상에 기존의 오염을 재배치할 수 있다. 패턴이 예를 들어 전술된 바와 같이 오염에 대하여 적극적으로 보상하도록 처리되더라도, 그러한 오염 변화 또는 "잔류 변화"는 패턴 내의 피크로 해석될 수 있다.

도 13a는 터치 표면(4) 상의 객체(7)의 개략도로서, 여기서 객체는 점선으로 표시되는 오염의 흔적(90)을 남긴다. 흔적(90)에 의해 야기된 감쇠는 기존 기술에 의해 추정되고 보상될 수 있다. 그러나, 특히 오염이 흔적(90)을 따라 그리고 흔적 안에서 불균일하게 분포되는 경우, 오염의 영향에 대한 완전한 보상은 어려울 수 있다. 예를 들어, 도 13a는 오염이 예상한 것 보다 상당한 두 영역(91,92)를 나타낸다. 이에 의해, 영역(91,92)은 패턴 내의 이동 궤적을 따라 양의 피크를 초래할 것이다. 이는 국지적으로 증가된 오염에 의해 야기된 2개의 양의 피크가 단일 터치 객체에 대한 기존 추적 T1을 따라 관찰되는 도 14의 오프셋 패턴(o_t)에서 추가로 도시된다. 유사 간섭이 도 15에 도시되는 바와 같이 미분 패턴 da_t에서 발생할 수 있고, 여기서, 추적 T1은 △t 동안 터치 표면 상의 새로운 영역 안으로 객체의 이동에 의해 야기되는 그 전단에서의 양의 피크와, 그 이전 위치로부터 나가는 객체의 이동에 의해 야기되는 음의 피크, 및 국지적으로 감쇠가 증가되도록 하는 새롭게 추가된 지문에 의해 야기된 2개의 양의 피크를 포함한다.

도 13b는 터치 표면(4) 위에 오염의 이전 흔적(93)을 포함하는 터치 표면(4) 상의 객체(7)의 개략도이다. 객체(7)는 흔적(93) 내의 오염의 일부를 닦아내고, 표면(4) 상에 오염의 새로운 흔적(90)을 남기면서 표면(4) 위에서 이동된다. 패턴이 생성될 때, 흔적(93) 내의 오염이 적절하게 예측되지 않으면, 오염의 양은 영역(94)에서 과소 또는 과대 평가되어, 결과적으로 객체의 추적을 따라 양의 또는 음의 피크를 초래할 수 있다.

4.3 거짓 피크의 검출

잠재적 추적 문제는 잠재적 거짓 피크의 검출에 기초하여 식별 또는 예측될 수 있다. 거짓 피크는, 예를 들어, 사중극, 환형체 형상, 및 전술된 바와 같은 오염 피크와 같은 특정 방법으로 발생하는 것으로 알려진 거짓 피크를 검출하도록 설계되는 전용 발견 방법에 의해 검출된 피크를 평가하여 검출될 수 있다. 대안으로, 또는 추가적으로, 거짓 피크는 과도한 속도 또는 속도의 변화와 같이 추적에서 거짓 피크의 불합리 또는 적어도 있을법하지 않은 표시를 검출하도록 설계되는 일반적인 발견 방법에 의해 검출될 수 있다. 전용 및 일반적 발견방법의 몇몇 예는 다음과 같다.

4.3.1 일반적 발견 방법

일반적인 발견 방법은 거짓 피크가 추적에 매치되어 있는 지를 결정하도록 추적의 속도 및/또는 가속도를 계산하고 분석할 수 있다. 예를 들어, 추적의 구심 가속도 및/또는 원심 가속도가 예를 들어 사람에게 가능하지 않게 너무 큰 값으로 발견된다면, 추적 문제는 추적에 대하여 식별될 수 있다. 또한, 접선 가속도(특히 지연)와 접속 속도는 추적 문제를 나타낼 수 있다.

도 16은 종래 추적에서 거짓 피크가 추적에 매치되는 경우 추적의 명백한 속도와 가속도가 어떻게 영향을 받는 지를 나타낸다. 도 16a는 5개의 피크로 형성된 제1 추적을 도시한다. 도 16b에서, 다른 피크(거짓)가 제2 추적의 시작점을 형성하는 동안, 제1 추적은 예를 들어 사중극과 같은 거짓 피크 영역에 도달하고, 하나의 피크에 매치된다. 도 16c-16f에서, 제1 및 제2 추적은 감쇠 패턴에서 우세한 거짓 피크에 연속적으로 매치된다. 그것은 제1 추적이 도 16c에서 상당한 구심 속도 및 가속도를 보여주고 도 16d에서 상당한 접선 지연을 보여주는 것으로 실현된다. 이러한 변칙 중 하나 또는 모두는 잠재적 추적 문제를 식별하는 데 사용될 수 있다.

속도 및/또는 가속도에서의 변칙은 거짓 피크의 시점에 관계 없이 발생될 수 있음을 유의해야 한다. 예를 들어, 과도한 지연이 많은 양의 오염이 상응하는 추적에 매치되는 양의 피크를 생성하는 이동하는 객체 뒤에 남겨지는 경우 발생될 수 있다.

다른 일반적인 발견 방법은 거짓 피크를 식별하기 위해 검출된 피크의 영역 및/또는 형상을 분석할 수 있다.

4.3.2 전용 발견 방법

하나의 전용 발견 방법은 전술된 사중극을 식별하도록 설계될 수 있다. 도 17은 객체가 터치 표면 상의 오염된 영역을 통과하여 스위프하고 그에 의해 상당한 광 산란을 야기시켜 생성되는 사중극의 시간적 변화를 나타낸다. 추적은 실선으로 표시되고, 문제 영역에서 점선으로 변경된다. 감쇠 패턴 내의 피크가 광 산란에 의해 야기된 피크, 터치 객체에 의해 야기된 피크, 및 지문과 같은 오염에 의해 야기된 피크의 중첩이라는 것에 주의해야 한다. 도 17a 및 17b는 각각 사중극 형성 바로 전과 후의 추적을 도시한다. 도17c 내지 17e는 객체가 문제 영역을 통과함에 따라 사중극이 그 범위와 크기가 점차 감소하는 것을 나타낸다. 문제 영역을 벗어날 때, 도 17e 내지 도 17f에서, 객체는 양의 피크로 표시된다. 또한 도 17f는 지속적인 지문에 의해 야기된 추적 상의 거짓 피크를 포함한다. 도시된 바와 같이, 일반적으로 음의 피크의 존재 및 추적의 특정 외부는 광 산란의 표시일 수 있다.

따라서, 잠재 추적 문제는 "산란 발견 방법"을 적용하여 식별될 수 있고, 이는 하나 또는 그 이상의 음의 피크와 연관된(예를 들어 근처에 위치하는) 양의 피크가 불확실 피크로 지정되도록 규정하는 제1 규칙을 포함한다. 제1 규칙은 주어진 범위의 검색 영역 안에서 하나 또는 그 이상의 음의 피크와 함께 배치되는 양의 피크에 적용될 수 있다. 검색 영역은, 예를 들어 각 음의 피크 주위에 한정될 수 있다. 변형예에서, 검색 영역은 하나 또는 그 이상의 양의 피크, 예를 들어, 도 17b에서 추적에 매치된 양의 피크 주위로 한정된다. 검색 영역의 범위는 FTIR 시스템의 설계, 재구성 함수 및 산란 객체/오염의 고려 가능한 최대 크기에 따라 설정될 수 있다. 하나의 비 제한적인 예에서, 검색 영역은 1 내지 50mm의 범위 내의 직경으로 설정된다. 대안으로, 음의 피크와 연관된 양의 피크는 예를 들어 모형 매칭에 의해 양의 및 음의 피크의 특정한 공간적 조합에 대한 피크를 검색하여 식별된다. 그러한 모형 매칭은 독립적으로 스케일링 및/또는 회전할 수 있거나 개별 피크의 감쇠 강도, 크기, 형상 등으로 인수분해할 수 있다.

전술한 바와 같이, 상이한 패턴은 간섭에서 발생하지 않은 음의 피크를 제시할 수 있지만, 터치 객체의 이동 궤적(추적)을 따라 자연적으로 발생할 수 있다(cf. 도 3b 및 15). 따라서, 미분 패턴에서 동작할 때, 제1 규칙은 연관된 음의 피크(또는 피크들)이 현재 추적으로부터 공간적으로 분리되는 경우에만 불확실 피크로 지정되도록 규정하도록 수정될 수 있지만 수정이 필요한 것은 아니다. 그러한 수정된 제1 규칙은 예를 들어 지연 또는 불완전 오염 보상에 의해 야기된 유사한 음의 피크가 존재하는 오프셋 패턴에도 적용될 수 있다.

추가적인 변형예에서, 산란 발견 방법은, 음의 피크가 추적 이력 리스트에 도입되는 것을 방지하도록, 모든 음의 피크가 불확실 피크로 지정되도록 하는 제2 규칙을 포함할 수 있다. 그러나, 당업자는 예를 들어, 매칭 및 업데이트 단계(54)(도 5a)에서 모든 음의 피크의 사용을 배제하도록 음의 피크를 배제하는 다른 방법이 있다는 것을 인식한다.

산란 발견 방법은 산란 현상에 의해 발생된 피크들이 터치 객체의 표지로 식별되는 가능성을 감소시킬 것이다. 또한, 산란 발견 방법은 다른 종류의 간섭에서 발생하는 피크의 영향을 억제하는 역할을 할 수 있다.

다른 전용 발견 방법은, 예를 들어, 모형 매칭 또는 퍼지 클러스터링, 허프 변환(Hough transformation) 등과 같이 링-형상 구조물을 검출하는 임의의 기술로, 전술된 환형체 형상을 식별하도록 설계될 수 있다.

또 다른 전용 발견 방법은 오염-유도 양의 피크를 식별하도록 설계될 수 있다. 이 "오염 발견 방법"은 양의 피크가 기존 추적을 따라 위치하는 경우 불확실로 지정되도록 규정하는 제1 규칙을 포함할 수 있다. 오염 발견 방법은 그러한 양의 피크가 기존 추적에 일치하지 않은 경우에만 불확실로 지정되도록 규정하는 제2 규칙을 포함할 수 있다. 제2 규칙은 매치된 피크가 오염 발견 방법에 의해 식별되지 않았으므로, 방법이 다른 추적을 교차하여 터치를 추적하도록 허용할 것이다. 오염 발견 방법은 또한, 양의(매치된 또는 비-매치된) 피크가 기존 추적의 전단으로부터 최대 거리 안에 배치되는 경우에만 불확실 피크로 지정되도록 규정하는 제3 규칙을 포함한다. 제3 규칙은 기존 추적에서 발생한 새로운 추적이 불확실 피크로 지정되고 추적 이력 리스트에 추가되는 것이 방지되는 위험을 감소시킬 수 있다. 오염-유도 피크가 추적의 전단에 비교적 가깝게 발생하기 쉬우므로, 제3 규칙은 거짓 피크가 추적 이력 리스트에 도입되지 않고 사용될 수 있다. 제3 규칙에서 사용되는 최대 거리는 유클리드 거리(Euclidian distance) 또는 추적을 따르는 거리가 될 수 있다. 일 실시예에서, 최대 거리는 고정된 절대적인 거리이다. 다른 실시예에서, 최대 거리는 추적 속도의 함수로 동적으로 설정되어 더 높은 속도는 더 큰 최대 거리를 초래한다. 이는 오염-유도 피크가 터치 표면을 가로질러 빠르게 이동하는 객체에 대하여도 불확실로 지정하는 것을 보장할 것이다. 일 실시예에서, 최대 거리는 예를 들어 5,10 또는 20 프레임과 같이 주어진 개수의 프레임을 시간을 거슬러 현재 위치에서 이전 위치로, 추적에 따른 범위이다. 이로써, 양의 피크는 추적의 최근 궤적 내로 떨어지는 경우에만 불확실로 지정되고, 최근 궤적의 범위는 자동으로 추적의 속도로 스케일링한다.

5. 추적 방법의 예

도 18은 추적 방법의 실시예의 흐름도이고 어떻게 단일 프레임에서 상이한 단계들이 상이한 데이터 구조를 채우도록 동작하는 지를 나타낸다. 단계(52)에서 감쇠 패턴의 생성 후(cf. 도 5a), 피크 검출 단계(53)는 모든 관련 피크, 양의 피크와 음의 피크 모두를 검출하고 피크 리스트에 피크에 대한 정보를 저장한다. 피크 리스트의 콘텐츠는 따라서 현재 프레임에 관한 것이다. 그 다음, 단계(54)는 추적 이력 리스트 내의 기존 추적을 피크 리스트 내의 양의 피크로 매치하도록 동작한다. 매칭의 결과는 손실 추적을 제거하고 새로운 추적을 부가하는 동안 기존 추적에 현재 데이터를 부가하여 추적 이력 리스트를 업데이트하는 데 사용된다. 추적 이력 리스트는 따라서 여러 프레임에 걸쳐 추적 정보로 업데이트된다. 다음 단계(56A)는 예를 들어 하나 또는 그 이상의 전술된 발견 방법을 적용하여 잠재 추적 문제를 검출한다. 잠재 추적 문제가 하나 또는 그 이상의 추적에 대하여 발견되면, 둘 또는 그 이상의 이동 제안이 각 관련된 추적에 대하여 개시되고 상응하는 정보가 임시 추적 리스트에 저장된다. 임시 추적 리스트는 따라서, 여러 프레임에 걸쳐 각각의 관련된 추적의 하나 또는 그 이상의 이동 제안에 관련된 정보로 업데이트된다(전술된 평가 주기△t₁ 안에). 다음 단계(56B)는 이동 제안을 평가하고, 가능한 경우 임시 추적 리스트 내의 하나 또는 그 이상의 관련된 추적에 대하여 하나의 이동 제안을 선택한다. 추적 이력 리스트는 그 다음 관련된 추적에 대하여 선택된 이동 제안으로 업데이트된다. 단계(56B)는 일반적으로 이전 프레임 내의 임시 추적 리스트에 부가되는 이동 제안에서 동작한다. 단계(55)는 그 다음 추적 이력 리스트 내의 추적의 모든 또는 서브셋의 최적 추측을 출력하고, 모든 또는 서브셋의 관련된 추적을 나타내는 데이터를 출력할 수도 있다. 관련된 추적을 처리하는 많은 방법이 있다. 일 실시예에서, 단계(55)는 예를 들어, 이동 제안 또는 정지 제안과 같은 제안들 중 하나에 따라 터치 데이터를 출력할 수 있고, 그 다음 단계(56B)에 의해 최종적으로 선택된 이동 제안으로 스위칭될 수 있다(필요한 경우).

도시된 데이터 구조는 단지 예이다. 예를 들어, 추적 이력 리스트와 임시 추적 리스트는 공통 데이터 구조로 결합될 수 있다.

단계(54)는 추적 이력 리스트를 유지하는 프로세스로 간주될 수 있다. 도 19는 그러한 유지 프로세스의 상세한 예를 제공하는데, 이는 현재 피크(단계(53)에서 검출된)와 추적 이력 리스트 내의 추적 사이의 매치에 기초하여 추적 이력 리스트를 현재 추적 파라미터 값으로 업데이트하는 것을 목적으로 한다.

단계(61)에서, 추적 이력 리스트 내의 추적에 대한 추적 파라미터 값은 현재 프레임에 대하여 예측된 값을 생성하도록 처리된다. 구현예에 따라, 단계(61)는 추적 이력 리스트 내의 모든 추적에 대하여 제일 가능한 위치(좌표), 크기 및 형상을 예측하도록 동작한다. 단계(61)는 생략될 수 있지만, 현재 매치값(이하 참조)을 계산할 때 거리 측정의 품질을 개선하는 것으로 여겨진다.

단계(62)에서, 추적 파라미터의 (예측된) 값은 피크 리스트 내의 피크에 대한 상응하는 파라미터 값에 대하여 매칭된다. 따라서, 매치 값은 추적 이력 리스트 내의 모든 추적과 모든 피크 사이에서 계산된다. 매치 값은 피크와 특정 추적 사이의 매치의 가능성을 나타낸다. 매치값은 예를 들어 피크의 위치와 (예측된) 추적의 위치 사이의 유클리드 거리의 함수, 및/또는 크기 및/또는 형상에서 유사성 및/또는 감쇠 강도의 함수로 계산될 수 있다. 또한, 잘못된 매치 값은 불가능하다고 판단된 피크-추적 조합에 대하여 설정될 수 있다. 피크-추적 조합에 대한 하나의 제한은 피크의 (예측된)위치와 추적의 위치 사이의 최대 거리로 주어질 수 있다. 일 실시예에서, 매치는 거리가 15mm보다 큰 경우 불가능한 것으로 간주된다. 허용된 피크-추적 조합에 대하여 제한을 부가하는 것은 또한 예를 들어 터치 표면에 대한 계층적 검색과 같은 매치 값 계산에 대한 스마트 알고리즘의 사용을 가능하게 한다. 매치 값이 예를 들어 추적의 수명과 같이 추적 이력 리스트에 포함되는 추가 추적 파라미터 내의 인수로 계산될 수 있다는 것이 이해될 것이다.

전체 패턴과 오프셋 패턴에서, 터치 객체는 양의 피크로 표현된다. 그러한 감쇠 패턴에 대하여, 단계(62)는 모든 음의 피크를 무시할 수 있고, 즉 양의 피크만 기존 추적에 대하여 매치된다. 미분 패턴에서, 터치 객체는 양의 피크와 음의 피크 모두로 표현될 수 있고, 단계(62)는 양의 피크 또는 음의 피크 중 하나 또는 그 조합을 기존 추적에 대하여 매치할 수 있다.

단계(62)에서, 하나의 추적을(있는 경우) 각 피크에 대한 최적 피크로 결정하도록, 식별된 피크는 매치 값에 기초하여 추적 이력 리스트로 할당된다(즉, 매치된다). 이 할당의 간단한 방법은 매치 값이 더 높은 매치 값에 의해 더 나은 매치를 표시하도록 계산되는 경우, 최고 매치 값으로 시작하고 점차 더 낮은 매치값으로 진행하고(그리디 접근법), 더 나은 매치가 더 낮은 매치 값으로 표시되면 반대로 한다. 헝가리(Hungarian) 방법(Kuhn의 알고리즘) 또는 매치 값에 기초하여 양자 매칭을 해결하는 다른 알고리즘과 같이, 이 할당을 위한 여러 다른 및 더 정교한 알고리즘이 있다. 대안으로, 할당은 예를 들어 가장 오래된 매치 값/추적(수명 파라미터의 최대 값)으로 시작하여 점차 더 어린 매치값/추적으로 진행하는 것과 같이 각 매치 값과 연관된 추적의 수명에 관하여 설명한다.

단계(62) 이후, 각 피크는 기존 추적("매칭된 피크")에 할당되거나, 할당된 추적이 부족한 것으로 식별된다("비-매칭된 피크"). 마찬가지로, 기존 추적은 피크에 할당되거나 연관 부족으로 식별된다("비매칭된 추적").

단계(63)에서, 추적 이력 리스트는 매칭된 피크 또는 피크들에 대한 피크 파라미터 값의 함수로 상응하는 추적 파라미터를 업데이트하는 것에 의해, 모든 매칭된 피크에 대하여 업데이트된다.

단계(64)에서, 비-매칭된 피크는 새로운 추적으로 해석되고 추적 이력 리스트에 부가된다. 단계(63)에서와 같이, 추적 파라미터 값은 피크 파라미터 값에 의해 주어지거나 피크 파라미터 값의 함수로 계산된다.

단계(65)에서, 비-매칭된 추적은 손실 추적으로 해석되고 추적 이력 리스트에서 제거된다. 하나의 변형예에서, 그러한 추적의 제거는 몇몇(예를 들어, 1-10) 프레임에 대하여 지연되어 이후 프레임에서 추적에 포함되는 피크를 발견할 수 있게한다. 이는 예를 들어, 노이즈 또는 인공물에 일시적으로 숨겨져 있을 수 있는 약한 추적의 제거를 회피할 수 있다. 다른 변형예에서, 비-매치 추적은 하나 또는 그 이상의 추적 파라미터 값이 주어진 기준을 만족하는 경우, 예를 들어, 국지적 노이즈가 예상되는 수준 이하로 감소하는 경우, 또는 추적의 감쇠 강도가 이전 프레임의 시퀀스에 대하여 빠르게 감소하는 경우(이는 상응하는 객체가 터치 표면에서 들어올려지는 것을 나타낼 수 있음), 제거된다.

본 명세서에서 개시된 여러 실시예들에 따른 추적 방법은 FTIR 시스템내의 광센서(3)로부터 샘플링된 측정 값에 연결되는 데이터 처리 장치(cf. 도1의 10)에 의해 구현될 수 있다. 도 5b는 출력 신호를 수신하는 입력(102A)를 포함하는, 그러한 데이터 처리 장치(10)의 예를 나타낸다. 장치(10)는 현재 투영 값을 획득하기 위한 데이터 수집 구성요소(또는 수단)(200), 현재 투영 값을 현재 입력 값 또는 변화 값으로 변환하기 위한 변환 구성요소(또는 수단)(201), 현재 감쇠 패턴을 생성하기 위한 패턴 생성 구성요소(또는 수단)(202), 현재 감쇠 패턴에서 피크를 검출하기 위한 피크 검출 구성요소(또는 수단)(203), 잠재적인 추적 문제를 식별하고 이동 제안을 정의하고 이동 제안의 후속 평가를 발생시키기 위한 에러 억제 구성요소(또는 수단)(204), 추적 이력 리스트를 업데이트시키기 위한 업데이트 구성요소(또는 수단)(205), 출력에 현재 터치 데이터를 제공하기 위한 출력 구성요소(또는 수단)(206) 및 현재 터치 데이터 출력하기 위한 출력(102B)를 추가로 포함한다.

장치(10)는 하나 이상의 범용 또는 특수 목적의 컴퓨팅 장치에서 실행되는 특수-목적 소프트웨어(또는 펌웨어)에 의해 구현될 수 있다. 이러한 맥락에서, 그러한 컴퓨팅 장치의 각각의 "구성요소" 또는 "수단"(또는 균등하게, "모듈")은 방법 단계의 개념적 등가를 말한다고 이해된다; 구성요소/수단 및 특정 조각의 하드웨어 또는 소프트웨어의 루틴 사이에 일대일 등가가 항상 있는 것은 아니다. 하드웨어 일부는 종종 상이한 수단/구성요소를 구현한다. 예를 들어, 처리 유닛은 하나의 명령을 실행할 때 하나의 구성요소/수단이 될 수 있지만 다른 명령을 실행할 때 다른 구성요소/수단 역할을 한다. 당연히, 하나 또는 그 이상의 구성요소(수단)가 아날로그 하드웨어 컴포넌트에 의해 완전히 구현되는 것도 고려될 수 있다.

소프트웨어 제어 장치(10)는 예를 들어, CPU("Central Processing Unit"), DSP("Digital Signal Processor"), ASIC("Application-Specific Integrated Circuit"), 이산 아날로그 및/또는 디지털 컴포넌트, 또는 FPGA("Field Programmable Gate Array")와 같은, 다른 프로그램 가능 논리 장치와 같은, 하나 이상의 처리 유닛(cf. 도1b의 14)를 포함할 수 있다. 장치(10)는 시스템 메모리 및 시스템 메모리를 포함하는 여러 시스템 컴포넌트를 처리 유닛에 연결하는 시스템 버스를 추가로 포함할 수 있다. 시스템 버스는 다양한 버스 아키텍쳐 중 임의의 것을 사용하는 메모리 버스 또는 메모리 커트롤러, 주변 버스, 및 로컬 버스를 포함하는 몇 가지 유형의 버스 구조 중 임의의 것이 될 수 있다. 시스템 메모리는 ROM, RAM, 및 플래시 메모리와 같은, 휘발성 및/또는 비휘발성 메모리의 형태로 컴퓨터 저장 매체를 포함할 수 있다. 특수-목적 소프트웨어, 추적 이력 리스트 및 실행시 필요한 임의의 다른 데이터는 시스템 메모리에 저장될 수 있거나, 자기 매체, 광학 매체, 플래시 메모리 카드, 디지털 테이프, 고체 상태 RAM, 고체상태 ROM 등과 같은 컴퓨팅 장치에 포함되거나 접속될 수 있는 다른 분리형/비분리형 휘발성/비휘발성 컴퓨터 저장 매체 상에 저장될 수 있다. 데이터 처리 장치(10)는, A/D 컨버터와 같은 하나 또는 그 이상의 데이터 수집 장치와 함께, 직렬 인터페이스, 병렬 인터페이스, USB 인터페이스, 무선 인터페이스, 네트워크 어댑터 등과 같은 하나 또는 그 이상의 통신 인터페이스를 포함할 수 있다. 특수-목적 소프트웨어는 기록 매체를 포함하는 임의의 적절한 컴퓨터 판독 가능 매체와 판독 전용 메모리 상에서 장치(10)에 제공될 수 있다.

본 발명은 주로 몇몇 실시예들을 참조하여 위에서 설명되었다. 그러나, 당업자에게 용이하게 이해되듯이, 위에 개시된 것과 다른 실시예들이 본 발명의 범위와 사상 내에서 동일하게 가능하다. 수반된 청구범위에 의해서만 정의되고 제한된다.

예를 들어, 추적 문제의 영향을 추가로 억제하도록 예측 및 반응성 접근법의 조합을 사용하여 추적 프로세스를 구현하는 것이 고려 가능하다.

또한, 입력값s_t의 포맷은, 재구성된 패턴의 바람직하거나 필요한 정확성 및 재구성 함수

에 좌우된다(에 의해 주어지거나). 대안적인 구현예에서, 포맷은 에를 들어, 전송(예를 들어, 기준 값에 의해 표준화된 투영값으로 주어짐), 에너지 차이(예를 들어 투영 값과 기준 값사이의 차이에 의해 주어짐), 또는 에너지 차이의 로그로 주어진다. 위에서 사용된 바와 같이, "로그"는 또한 임의의 베이스에서, 진정한 로그 함수를 근사하는 함수를 포함하는 것도 의도된다. 또한, 입력 값은 임의의 기호를 가질 수 있는데, 즉 음의 값으로 곱해지거나 곱해지지 않을 수 있다. 재구성 함수에 따라, 투영 값을 입력 값으로 사용하는 것 조차 가능할 수 있다. 유사 변형이 미분 패턴의 생성에 관하여 이루어질 수 있다. 따라서, 보다 일반적인 레벨에서, 전술된 전체, 오프셋 및 미분 패턴은 하나 또는 그 이상의 터치 객체에 의해 야기된 전파하는 광과의 국지적 상호작용에서 변화의 분포를 포함하는 "상호작용 패턴"으로 간주될 수 있다.

Claims (30)

1. 터치-감지 기기(100)의 터치 표면(4) 상에서 하나 또는 그 이상의 객체(7)의 이동을 추적하는 방법에 있어서,
   상기 터치-감지 기기(100)는 광투과성 패널(1) 내부로부터 상기 터치 표면(4)을 조명하도록, 상기 광투과성 패널(1) 안에서 복수의 인커플링 포인트로부터 복수의 아웃커플링 포인트로 내부 반사에 의해 광을 전파하는 동작이 가능하고, 적어도 하나의 광 검출기(3)가 상기 아웃커플링 포인트에 광학적으로 결합되어 상기 아웃커플링 포인트에서 수신된 광을 나타내는 출력 신호를 생성하고, 상기 방법은 시계열적 반복으로 동작하는 데, 각 반복은:
   상기 터치 표면(4) 상의 상호작용에서의 국지적 변화를 나타내는 상호작용 패턴을 생성하도록 상기 출력 신호를 처리하는 단계(50-52);
   명백한 피크의 식별을 위해 상기 상호작용 패턴을 처리하는 단계(53); 및
   이전 반복에서 상기 터치 표면(4) 상에 존재하는 것으로 간주된 객체(7)의 기존 이동 궤적을 상기 명백한 피크에 기초하여 업데이트하는 단계(54)를 포함하고,
   상기 방법은 상기 시계열적 반복에서 적어도 단속적으로 실행되는 에러 억제 프로세스를 추가로 포함하고,
   상기 에러 억제 프로세스는,
   잠재적 추적 문제를 가진 관련된 궤적을 식별하도록 상기 명백한 피크 및/또는 상기 기존 이동 궤적을 처리하는 단계(56; 56A);
   각 관련된 궤적에 대하여 적어도 2개의 이동 제안을 정의하는 단계(56; 56A); 및
   하나 또는 그 이상의 후속 반복에서 상기 적어도 2개의 이동 제안의 평가를 발생시키는 단계(56; 56B)를 포함하는 방법.
2. 제1항에 있어서,
   상기 평가는 각각의 관련된 궤적에 대하여 상기 적어도 2개의 이동 제안 중 하나를 선택하는 방법.
3. 제2항에 있어서,
   상기 기존 이동 궤적을 업데이트하는 상기 단계(54)는 상기 선택에 기초하여 각각의 관련된 궤적을 업데이트하는 단계를 포함하는 방법.
4. 제1항 내지 제3항 중 어느 한 항에 있어서,
   상기 관련된 궤적은 잠재적 거짓 피크를 식별하도록 상기 명백한 피크를 처리하고, 상기 기존 이동 궤적에 상기 잠재적인 거짓 피크를 맵핑하여 식별되는 방법.
5. 제1항 내지 제4항 중 어느 한 항에 있어서,
   상기 적어도 2개의 이동 제안은 상기 관련된 궤적에 상응하는 상기 객체(7)가 정지하는 제1 제안, 및 상기 관련된 궤적에 상응하는 상기 객체(7)가 이동하는 제2 제안을 포함하는 방법.
6. 제1항 내지 제5항 중 어느 한 항에 있어서,
   상기 적어도 2개의 이동 제안은 상기 관련된 궤적에 상응하는 상기 객체(7)가 상기 터치 표면으로부터 제거되는 제1 제안, 및 상기 관련된 궤적에 상응하는 상기 객체(7)가 이동하는 제2 제안을 포함하는 방법.
7. 제5항 또는 제6항에 있어서,
   상기 제2 이동 제안은 상기 객체(7)가 제1 평가 주기 동안 예측된 궤적을 따라 이동을 계속하도록 지시하는 방법.
8. 제7항에 있어서,
   상기 적어도 2개의 이동 제안을 정의하는 단계(56; 56A)는:
   상기 관련된 궤적의 함수로 상기 예측된 궤적을 생성하는 단계를 포함하는 방법.
9. 제7항 또는 제8항에 있어서,
   상기 평가는 상기 제1 평가 주기에 식별된 상기 명백한 피크의 적어도 일부를 상기 예측된 궤적에 매칭하는 단계를 포함하는 방법.
10. 제7항 내지 제9항 중 어느 한 항에 있어서,
    상기 업데이트하는 단계(54)는 상기 기존 이동 궤적에 상기 명백한 피크의 적어도 일부를 매칭하는 단계를 포함하고;
    상기 에러 억제 프로세스는:
    제2 평가 주기 동안 상기 관련된 궤적으로 상기 적어도 일부의 상기 명백한 피크의 상기 매칭을 방지하는 단계를 추가로 포함하는 방법.
11. 제10항에 있어서,
    상기 에러 억제 프로세스는:
    상기 제2 평가 주기 동안 상기 상호작용 패턴에서 상기 관련된 궤적 주위에 불확실 영역(b1)을 정의하는 단계, 및
    상기 제2 평가 주기 동안 불확실 영역(b1)에 위치하는 상기 명백한 피크 상에서 상기 업데이트하는 단계(54)를 동작하는 것을 방지하는 단계를 포함하는 방법.
12. 제5항 또는 제6항에 있어서,
    상기 업데이트 단계(54)는 기존의 이동 궤적에 대하여 새로운 이동 궤적을 발견하고 부가하는 단계를 포함하며, 이때 상기 평가는 상기 새로운 이동 궤적의 후보자를 관련 궤적에 매칭시키는 단계를 포함하는 방법.
13. 제12항에 있어서,
    상기 매칭은 다음과 같은 것들: 상기 후보자의 근원의 추측된 방향 및 관련 궤도와 상기 후보자의 현재 위치 간의 거리 중에 하나 이상의 함수인 방법.
14. 제12항 또는 제13항에 있어서,
    새로운 이동 궤적이 불확실 영역(b1) 내에서 발견되는 것을 방지하기 위하여, 상기 에러 억제 프로세스는:
    상기 제2 평가 주기 동안 상기 상호작용 패턴에서 상기 관련된 궤적 주위에 불확실 영역(b1)을 정의하는 단계를 더 포함하는 방법.
15. 제1항 내지 제14항 중 어느 한 항에 있어서,
    상기 잠재적 추적 문제는 터치 표면에서의 하나 이상의 빛 산란에 의해서 야기되고, 터치 표면상의 오염에 의해서 변경되는 방법.
16. 제1항 내지 제15항 중 어느 한 항에 있어서,
    상기 잠재적 추적 문제는 평백한 피크의 영역을 평가하는 하나 이상의 영역 휴리스틱, 기존 이동 궤적의 속도를 평가하는 속도 휴리스틱, 기존 이동 궤적의 가속을 평가하는 가속 휴리스틱, 산란 검출 휴리스틱 및 오염 검출 휴리스틱을 적용함으로써 동일시되는 방법.
17. 제16항에 있어서,
    상기 명백한 피크는 양의 및 음의 명백한 피크를 포함하며, 각각의 양의 명백한 피크는 상호작용 패턴에서 국지적으로 증가하는 상호작용을 나타내고, 각각의 음의 명백한 피크는 상호작용 패턴에서 국지적으로 감소하는 상호작용을 나타내며; 산란 검출 휴리스틱은 양의 명백한 피크가 하나 이상의 음의 명백한 피크와 관련되는 것으로 간주될 때에 잠재적 추적 문제를 발견하는 방법.
18. 제17항에 있어서,
    상기 산란 검출 휴리스틱은 하나 이상의 음의 명백한 피크가 기존의 이동 궤적 외부에 위치될 것을 더 요구하는 방법.
19. 제17항 또는 제18항에 있어서,
    상기 양의 명백한 피크는 이 양의 명백한 피크가 상기 하나 이상의 음의 명백한 피크에 대하여 주어진 공간적 관계를 가질 때 상기 하나 이상의 음의 명백한 피크와 관련되는 것으로 간주되는 방법.
20. 제19항에 있어서,
    상기 주어진 공간적 관계는 양의 명백한 피크와 음의 명백한 피크 간의 최대 거리를 규정하는 방법.
21. 제16항에 있어서,
    상기 명백한 피크는 상호작용 패턴에서 국지적으로 증가하는 상호작용을 나타내는 양의 명백한 피크를 포함하며; 상기 오염 검출 휴리스틱은 양의 명백한 피크가 기존의 하나의 이동 궤적을 따라 위치될 것으로 간주될 때에 잠재적 추적 문제를 발견하는 방법.
22. 제21항에 있어서,
    한 세트의 매칭된 명백한 피크 및 한 세트의 매칭되지 않은 명백한 피크를 확인하기 위하여, 적어도 상기 양의 명백한 피크 부분을 기존의 이동 궤적에 매칭시키는 단계를 더 포함하며; 상기 오염 검출 휴리스틱은 상기 양의 명백한 피크가 상기 매칭되지 않은 명백한 피크 세트에 포함될 것을 더 요구하는 방법.
23. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 잠재적 추적 문제는 기존의 이동 궤적이 터치 표면(4) 상에서 고정적이고, 현재 최소값을 보여주는 동안 제1 임계값을 초과하는 상호작용 강도를 가질 때 확인되는 방법.
24. 제23항에 있어서,
    상기 2개 이상의 이동 위치는 관련 궤적에 상응하는 객체(7)가 고정적이고 평가 주기 안에서 터치 표면(4)과 접촉 상태를 유지하는 제1 위치, 및 관련 궤적에 상응하는 객체(7)가 터치 표면(4)으로부터 간헐적으로 이동된 후에 평가 주기 안에서 터치 표면(4)과 역으로 접촉하는 제2 위치를 포함하는 방법.
25. 제24항에 있어서,
    상기 평가 단계는 평가 주기 안에서 제2 임계값과 관련된 상호작용 강도를 모니터링하는 단계를 포함하는 방법.
26. 제6항에 있어서,
    상기 잠재 추적 문제는 복수의 양의 피크가 상기 상호작용 패턴 내의 링-형상을 형성하는 것으로 간주될 때 식별되는 방법.
27. 제1항 내지 제26항 중 어느 한 항에 있어서,
    상기 적어도 2개의 이동 제안은 정의 단계(56; 56A) 단계에서 상기 잠재적 추적 문제의 분류 및/또는 이전 반복 동안 상기 관련된 궤적의 이동 특성에 기초하여 정의될 수 있는 방법.
28. 데이터-처리 시스템 상에서 실행될 때, 제1항 내지 제27항 중 어느 한 항의 방법을 수행하도록 적용되는 컴퓨터 코드를 포함하는 컴퓨터 프로그램 제품.
29. 터치-감지 기기(100)의 터치 표면 상에서 하나 또는 그 이상의 객체의 이동을 추적하는 장치에 있어서,
    상기 터치-감지 기기(100)는 광투과성 패널(1) 내부로부터 상기 터치 표면(4)을 조명하도록, 상기 광투과성 패널(1) 안에서 복수의 인커플링 포인트로부터 복수의 아웃커플링 포인트로 내부 반사에 의해 광을 전파하는 동작이 가능하고, 광 감지 수단(3)이 상기 아웃커플링 포인트에 광학적으로 결합되어 상기 아웃커플링 포인트에서 수신된 광을 나타내는 출력 신호를 생성하고, 상기 장치는:
    상기 출력 신호에 대한 입력(102A); 및
    시계열적 반복으로 동작하도록 설정되는 신호 처리기(14)를 포함하고,
    각 반복은,
    상기 터치 표면(4) 상의 상호작용에서의 국지적 변화를 나타내는 상호작용 패턴을 생성하도록 상기 출력 신호를 처리하는 단계(50-52);
    명백한 피크의 식별을 위해 상기 상호작용 패턴을 처리하는 단계(53); 및
    이전 반복에서 상기 터치 표면(4) 상에 존재하는 것으로 간주된 객체(7)의 기존 이동 궤적을 상기 명백한 피크에 기초하여 업데이트하는 단계(54)를 포함하고,
    상기 장치는,
    잠재적 추적 문제를 가진 관련된 궤적을 식별하도록 상기 명백한 피크 및/또는 상기 기존 이동 궤적을 처리하는 단계(56; 56A);
    각 관련된 궤적에 대하여 적어도 2개의 이동 제안을 정의하는 단계(56; 56A); 및
    하나 또는 그 이상의 후속 반복에서 상기 적어도 2개의 이동 제안의 평가를 발생시키는 단계(56; 56B)에 의한 시계열적 반복으로 적어도 단속적으로 동작하도록 설정되는 에러 억제 모듈(204)을 추가로 포함하는 장치.
30. 터치-감지 기기에 있어서,
    터치 표면(4)을 광 투과성 패널(1) 내부로부터 비추기 위하여 복수의 인커플링 포인트로부터 복수의 아웃커플링 포인트로의 내부 반사에 의해 광을 전파하도록 구성된 광 투과성 패널(1);
    광을 인커플링 포인트에 제공하기 위한 수단(2, 12);
    아웃커플링 포인트에서 수신된 광을 나타내는 출력 신호를 발생하기 위한 수단(3); 및
    제 29항에 따라 하나 이상의 객체(7)의 이동을 추적하기 위한 장치(10)를 구비하는 터치-감지 기기.

Images