KR20090106077A - 스테레오 비젼을 이용한 터치펜 시스템 - Google Patents

스테레오 비젼을 이용한 터치펜 시스템 Download PDF

Info

Publication number
KR20090106077A
KR20090106077A KR1020080031574A KR20080031574A KR20090106077A KR 20090106077 A KR20090106077 A KR 20090106077A KR 1020080031574 A KR1020080031574 A KR 1020080031574A KR 20080031574 A KR20080031574 A KR 20080031574A KR 20090106077 A KR20090106077 A KR 20090106077A
Authority
KR
South Korea
Prior art keywords
image
electronic pen
light emitting
unit
stereo matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020080031574A
Other languages
English (en)
Other versions
KR100941448B1 (ko
Inventor
최병윤
Original Assignee
(주)미래디피
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)미래디피 filed Critical (주)미래디피
Priority to KR1020080031574A priority Critical patent/KR100941448B1/ko
Publication of KR20090106077A publication Critical patent/KR20090106077A/ko
Application granted granted Critical
Publication of KR100941448B1 publication Critical patent/KR100941448B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of two-dimensional [2D] relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03542—Light pens for emitting or receiving light

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)

Abstract

본 발명은 스테레오 비젼을 이용한 터치펜 시스템에 관한 것으로, 디스플레이 장치의 종류 및 크기와 무관하게 사용가능한 스테레오 비젼을 이용한 터치펜 시스템을 제공한다. 이를 위한 본 발명은 적어도 세개의 발광부를 구비한 전자펜과; 상기 전자펜의 발광부의 움직임을 촬영하는 한쌍의 좌우측 카메라와; 상기 촬영된 영상으로부터 상기 전자펜의 발광부에 해당하는 부분을 추출하는 영상 전처리부와; 상기 전처리된 한쌍의 영상을 이용하여 스테레오 매칭을 수행하는 스테레오 정합부와; 상기 매칭된 영상으로부터 전자펜의 위치를 산출하여 상기 전자펜의 이동궤적에 대응하는 영상을 생성하는 영상처리부와; 상기 처리된 영상을 표시하는 표시부;를 포함하는 것을 특징으로 한다. 상기와 같은 구성에 의해 본 발명은 디스플레이 장치 변경시 전자칠판의 기능에 대하여 부수적으로 소요되는 작업 및 비용을 경감시킬 수 있는 동시에 사용자의 손이 닿지 않는 곳에 카메라를 배치할 수가 있으므로, 고장의 위험이 거의 없으며, 전자펜 발광부의 움직임만을 추적하기 때문에 손목이나 팔에 의한 오동작이 발생하지 않는 효과가 있다.
스테레오 비젼, 터치펜, 특징기반 매칭, 영역기반 매칭

Description

스테레오 비젼을 이용한 터치펜 시스템{Touch pen system using stereo vision}
본 발명은 스테레오 비젼을 이용한 터치펜 시스템에 관한 것으로, 특히, 전자칠판의 평면적 특성과 스테레오 비젼을 이용하여 디스플레이 장치의 종류와 크기에 무관하게 사용가능하며, 디스플레이 장치의 변경시 전자칠판에 대한 소요비용이 감소되는 스테레오 비젼을 이용한 터치펜 시스템에 관한 것이다.
일반적으로 전자칠판은 최근 발전하고 있는 IT 기술을 활용하여 화이트 보드나 흑판이라고 일컬어지는 재래식 칠판을 대체하는 수단을 의미하며, 회의, 교육, 연수, 프리젠테이션 등 교육현장에서 가장 친숙한 인터랙티브 툴을 제공할 수 있도록 제작된 것이다.
이와 같은 전자칠판은 구체적인 구현 수단에 따라 크게 압력방식, 적외선 방식, 카메라 센싱 방식으로 구분된다.
먼저, 압력방식은 비용적인 측면에서나 시설적인 측면 모두에서 절충점이 있는 제품으로서 현재 가장 많이 사용되는 방식으로서, 보드 앞쪽에서 프로젝터를 통해 투영된 화면을 보면서 교육활동이 이루어지고, 터치보드에 가해진 압력을 이용 하여 좌표를 측정하고 이를 다시 프로젝터로 표시하는 방식이다.
그러나, 이러한 압력 방식은 프로젝터가 지닌 장점과 단점이 모두 존재해 사용자가 주의할 부분이 약간 많은 편이다. 예를 들면, 패널에서 사용자의 움직임을 체크해 명령을 내리기 때문에 프로젝터와 패널의 규격 일치가 필수적이다. 또한, 프로젝터가 너무 멀리 있거나, 패널이 프로젝터와 맞지 않는 규격이라면 오작동이 있을 수 있어 비전문가가 설치하기 곤란한 문제점이 있다.
적외선 방식은 화면의 테두리에 발광소자와 수광소자가 서로 대향하도록 설치되고, 사용자가 펜 등에 의해 광을 차단하면 차단된 부분의 출력 변화된 X-Y좌표 위치를 얻어서 입력좌표를 판단하며, 이를 통해 펜 등의 위치를 검출하는 방식이다.
그러나, 적외선 방식은 해상도를 높이기 위해서 수광소자 및 발광 소자의 수를 증가시켜야 하며 자연광에 의한 오동작 확률이 높은 문제점이 있다.
카메라 센싱 방식은 스테레오 비젼의 원리를 이용한 방식으로, 화면 모서리에 설치된 카메라가 화면에 접촉되는 부위를 이미지 센싱 하고 좌표값을 연산하여 화면에 다시 출력한다.
그러나, 카메라 센싱 방식은 카메라가 손에 닿기 쉬운 곳에 위치하고 있기 때문에 고장의 위험성이 높고, 손목이나 발꿈치 등의 원하지 않는 움직임에도 반응할 수 있어 펜을 이용한 판서 내용을 정확하게 표현하기 곤란한 문제점이 있다.
한편, 스테레오 비젼은 두 대의 카메라에서 입력되는 두 영상으로부터 입체 영상 정보를 추출하는 방법으로서, 기본적인 원리는 사람의 두 눈이 특정 사물 또 는 영상 패턴까지의 거리정보를 얻는 방법과 동일하게, 한쪽 영상 내의 특정 위치에 있는 패턴이 다른 쪽 영상에서는 어느 위치에 있는지를 찾아내어 두 위치의 차이, 즉, 양안차를 추출함으로써 카메라에서 그 패턴의 실제 위치까지의 거리 값을 직접 계산하는 방식이다.
이러한 스테레오 비젼 방법은 환경에 대한 영향을 덜 받으며 많은 정보를 획득할 수 있고, 소프트웨어적인 수정을 통해 적용대상이나 내용을 쉽게 변경할 수 있는 장점이 있어 비교적 단순한 작업 대상의 제한된 3차원 공간상의 환경정보 획득에 가장 일반적으로 사용되는 방법이다.
그러나, 스테레오 비젼 방법은 두 개의 카메라로부터 입력되는 영상정보가 많아 처리에 많은 시간이 소요되고, 연속적인 환경정보를 이산적인 값으로 표현함으로써 발생하는 양자화 오차, 즉, 영상의 해상도 문제, 매칭 알고리즘의 복잡성, 조명이나 물체와 카메라와의 상대적인 변화에 따른 매칭의 오류 등 많은 문제점이 있다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 제안된 것으로, 디스플레이 장치의 종류 및 크기와 무관하게 사용가능한 스테레오 비젼을 이용한 터치펜 시스템을 제공하는 것을 목적으로 한다.
상기와 같은 목적을 달성하기 위한 본 발명은 적어도 세개의 발광부를 구비 한 전자펜과; 상기 전자펜의 발광부의 움직임을 촬영하는 한쌍의 좌우측 카메라와; 상기 촬영된 영상으로부터 상기 전자펜의 발광부에 해당하는 부분을 추출하는 영상 전처리부와; 상기 전처리된 한쌍의 영상을 이용하여 스테레오 매칭을 수행하는 스테레오 정합부와; 상기 매칭된 영상으로부터 전자펜의 위치를 산출하여 상기 전자펜의 이동궤적에 대응하는 영상을 생성하는 영상처리부와; 상기 처리된 영상을 표시하는 표시부;를 포함하는 것을 특징으로 한다.
바람직하게는 상기 영상처리부는 상기 전자펜이 쓰기 상태로 설정된 경우 상기 전자펜의 이동 궤적에 대응하는 부분이 형성된 영상을 생성할 수 있다.
바람직하게는 상기 영상처리부는 상기 전자펜이 삭제 상태로 설정된 경우 상기 전자펜의 이동궤적에 대응하는 부분이 삭제된 영상을 생성할 수 있다.
바람직하게는 상기 영상처리부는 상기 표시부가 다른 영상을 표시하고 있는 경우 상기 표시중인 영상과 상기 생성된 영상을 합성처리할 수 있다.
바람직하게는 상기 스테레오 정합부는 상기 스테레오 매칭 결과 상기 전자펜이 상기 카메라로부터 일정한 거리에 위치되지 않으면 적합하지 않은 영상으로 판단하여 정합된 영상을 상기 영상처리부로 출력하지 않을 수 있다.
바람직하게는 상기 스테레오 정합부는 특징기반 매칭법 및 영역기반 매칭법 중 어느 하나에 의해 스테레오 매칭을 수행할 수 있다.
바람직하게는 상기 발광부는 LED 일 수 있다.
바람직하게는 상기 영상처리부는 상기 표시부에 의해 투영되는 표시영역 내에서 상기 전자펜의 위치에 대한 캘리브레이션(calibration)을 수행할 수 있다.
본 발명에 따른 스테레오 비젼을 이용한 터치펜 시스템은 평면적으로 사용되는 표시부상에서의 전자펜의 움직임을 감지함에 있어서, 전자펜의 일정부분에 발광부를 구비하고 이를 카메라로 촬영하며 스테레오 비젼 정합처리를 수행하여 전자펜의 이동궤적에 대응하는 영상을 생성하여 출력함으로써, 디스플레이 장치의 종류와 크기에 전혀 구해 받지 않고 다양한 디스플레이 장치에 적용이 가능하며, 디스플레이 장치 변경시 전자칠판의 기능에 대하여 부수적으로 소요되는 작업 및 비용을 경감시킬 수 있는 효과가 있다.
또한, 본 발명은 사용자의 손이 닿지 않는 곳에 카메라를 배치할 수가 있으므로, 고장의 위험이 거의 없으며, 전자펜 발광부의 움직임만을 추적하기 때문에 손목이나 팔에 의한 오동작이 발생하지 않는 효과가 있다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 스테레오 비젼을 이용한 터치펜 시스템의 개념적 구성도이고, 도 2는 본 발명의 실시예에 따른 스테레오 비젼을 이용한 터치펜 시스템의 구성도이다.
터치펜 시스템(10)은 적어도 세개의 발광부(110)를 구비한 전자펜(100)과, 전자펜(100)의 발광부(110)의 움직임을 촬영하는 한쌍의 좌우측 카메라(210,212)와, 촬영된 영상으로부터 스테레오 매칭을 수행하여 전자펜(100)에 의한 영상을 생 성하는 제어부(220)와, 처리된 영상을 표시하는 표시부(230)로 구성된다.
전자펜(100)은 발광부(110)가 표시부(230)에 접촉되는 부분의 반대편에 구비되며, 발광부(110)는 LED로 구성하는 것이 바람직하다.
발광부(110)는 카메라(210,212)에 획득된 영상으로부터 그 움직임을 용이하게 추출하기 위하여 특정 색 또는 밝기를 갖도록 구성하거나, 특정 패턴의 모양을 갖도록 형성될 수 있다.
여기서, 후술하는 바와 같이 카메라(210,212)로부터 촬영된 영상을 전처리 하는 경우 전자펜(100)의 발광부(110)의 움직임만을 추출하기 때문에 종래의 카메라 방식에서와 같이, 손목이나 팔에 의한 오동작을 방지할 수 있다.
카메라(210,212)는 어느 위치든지 전자펜(100)의 발광부(110)를 촬영할 수 있는 위치에 설치된다. 특히, 카메라(210,212)는 고장의 위험성을 배제하기 위하여 사용자의 손이 미치지 않는 곳에 배치하는 것이 바람직하다.
도 1에 도시된 바와 같이, 제어부(220)는 개인용 컴퓨터 등의 영상처리가 가능한 소프트웨어 또는 특별한 목적을 갖는 하드웨어로 구현할 수 있다.
제어부(220)는 구체적인 기능별 블록으로, 도 2에 도시된 바와 같이, 카메라(210,212)에 의해 촬영된 영상으로부터 전자펜(100)의 발광부(110)에 해당하는 부분을 추출하는 영상전처리부(222)와, 전처리된 한쌍의 영상을 이용하여 스테레오 매칭을 수행하는 스테레오 정합부(224)와, 매칭된 영상으로부터 전자펜(100)의 위치를 산출하여 전자펜(100)의 이동궤적에 대응하는 영상을 생성하는 영상처리부(226)로 구성된다.
영상전처리부(222)는 카메라(210,212)로부터 획득된 영상으로부터 영상처리 기법을 이용하여 움직임의 관찰 대상인 전자펜(100)의 발광부(110)만을 추출한다.
예를 들면, 영상전처리부(222)는 카메라(210,212)에 의해 획득된 영상으로부터 발광부(110)의 밝기 및 색에 대응하는 부분을 추출하거나, 에지(edge) 검출법에 의해 영상에서 발광부(110)의 특정 패턴만을 추출한다.
스테레오 정합부(224)는 영상전처리부(222)의 출력 영상을 하나의 영상으로 정합하는데, 이러한 스테레오 매칭은 특징기반 매칭법 및 영역기반 매칭법 중 어느 하나에 의해 수행된다.
여기서, 특징 기반 매칭법은 일반적으로 영상의 밝기 대신 좌우영상의 특징들을 찾고 물리적인 현상을 기초로 몇 가지 제한 조건을 적용하여 가능한 점들 중에서 조건을 만족하는 것을 매칭하는 방법이다.
이러한 특징들은 보통 경계선, 끝 점(Corner Point) 등이 있으며, 영상 자체의 밝기보다는 물리적인 변화에 대한 밝기이므로 특징 기반 매칭법은 광학적인 변화에 강한 특성이 가지고, 일치점이 영역기반 매칭법보다 적어 속도가 빠르며, 반복적인 패턴(Pattern)에도 적용가능하고, 3차원 형상의 기하학적인 왜곡에 상대적으로 강한 장점이 있다.
이러한 특징 기반 매칭법은 3차원 형상의 모든 점이 아닌 제한된 특징들에 대하여 매칭을 수행하므로 상세한(detail) 정보가 필요할 때는 다른 방법을 이용해야 하며, 임의의 형상에 대한 매칭이 불가능하고, 직선과 같은 특징들을 갖는 경우에는 빠른시간에 매칭을 수행할 수 있지만 직선의 길이나 중심점의 위치에 오차가 많이 발생하거나 비슷한 특성을 가진 특징들이 있는 경우 오류가 발생하는 단점이 있다.
영역 기반 매칭법은 상술한 특징 기반 매칭법과는 달리 왼쪽 영상과 오른쪽 영상의 영역 간 유사성에 근거하여 일치점을 찾는 방법으로서, 기준 영상 즉 왼쪽 영상에서 매칭하려는 점을 포함하는 일정한 넓이의 샘플 윈도우(Sample Window)를 설정하고, 오른쪽 영상에서 타겟 윈도우(Target Window)를 이동하면서 상관관계(Correlation) 값이 최대가 되는 점을 매칭하는 방법이다.
여기서 윈도우 크기 설정은 매칭 속도 및 정확성과 많은 관련이 있으므로 적용대상에 따라 적당한 크기를 설정해야 하는데, 상관관계 함수는 일반적으로 SSD(Sum of Squared Difference) 또는 SAD(Sum of Absolute Difference)를 사용한다.
이러한 영역 기반 매칭법은 명암의 변화가 뚜렷하고 3차원 형상의 이종성(Disparity) 함수가 연속적으로 완만하게 변할 경우에 좋은 특성을 나타내며 비교적 단순한 방법이고, 매칭의 밀도를 임의로 조절할 수 있는 장점이 있지만, 3차원 형상이 불연속적이고 급하게 변하는 경우 스파이크(Spike) 형태의 잡음이 발생하고 반복적인 패턴이 많을 경우 매칭에 많은 오류가 발생하며, 계산 시간이 많이 소요되는 단점이 있다.
이와 같은 스테레오 매칭법은 터치펜 시스템(10)의 사용환경에 따라 임의로 설정하거나, 전자펜(100)의 사용패턴에 따라 자동으로 변경되도록 설정할 수 있다.
또한, 스테레오 정합부(224)는 전자펜(100)의 위치에 따라 사용자가 판서중 인지를 판단하여 판서중이 아닌 경우에는 이후의 영상처리를 수행하지 않도록 정합된 영상을 출력하지 않고 무시한다.
구체적으로는, 스테레오 정합부(224)는 좌우 카메라(210,212)로부터 획득된 영상에서 어느 한 위치에 대한 차이(disparity)와 함께 깊이 해상도, 즉, 전자펜(100)과 카메라(210,212) 사이의 거리를 산출하는데, 도 1에 도시된 바와 같이, 표시영역(300)이 결정되고 특정 위치에 카메라(210)가 설치되면, 정상적인 판서의 경우 상기 깊이 해상도는 일정범위의 값을 갖는다.
따라서, 상기와 같은 스테레오 매칭 결과 전자펜(100)이 카메라(210,212)로부터 일정한 거리에 위치되지 않으면, 예를 들면, 전자펜(100)이 표시영역(300)에 위치하지 않거나, 표시영역(300)에 접촉되지 않은 경우에는, 판서중이 아니므로 적합하지 않은 영상으로 판단하여 정합된 영상을 영상처리부(226)로 출력하지 않는다.
영상처리부(226)는 전자펜(100)의 이동궤적에 대응하는 영상을 생성하는데, 전자펜(100)의 설정상태, 즉, 쓰기 상태인지 삭제상태인지에 따라 해당 부분이 생성되거나 삭제된 영상을 생성한다.
구체적으로는, 영상처리부(226)는 전자펜(100)이 쓰기 상태로 설정된 경우, 전자펜(100)의 이동 궤적에 대응하는 부분이 형성된 영상, 즉, 판서 내용에 대응하는 영상을 생성한다.
또한, 영상처리부(226)는 전자펜(100)이 삭제 상태로 설정된 경우, 전자펜(100)의 이동궤적에 대응하는 부분이 삭제된 영상, 즉, 판서 내용중 일부가 삭제 된 영상을 생성한다.
이와 같이 전자펜(100)에 의한 영상 생성시, 영상처리부(226)는 전자펜(100)의 위치 데이터를 프레임마다 누적하고, 프레임간 보간법에 의해 전자펜(100)의 이동궤적에 따른 영상을 생성한다.
여기서, 영상처리부(226)는 표시부(230)가 다른 영상을 표시하고 있는 경우, 즉, 표시부(230)에 출력되는 영상 위에 판서를 하는 경우, 표시중인 영상과 상기 생성된 영상을 합성처리하여 표시부(230)로 출력한다.
한편, 본 발명의 실시예에 따른 스테레오 비젼을 이용한 터치펜 시스템은 전자펜(100)을 이용한 판서 전에 전자펜(100)의 움직임 추출이 용이하게 되도록 캘리브레이션을 수행한다.
즉, 상술한 바와 같이 스테레오 정합부(224)에서 좌우 영상의 스테레오 정합시 산출되는 깊이 해상도는 정상적인 경우 일정한 값을 가져야 하는데, 전자펜(100)에 의한 정상적인 판서시에 대응하는 값을 산출하기 위하여 사전에 캘리브레이션을 수행한다.
이를 위해 영상처리부(226)는 표시부(230)에 의해 투영되는 표시영역(300) 내에서 전자펜(100)의 위치에 대한 캘리브레이션을 수행한다.
표시부(230)는 영상처리부(226)에서 처리된 영상을 출력하는데, 도 1에 도시된 바와 같이, 본 실시예에서는 프로젝터로 구성되지만, 디스플레이 장치의 종류와 크기에 무관하게 사용가능하기 때문에 프로젝터 이외의 일반적인 디스플레이 장치로 구성될 수 있다.
이와 같은 구성에 의해 본 발명의 실시예에 따른 터치펜 시스템(10)은 디스플레이 장치 변경시 전자칠판의 기능에 대하여 부수적으로 소요되는 작업 및 비용을 경감시킬 수 있다.
이와 같이 구성된 본 발명의 실시예에 따른 스테레오 비젼을 이용한 터치펜 시스템의 동작을 도 3을 참조하여 설명한다.
도 3은 본 발명의 실시예에 따른 스테레오 비젼을 이용한 터치펜 시스템의 동작방법을 나타낸 순서도이다.
먼저, 전자펜(100)과 표시부(230)의 위치에 대한 캘리브레이션을 수행한다(단계 S301). 보다 구체적으로는 상술한 바와 같이 영상에 대한 스테레오 정합처리시 산출되는 깊이 해상도가 전자펜(100)을 이용한 정상적인 판서중에 일정범위로 되도록 제어부(220)가 캘리브레이션을 수행한다.
다음으로, 전자펜(100)을 이용하여 사용자가 표시영역(300)에 판서를 하면, 좌우 카메라(210,212)가 전자펜(100)의 움직임 영상을 획득한다(단계 S302).
이때, 영상전처리부(222)는 좌우 카메라(210,212)로부터 촬영된 영상에서 전자펜(100)의 발광부(110)의 영상만을 추출한다. 예를 들면, 영상전처리부(222)는 발광부(110)의 밝기 및 색깔 또는 모양 등을 영상처리 기법을 이용하여 추출한다.
촬영된 좌우 영상으로부터 전자펜(100)의 움직임 영상만을 각각 추출하면, 좌우 영상을 하나의 영상으로 스테레오 정합처리를 수행한다(단계 S303).
즉, 스테레오 정합부(224)는 전자펜(100)의 움직임을 추출한 좌우 영상을 특징기반 매칭법 또는 영역기반 매칭법 등의 스테레오 매칭법을 이용하여 영상의 정 합처리를 수행한다.
다음으로, 정합 처리된 영상이 적합한 영상인지를 판단한다(단계 S304).
보다 구체적으로는, 스테레오 정합부(224)가 영상을 스테레오 매칭시에 전자펜(100)과 카메라(210,212) 사이의 거리를 나타내는 깊이 해상도를 산출하게 되는데, 이 값이 단계 S301의 캘리브레이션 값의 범위인지의 여부를 판단하다.
단계 S304의 판단결과, 영상이 적합한 영상이라고 판단한 경우, 즉, 산출된 깊이 해상도가 캘리브레이션 값의 범위에 존재하여 사용자가 정상적으로 판서중이라고 판단한 경우에는, 정합처리된 영상으로부터 전자펜(100)의 위치를 산출한다(단계 S305).
구체적으로는, 영상처리부(226)는 전자펜(100)의 판서 내용을 영상화하기 위하여 표시영역(300) 내에서의 전자펜(100)의 좌표값을 산출한다.
단계 S304의 판단결과, 영상이 적합한 영상이 아니라고 판단한 경우, 즉, 산출된 깊이 해상도가 캘리브레이션 값의 범위를 벗어나 사용자가 정상적으로 판서중이 아니라고 판단한 경우에는, 정합처리된 영상을 무시하여 후속 처리를 수행하지 않고 단계 S302로 복귀하여 카메라(210,212)에 의해 다른 영상을 획득한다.
다음으로, 전자펜(100)의 상태에 따라 영상을 생성하는데, 먼저, 전자펜(100)이 쓰기 상태인가를 판단하여(단계 S306), 쓰기 상태라고 판단한 경우, 즉, 전자펜(100)이 쓰기 상태로 설정된 경우에는 영상처리부(226)는 상기 산출된 위치에 따른 전자펜(100)의 이동궤적에 대응하는 영상을 생성한다(단계 S307).
단계 S306의 판단 결과, 전자펜(100)이 쓰기 상태가 아니라고 판단한 경우, 즉, 전자펜(100)이 삭제 상태로 설정된 경우에는 영상처리부(226)는 상기 산출된 위치에 따른 전자펜(100)의 이동궤적에 대응하는 부분이 삭제된 영상을 생성한다(단계 S308).
이와 같이 영상처리부(226)가 판서 내용에 해당하는 전자펜(100)의 이동궤적에 대응하는 영상을 생성하면, 표시부(230)로 출력하여 표시한다(단계 S309).
여기서, 영상처리부(226)는 전자펜(100)의 위치 데이터를 프레임마다 누적하고, 프레임간 보간법에 의해 전자펜(100)의 이동궤적에 따른 영상을 생성한다.
이때, 사용자가 화면을 이용하여 프리젠테이션중인 경우, 즉, 표시부(230)에 다른 영상이 출력되고 있는 경우에는, 영상처리부(226)는 단계 S307 또는 단계 S308에서 생성된 영상과 현재 표시부(230)를 통하여 출력되고 있는 영상을 혼합처리하여 처리된 영상을 표시부(230)로 출력한다.
즉, 사용자가 임의의 영상을 출력되고 있는 표시영역(300)에 전자펜(100)을 이용하여 판서를 하는 경우, 출력중인 영상 위에 판서 내용이 표시되도록 두 영상을 혼합처리한다.
다음으로, 전자펜(100)의 사용을 종료할지를 판단하여(단계 S310) 종료하는 경우, 즉, 사용자가 전자펜(100)의 사용을 중지한 경우 터치펜 시스템(10)이 종료되고, 종료하지 않는다고 판단한 경우, 즉, 사용자가 전자펜(100)을 이용하여 지속적으로 판서중이면 단계 S302 내지 단계 S309를 지속적으로 반복하여 전자펜(100)을 이용한 판서 내용을 표시영역(300)에 출력한다.
도 1은 본 발명의 실시예에 따른 스테레오 비젼을 이용한 터치펜 시스템의 개념적 구성도.
도 2는 본 발명의 실시예에 따른 스테레오 비젼을 이용한 터치펜 시스템의 구성도.
도 3은 본 발명의 실시예에 따른 스테레오 비젼을 이용한 터치펜 시스템의 동작방법을 나타낸 순서도.
* 도면의 주요 부분에 대한 부호의 설명 *
10 : 터치펜 시스템 100 : 전자펜
110 : 발광부 210 : 카메라
220 : 제어부 222 : 영상전처리부
224 : 스테레오 정합부 226 : 영상처리부
230 : 표시부 300 : 표시영역

Claims (8)

  1. 적어도 세개의 발광부를 구비한 전자펜과;
    상기 전자펜의 발광부의 움직임을 촬영하는 한쌍의 좌우측 카메라와;
    상기 촬영된 영상으로부터 상기 전자펜의 발광부에 해당하는 부분을 추출하는 영상 전처리부와;
    상기 전처리된 한쌍의 영상을 이용하여 스테레오 매칭을 수행하는 스테레오 정합부와;
    상기 매칭된 영상으로부터 전자펜의 위치를 산출하여 상기 전자펜의 이동궤적에 대응하는 영상을 생성하는 영상처리부와;
    상기 처리된 영상을 표시하는 표시부;를 포함하는 것을 특징으로 하는 스테레오 비젼을 이용한 터치펜 시스템.
  2. 제 1 항에 있어서,
    상기 영상처리부는 상기 전자펜이 쓰기 상태로 설정된 경우 상기 전자펜의 이동 궤적에 대응하는 부분이 형성된 영상을 생성하는 것을 특징으로 하는 스테레오 비젼을 이용한 터치펜 시스템.
  3. 제 1 항에 있어서,
    상기 영상처리부는 상기 전자펜이 삭제 상태로 설정된 경우 상기 전자펜의 이동궤적에 대응하는 부분이 삭제된 영상을 생성하는 것을 특징으로 하는 스테레오 비젼을 이용한 터치펜 시스템.
  4. 제 1 항에 있어서,
    상기 영상처리부는 상기 표시부가 다른 영상을 표시하고 있는 경우 상기 표시중인 영상과 상기 생성된 영상을 합성처리 하는 것을 특징으로 하는 스테레오 비젼을 이용한 터치펜 시스템.
  5. 제 1 항에 있어서,
    상기 스테레오 정합부는 상기 스테레오 매칭 결과 상기 전자펜이 상기 카메라로부터 일정한 거리에 위치되지 않으면 적합하지 않은 영상으로 판단하여 정합된 영상을 상기 영상처리부로 출력하지 않는 것을 특징으로 하는 스테레오 비젼을 이용한 터치펜 시스템.
  6. 제 1 항에 있어서,
    상기 스테레오 정합부는 특징기반 매칭법 및 영역기반 매칭법 중 어느 하나에 의해 스테레오 매칭을 수행하는 것을 특징으로 하는 스테레오 비젼을 이용한 터치펜 시스템.
  7. 제 1 항에 있어서,
    상기 발광부는 LED 인 것을 특징으로 하는 스테레오 비젼을 이용한 터치펜 시스템.
  8. 제 1 항에 있어서,
    상기 영상처리부는 상기 표시부에 의해 투영되는 표시영역 내에서 상기 전자펜의 위치에 대한 캘리브레이션(calibration)을 수행하는 것을 특징으로 하는 스테레오 비견을 이용한 터치펜 시스템.
KR1020080031574A 2008-04-04 2008-04-04 스테레오 비젼을 이용한 터치펜 시스템 Active KR100941448B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080031574A KR100941448B1 (ko) 2008-04-04 2008-04-04 스테레오 비젼을 이용한 터치펜 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080031574A KR100941448B1 (ko) 2008-04-04 2008-04-04 스테레오 비젼을 이용한 터치펜 시스템

Publications (2)

Publication Number Publication Date
KR20090106077A true KR20090106077A (ko) 2009-10-08
KR100941448B1 KR100941448B1 (ko) 2010-02-11

Family

ID=41535734

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080031574A Active KR100941448B1 (ko) 2008-04-04 2008-04-04 스테레오 비젼을 이용한 터치펜 시스템

Country Status (1)

Country Link
KR (1) KR100941448B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101373530B1 (ko) * 2011-06-17 2014-03-11 주식회사바이제로 무선통신을 이용한 교육용 프리젠테이션 원격 제어용 태블릿 장치와 시스템
KR101423524B1 (ko) * 2011-12-21 2014-08-01 주식회사 더클락웍스 그림 그리기 사용자 인터페이스 및 그림 공유 시스템과 그 방법
KR20230147932A (ko) * 2022-04-15 2023-10-24 (유)벨류이 영상 촬영을 이용한 판서 시스템 및 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08240407A (ja) * 1995-03-02 1996-09-17 Matsushita Electric Ind Co Ltd 位置検出入力装置
JPH11161415A (ja) 1997-11-28 1999-06-18 Seiko Epson Corp 入力方法および入力装置
KR100446236B1 (ko) * 2001-07-02 2004-08-30 엘지전자 주식회사 비접촉식 3차원 무선 조이스틱
KR100727033B1 (ko) 2005-12-07 2007-06-12 한국전자통신연구원 네트워크 기반 지능형 서비스 로봇의 비전 처리 장치 및방법과 이를 이용한 시스템

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101373530B1 (ko) * 2011-06-17 2014-03-11 주식회사바이제로 무선통신을 이용한 교육용 프리젠테이션 원격 제어용 태블릿 장치와 시스템
KR101423524B1 (ko) * 2011-12-21 2014-08-01 주식회사 더클락웍스 그림 그리기 사용자 인터페이스 및 그림 공유 시스템과 그 방법
KR20230147932A (ko) * 2022-04-15 2023-10-24 (유)벨류이 영상 촬영을 이용한 판서 시스템 및 방법

Also Published As

Publication number Publication date
KR100941448B1 (ko) 2010-02-11

Similar Documents

Publication Publication Date Title
US6911995B2 (en) Computer vision depth segmentation using virtual surface
US10620712B2 (en) Interactive input system and method
US9846966B2 (en) Image processing device, image processing method, and computer program product
CN110310288B (zh) 用于混合现实环境中的对象分割的方法和系统
US11308347B2 (en) Method of determining a similarity transformation between first and second coordinates of 3D features
US9367951B1 (en) Creating realistic three-dimensional effects
US6415051B1 (en) Generating 3-D models using a manually operated structured light source
US10380763B2 (en) Hybrid corner and edge-based tracking
US9519968B2 (en) Calibrating visual sensors using homography operators
US8485668B2 (en) 3D interaction for mobile device
CN106062862B (zh) 用于沉浸式和交互式多媒体生成的系统和方法
US9024876B2 (en) Absolute and relative positioning sensor fusion in an interactive display system
JP6037901B2 (ja) 操作検出装置、操作検出方法及び表示制御データ生成方法
Tian et al. Handling occlusions in augmented reality based on 3D reconstruction method
US20130135199A1 (en) System and method for user interaction with projected content
US8659577B2 (en) Touch system and pointer coordinate detection method therefor
JP2012238293A (ja) 入力装置
KR100941448B1 (ko) 스테레오 비젼을 이용한 터치펜 시스템
KR101426378B1 (ko) 깊이 정보를 이용한 프레젠테이션 이벤트 처리 장치 및 방법
WO2011096571A1 (ja) 入力装置
JP5416489B2 (ja) 三次元指先位置検出方法、三次元指先位置検出装置、およびプログラム
Zhang Vision-based interaction with fingers and papers
Kim et al. Method for user interface of large displays using arm pointing and finger counting gesture recognition
Kuronen et al. 3d hand movement measurement framework for studying human-computer interaction
McDonald Hand interaction in augmented reality

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20080404

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20090827

Patent event code: PE09021S01D

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20091030

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20100202

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20100202

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20130125

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20130125

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20140129

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20140129

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20150130

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20150130

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20170125

Year of fee payment: 8

PR1001 Payment of annual fee

Payment date: 20170125

Start annual number: 8

End annual number: 8

FPAY Annual fee payment

Payment date: 20190131

Year of fee payment: 10

PR1001 Payment of annual fee

Payment date: 20190131

Start annual number: 10

End annual number: 10

FPAY Annual fee payment

Payment date: 20200130

Year of fee payment: 11

PR1001 Payment of annual fee

Payment date: 20200130

Start annual number: 11

End annual number: 11

PR1001 Payment of annual fee

Payment date: 20220203

Start annual number: 13

End annual number: 13

PR1001 Payment of annual fee

Payment date: 20230131

Start annual number: 14

End annual number: 14

PR1001 Payment of annual fee

Payment date: 20240131

Start annual number: 15

End annual number: 15