KR20140068902A - 프로젝션 캡처 시스템 및 방법 - Google Patents

프로젝션 캡처 시스템 및 방법 Download PDF

Info

Publication number
KR20140068902A
KR20140068902A KR1020147005200A KR20147005200A KR20140068902A KR 20140068902 A KR20140068902 A KR 20140068902A KR 1020147005200 A KR1020147005200 A KR 1020147005200A KR 20147005200 A KR20147005200 A KR 20147005200A KR 20140068902 A KR20140068902 A KR 20140068902A
Authority
KR
South Korea
Prior art keywords
projector
camera
capture
work surface
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020147005200A
Other languages
English (en)
Other versions
KR101825779B1 (ko
Inventor
데이비드 브래들리 숏
Original Assignee
휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. filed Critical 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피.
Publication of KR20140068902A publication Critical patent/KR20140068902A/ko
Application granted granted Critical
Publication of KR101825779B1 publication Critical patent/KR101825779B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/48—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
    • G03B17/54—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus with projector
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G03B15/03—Combinations of cameras with lighting apparatus; Flash units
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/132—Overhead projectors, i.e. capable of projecting hand-writing or drawing during action
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/20—Lamp housings
    • G03B21/2006—Lamp housings characterised by the light source
    • G03B21/2033—LED or laser light sources
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/20—Lamp housings
    • G03B21/206—Control of light source other than position or intensity
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/28—Reflectors in projection beam
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of two-dimensional [2D] relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3102—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] using two-dimensional electronic spatial light modulators
    • H04N9/3111—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] using two-dimensional electronic spatial light modulators for displaying the colours sequentially, e.g. by using sequentially activated light sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3173—Constructional details thereof wherein the projection device is specially adapted for enhanced portability
    • H04N9/3176—Constructional details thereof wherein the projection device is specially adapted for enhanced portability wherein the projection device is incorporated in a camera
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/147—Optical correction of image distortions, e.g. keystone
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B27/00—Photographic printing apparatus
    • G03B27/32—Projection printing apparatus, e.g. enlarger, copying camera
    • G03B27/323—Copying cameras
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B33/00—Colour photography, other than mere exposure or projection of a colour film
    • G03B33/06—Colour photography, other than mere exposure or projection of a colour film by additive-colour projection apparatus
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G03B5/02—Lateral adjustment of lens

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Projection Apparatus (AREA)
  • Accessories Of Cameras (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Video Image Reproduction Devices For Color Tv Systems (AREA)

Abstract

일례에 있어서, 프로젝션 캡처 시스템은, 단일 유닛으로서 함께 수용되는 디지털 카메라, 프로젝터 및 미러를 포함하고, 단일 유닛이 작업면과 함께 사용하도록 배치될 때, 카메라는 프로젝터 위에 위치되고, 프로젝터는 카메라 아래에 위치되며, 미러는 프로젝터 위에 위치되어 프로젝터로부터의 광을 카메라 캡처 영역 내로 반사하도록 구성된다. 일례에 있어서, 프로젝션 캡처 방법은, 카메라가 물체의 이미지를 캡처할 수 있는 카메라 캡처 영역을 설정하는 단계, 캡처 영역과 겹치며 프로젝터가 광을 투영할 수 있는 프로젝터 디스플레이 영역을 설정하는 단계, 프로젝터로 카메라 캡처 영역을 조명하는 단계, 및 프로젝터의 조명에 의한 정반사성 글레어 스폿을 카메라 캡처 영역의 외측에 위치시키는 단계를 포함한다.

Description

프로젝션 캡처 시스템 및 방법{PROJECTION CAPTURE SYSTEM AND METHOD}
본 발명은 프로젝션 캡처 시스템 및 방법에 관한 것이다.
문서 및 다른 물체의 디지털 캡처 이미지를 개선하려는 노력과, 실제 물체 및 물리적인 작업면 상에 투영된 물체와 함께 작업하는 상호적인 유저 경험을 개선하려는 노력의 일환으로 신규한 프로젝션 캡처 시스템이 개발되고 있다.
본 발명은 작업 공간 내의 2차원 및 3차원 물체에 대한 적절한 조명 및 투영에 필요한 프로젝터 광로를 위한 충분히 급격한 입사각을 유지하면서도, 종래의 카메라 조명의 기하학적 구조로 인한 부작용에 유발되는 글레어를 회피할 수 있는 프로젝션 캡처 시스템 및 프로젝션 캡처 방법을 제공하는 것을 목적으로 한다.
일례에 있어서, 프로젝션 캡처 시스템은, 단일 유닛으로서 함께 수용되는 디지털 카메라, 프로젝터 및 미러를 포함하고, 단일 유닛이 작업면과 함께 사용하도록 배치될 때, 카메라는 프로젝터 위에 위치되고, 프로젝터는 카메라 아래에 위치되며, 미러는 프로젝터 위에 위치되어 프로젝터로부터의 광을 카메라 캡처 영역 내로 반사하도록 구성된다. 일례에 있어서, 프로젝션 캡처 방법은, 카메라가 물체의 이미지를 캡처할 수 있는 카메라 캡처 영역을 설정하는 단계, 캡처 영역과 겹치며 프로젝터가 광을 투영할 수 있는 프로젝터 디스플레이 영역을 설정하는 단계, 프로젝터로 카메라 캡처 영역을 조명하는 단계, 및 프로젝터의 조명에 의한 정반사성 글레어 스폿을 카메라 캡처 영역의 외측에 위치시키는 단계를 포함한다.
도 1a 및 도 1b는 본 발명의 일례에 따른, 신규한 프로젝션 캡처 시스템을 예시하는 외부 사시도이다. 도 1a에는, 2차원 물체(하드카피 사진)의 이미지가 캡처 및 디스플레이되어 있다. 도 1b에는, 3차원 물체(정육면체)의 이미지가 캡처 및 디스플레이되어 있다.
도 2는 본 발명의 일례에 따른, 도 1의 시스템과 같은 프로젝션 캡처 시스템을 예시하는 내부 사시도이다.
도 3은 도 2에 도시된 프로젝션 캡처 시스템의 블록 다이어그램이다.
도 4는 도 2 및 도 3에 도시된 시스템 내의 유저 입력 디바이스의 일례를 예시하는 블록 다이어그램이다.
도 5 및 도 6은 각각 도 2 및 도 3에 도시된 프로젝션 캡처 시스템 내의 카메라 및 프로젝터의 위치결정을 예시하는 측면도 및 정면도이다.
도 7 내지 도 11은 카메라 캡처 영역에서의 글레어 스폿(glare spot)의 이동과 연계된 일부 문제점들을 예시하는, 프로젝션 캡처 시스템 내의 프로젝터 및 카메라에 대한 다양한 위치들을 도시하는 일련의 측면도들이다.
도 12 및 도 13은 도 2 및 도 3에 도시된 프로젝션 캡처 시스템 내의 카메라의 일례를 예시한다.
도 14는 도 2 및 도 3에 도시된 프로젝션 캡처 시스템 내의 프로젝터의 일례를 예시한다.
도 15 및 도 16은 도 2 및 도 3에 도시된 프로젝션 캡처 시스템 내의 유저 입력 디바이스의 예들을 예시한다.
도면들에서 동일한 부품 번호들은 동일 또는 유사한 부품들을 지칭하는데 사용된다.
도면들에 도시되고 후술되는 예들이 예시되지만, 이 상세한 설명에 이어지는 특허청구범위에서 규정되는 발명을 제한하는 것은 아니다.
신규한 프로젝션 캡처 시스템의 일례에 있어서, 디지털 카메라, 프로젝터 및 미러는 단일 유닛으로서 함께 수용되고, 유닛이 작업면과 함께 사용하도록 배치될 때, 카메라는 프로젝터 위에 위치되고, 프로젝터는 카메라 아래에 위치되며, 미러는 프로젝터 위에 위치되어 프로젝터로부터의 광을 카메라 캡처 영역 내로 반사하도록 구성된다. 일례에 있어서, 프로젝터는 이미지를 캡처하는 카메라에 광원을 제공하고, 카메라, 프로젝터 및 미러는 프로젝터 광으로부터의 글레어 스폿이 카메라 캡처 영역 외측에 놓이도록 서로에 대하여 위치된다.
도 1a 및 도 1b는 신규한 프로젝션 캡처 시스템(10) 및 이 시스템(10)과 연계된 상호적인 작업 공간(12)의 일례를 예시하는 외부 사시도이다. 도 2는 외부 하우징(13)을 제거한 프로젝션 캡처 시스템(10)의 일례를 예시하는 사시도이다. 도 3은 도 2에 도시된 시스템(10)의 블록 다이어그램이다. 도 1a, 도 1b, 도 2, 및 도 3을 참조하면, 프로젝션 캡처 시스템(10)은 디지털 카메라(14), 프로젝터(16) 및 컨트롤러(18)를 포함한다. 카메라(14) 및 프로젝터(16)는, 작업 공간(12)에서 물체(20)의 이미지를 캡처하는 카메라(14) 및 물체 이미지(22)를 작업 공간(12) 내에 투영하는 프로젝터(16)에 대하여, 또한 일부 예에 있어서는, 투영된 물체 이미지(22)의 이미지를 캡처하는 카메라(14)에 대하여, 컨트롤러(18)에 작동 가능하게 연결된다. 하우징(13)의 하부 부위는 프로젝터(16)(및 적외선 카메라(30)) 위로 투명창(21)을 포함한다.
도 1a에 도시된 예에 있어서는, 작업 공간(12) 내의 작업면(24) 위에 놓인 2차원 물체(20)(하드카피 사진)가 카메라(14)에 의해 촬영되고(도 2 참조), 물체(20)는 작업 공간(12)의 옆으로 제거되고, 물체 이미지(22)가 작업면(24) 위에 투영되는데, 물체 이미지는 카메라(14)에 의해 촬영될 수 있거나(도 2 참조), 및/또는 유저에 의해 조작될 수 있다. 도 1b에 도시된 예에 있어서는, 작업면(24) 위에 놓인 3차원 물체(20)(정육면체)가 카메라(14)에 의해 촬영되고(도 2 참조), 물체(20)는 작업 공간(12)의 옆으로 제거되고, 물체 이미지(22)가 작업 공간(12) 내로 투영되는데, 물체 이미지는 카메라(14)에 의해 촬영될 수 있거나(도 2 참조), 및/또는 유저에 의해 조작될 수 있다.
시스템(10)은 유저가 시스템(10)과 상호작용할 수 있게 하는 유저 입력 디바이스(26)를 또한 포함한다. 유저는 입력 디바이스(26)를 통해 작업 공간(12) 내의 물체(20) 및/또는 물체 이미지(22)와 상호작용할 수 있고, 물체 이미지(22)는 협업 유저 상호작용을 위해 원격 시스템(10)(도시되지 않음)들 상의 다른 작업 공간(12)들에 전송되고, 필요에 따라, 물체 이미지(22)는 카메라(14)에 의해 촬영되어, 추가의 유저 상호작용을 위해 로컬 및/또는 원격 작업 공간(12) 내로 재투영될 수도 있다. 도 1a에 있어서, 작업면(24)은 데스크톱 또는 다른 하위 지지 구조체(23)의 일부이다. 도 1b에 있어서, 작업면(24)은 터치 감응 영역들을 포함할 수 있는 휴대용 매트(25)의 상면이다. 도 1a에서는, 예컨대 유저 컨트롤 패널(27)이 작업면(24) 위에 투영되는 반면, 도 1b에서는, 컨트롤 패널(27)이 매트(25)의 터치 감응 영역에 매립될 수 있다. 유사하게, A4 사이즈, 레터 사이즈 또는 다른 표준 사이즈의 문서 배치 영역(29)이 도 1a에서는 작업면(24) 위에 투영될 수 있거나, 또는 도 1b에서는 매트(25) 상에 인쇄될 수 있다. 물론, 다른 구성들의 작업면(24)도 가능하다. 예컨대, 몇몇 응용 분야에서는, 시스템(10)에 대하여, 작업면(24)의 컬러, 질감 또는 다른 특성들을 컨트롤하기 위해 다른 블랭크 매트(25)를 사용하는 것이 바람직할 수 있으며, 그에 따라 컨트롤 패널(27) 및 문서 배치 영역(29)은, 도 1a에서 데스크톱(23) 위에 투영되는 것과 마찬가지로, 도 1b에서도 블랭크 매트(25) 위에 투영될 수 있다.
도 4에 도시된 예에 있어서, 유저 입력 디바이스(26)는 적외선 디지털 스타일러스(28) 및 작업 공간(12)에서 스타일러스(28)를 검출하는 적외선 카메라(30)를 포함한다. 임의의 적절한 유저 입력 디바이스가 사용될 수 있지만, 디지털 스타일러스는, 감지 패드 또는 다른 특수한 표면 없이, 작업면(24)을 따라 3차원 입력을 허용하는 장점을 갖는다. 따라서, 시스템(10)은 매우 다양한 작업면(24) 상에서 사용될 수 있다. 또한, 통상적으로 작업면(24)의 수평 방위는 다수의 공통 태스크에 유용하다. 작업면(24) 상에서 기존의 필기 도구들을 사용할 수 있는 능력은 수직형 또는 모바일 컴퓨팅 인터페이스에 대하여 유리하다. 작업용 데스크톱 위로 상호적인 디스플레이를 투영하면, 컴퓨팅 태스크들이 실제 데스크톱 상에 존재할 수 있는 표준 물체들과 혼합되고, 그에 따라 물리적인 물체들이 투영된 물체들과 공존할 수 있다. 상기와 같이, 실제 필기 도구들 및 그들의 디지털 대응물들(예컨대, 스타일러스(28))을 사용하는 편의성은 유효한 사용 모델이다. 3차원 패드-프리(pad-free) 디지털 스타일러스는 작업면(24) 상에서 기존의 도구들을 사용하는 것에 방해가 되는 감지 패드를 갖지 않고 물리적 물체들의 상부에 또는 옆에 주석달기를 가능하게 한다.
시스템(10)에 대한 예시적인 일 구현에 있어서, 프로젝터(16)는 카메라(14)용 광원으로서 기능한다. 카메라 캡처 영역(32)(도 12 참조) 및 프로젝터 디스플레이 영역(34)(도 14 참조)은 작업면(24) 상에서 겹친다. 따라서, 이미지 투영 및 카메라 발광 모두에 대하여 프로젝터(16)를 이용해서 상당한 작동 효율이 얻어질 수 있다. 작업 공간(12)을 통한 프로젝터(16)로부터 작업면(24)까지의 광로는, 오히려 카메라(14)를 가리게 되는 작업면(24) 및 작업 공간(12) 내의 물체들에서의 정반사성 글레어(specular glare)를 회피하면서, 그림자 폐색(shadow occlusion)이 최소인 유저 디스플레이 상호작용이 가능하도록 카메라(14)에 대하여 위치되어야 한다. 후술하는 시스템 구성은, 작업 공간(12) 내의 2차원 및 3차원 물체에 대한 적절한 조명 및 투영에 필요한 프로젝터 광로를 위한 충분히 급격한 입사각을 유지하면서도, 종래의 카메라 조명의 기하학적 구조로 인한 부작용에 유발되는 글레어를 회피한다.
이상적으로는, 프로젝터(16)는 평행 광선들을 보장하도록 작업면(24)보다 높은 무한한 높이에서 작업 공간(12) 바로 위에 설치되게 된다. 물론, 이 구성은 비현실적이다. 프로젝터(16)가 작업면(24)보다 높은 현실적인 높이까지 내려졌다고 해도(그러나, 여전히 아래쪽을 지향하고 있음), 프로젝터의 광은 광택 및 반광택 표면들 및 물체들에서 바로 카메라(14)에 반사되게 되어, 눈부신 정반사성 글레어가 생성된다. 따라서, 글레어 스폿은 카메라 캡처 영역(32)에서 이동되어야 한다 (정반사성 글레어는 입사 광선의 입사 각도와 반사 광선의 반사 각도가 동일하고, 입사, 반사 및 법선 방향이 동일평면에 있는 정반사성 반사로부터의 글레어를 의미한다).
이 정반사성 글레어의 문제점에 대한 상업적으로 합리적인 해법을 달성하기 위해, 카메라(14) 및 프로젝터(16)는 캡처의 중심 및 디스플레이 영역들(32, 34)로부터 시프트되고, 프로젝터(16)는 도 5 및 도 6에 도시된 바와 같이, 베이스(36) 가까이에 낮게 위치되며, 절곡 미러(fold mirror)(38)는 프로젝터의 광로 내로 도입되어, 프로젝터 위치가 작업면(24)보다 높게 보이게 시뮬레이션한다. 미러(38) 위쪽에 있는 프로젝터(16)의 시뮬레이션된 위치 및 상응하는 광로는 도 5 및 도 6에서는 가상선으로 도시된다. 그러나, 도 5 및 도 6에 도시된 구성을 더 상세히 기술하기 전에, 카메라 캡처 영역(32)에서 글레어 스폿을 이동시키는 다른 가능한 구성들과 연계된 문제점들을 고려하는 것이 도움이 된다.
도 7에 있어서, 오버헤드 프로젝터(16)가 중심에서 약간 벗어나 있는 상태에서 카메라(14)가 캡처 영역(32)의 중심에 위치되므로, 카메라(14)는 프로젝터 광로를 막지 않는다. 도 7의 구성에 있어서, 정반사성 글레어 스폿(39)(입사 광선(41)과 반사 광선(43)의 교점에 있음)은 캡처 영역(32) 내에 들어가고, 그에 따라 캡처 영역(32) 내의 몇몇 물체들 및 이미지에 대하여 카메라(14)를 눈부시게 만든다. 또한, 카메라(14) 및 프로젝터(16)가 모두 베이스보다 높게 위치되어 있는 도 7에 도시된 구성에 대해서는, 시스템(10)은 상부가 무거워지기 때문에, 상업용 제품 구현에는 바람직하지 않다. 프로젝터(16)가, 도 8에 도시된 바와 같이, 글레어 스폿(39)을 카메라 캡처 영역(32) 밖으로 이동시키는데 필요한 거리로 옆으로 위치되면, 그에 상응하여 필요해지는 프로젝터 렌즈 오프셋은 실현 불가능해지게 된다. 또한, 도 8에 도시된 시스템(10)의 구성에 대한 임의의 제품 구현은 바람직하지 않게 폭이 커지고 상부가 무거워지게 된다.
도 9에 도시된 바와 같이, 캡처 영역(32) 위에서 카메라(14)를 중심에서 벗어나게 이동시키면, 시스템의 폭이 덜 커지게 프로젝터(16)가 옮겨지지만, 프로젝터 렌즈 오프셋은 여전히 지나치게 크고 제품은 여전히 상부가 무겁다. 도 10에 도시된 구성에 있어서, 프로젝터(16)는 용인 가능한 렌즈 오프셋을 위해 충분히 가깝게 옮겨질 수 있도록 하는 높이까지 올려지지만, 물론 제품은 이제 키가 너무 크고 상부가 무거워진다. 가장 바람직한 해법은, 도 10의 "높고 가까운(high and tight)" 구성을 절곡 미러(38)를 사용하여 시뮬레이션한, 도 5 및 도 11에 도시된 프로젝터(16)에 대한 "절곡된(folded)" 광로이다. 도 5 및 도 11에 있어서, 프로젝터(16) 및 상부 광로는 미러(38)의 반사면 위로 절곡되어, 도 10의 구성에서와 마찬가지로 작업면(24)에 대하여 동일한 광로를 투영한다. 이 절곡 효과는 절곡 각도들이 θ1=θ2이고 φ1=φ2인 도 5에 가장 잘 나타난다.
도 5 및 도 6에 도시된 바와 같이, 카메라(14)는 프로젝터의 광로를 막지 않도록 작업 공간(12) 위로 미러(38)의 전방에 놓인다. 카메라(14)는, 카메라(14) 및 프로젝터(16) 모두에 대한 용인 가능한 오프셋으로, 글레어 스폿(39)을 캡처 영역(32) 밖에 유지하기 위해 전체 기하학적 구조의 일부로서 Y 방향으로 중심에서 벗어나 위치된다(도 5 참조). 프로젝터(16)는, 프로젝터(16)로부터의 광이 미러(38)에서 작업 공간(12) 내로 반사되도록, 미러(38) 상에 초점이 맞춰진다. 프로젝터(16)를 하향 이동시키고 프로젝터 광로 내로 절곡 미러(38)를 도입함으로써, 글레어 스폿(39)은 용인 가능한 프로젝터 오프셋으로 캡처 영역(32) 밖에 유지되고, 시스템(10)은 충분히 폭이 좁고, 길이가 짧으며, 안정되어(상부가 무겁지 않음), 상업적으로 매력적인 제품 구현을 지원한다.
따라서, 도 1a, 도 1b, 및 도 2를 다시 참조하면, 시스템(10)의 구성요소들은 단일의 장치(40)로서 함께 수용될 수 있다. 또한, 도 3을 참조하면, 시스템(10)을 통합된 독립형 장치(40)로서 구현하는 것을 돕기 위해, 컨트롤러(18)는 장치(40) 내에 함께 수용된 프로세서(42), 메모리(44) 및 입력/출력부(46)를 포함할 수 있다. 이러한 컨트롤러(18)의 구성에 대하여, 카메라(14) 및 프로젝터(16)의 기능들을 컨트롤 및 편성하는 시스템 프로그래밍은 프로세서(42)에 의한 실행을 위해 실질적으로 컨트롤러 메모리(44) 상에 상주할 수 있고, 그에 따라 독립형 장치(40)를 가능하게 하고 카메라(14) 및 프로젝터(16)의 특수 프로그래밍에 대한 필요성을 낮춘다. 예컨대, 컨트롤러(18)가 전체적으로 또는 부분적으로 카메라(14) 및 프로젝터(16)로부터 원격인 컴퓨터 또는 서버를 이용해서 형성되는, 다른 구성들이 가능한 상태에서, 도 1a, 도 1b 및 도 2에 도시된 장치(40)와 같은 콤팩트한 독립형 기기는 통합된, 콤팩트한 모바일 장치(40) 내의 완전한 기능을 유저에게 제공한다.
이제 도 12를 참조하면, 카메라(14)는 캡처 영역(32)의 중심에서 오프셋된 위치에서 작업 공간(12)보다 높은 미러(38)의 전방에 위치된다. 상기한 바와 같이, 이러한 카메라(14)의 오프셋된 위치는, 작업 공간(12) 내의 물체들의 촬영시에, 프로젝터(16)의 광로를 막는 일 없이 정반사성 글레어를 회피하는 것을 돕는다. 카메라(14)가 작업 공간(12) 내의 스틸 및 비디오 이미지를 선택적으로 캡처하는 일반적으로 임의의 적절한 디지털 카메라를 나타내고 있지만, 시스템(10)의 대다수의 응용 분야에서는 고해상도 디지털 카메라가 사용될 것으로 기대된다. 본 명세서에서 사용된 "고해상도(high resolution)" 디지털 카메라는 적어도 12 메가픽셀의 센서 어레이를 갖는 카메라를 의미한다. 몇몇 기본적인 스캔 및 복사 기능에 대해서는 저해상도 카메라가 용인될 수 있지만, 현재 12 메가픽셀보다 낮은 해상도는 조작 및 협업 기능의 모든 범위에 대하여 충분히 상세한 디지털 이미지를 생성하기에는 부적합하다. 고해상도 센서들을 갖춘 소형의 고품질 디지털 카메라가 지금은 매우 일반적이며 다양한 카메라 제조사로부터 시판되고 있다. 다수의 디지털 카메라에서 이용 가능한 고성능 디지털 신호 처리(DSP) 칩과 짝을 이루는 고해상도 센서는, 대부분의 시스템(10) 응용 분야에 대하여 용인 가능한 성능을 전달하기 위해, 충분히 빠른 이미지 처리 시간, 예컨대 클릭부터 프리뷰까지의 시간이 초 단위 미만인 시간을 제공한다.
이제, 도 13을 또한 참조하면, 도시된 예에 있어서, 카메라 센서(50)는 작업면(24)의 평면에 평행한 평면에서 배향되고, 광은 시프트 렌즈(52)를 통해 센서(50)에 초점이 맞춰진다. 센서(50) 및 렌즈(52)의 이 구성은, 물체 이미지에서의 디지털 키스톤(keystone) 보정 없이, 키스톤 왜곡을 선택적으로 보정하는데 사용될 수 있다. 카메라(14)의 시야는 카메라(14)가 이미지를 효과적으로 캡처할 수 있는 작업 공간(12) 내에 3차원 캡처 공간(51)을 규정한다. 캡처 공간(51)은 작업면(24) 상의 카메라 캡처 영역(32)에 의해 X 및 Y 차원에서 경계 설정된다. 렌즈(52)는 캡처 공간(51)에 대응하는 고정 거리, 고정 초점, 및 고정 줌에 대하여 최적화될 수 있다.
도 14를 참조하면, 프로젝터(16)는 프로젝터 디스플레이 영역(34) 외측에서 베이스(36) 부근에 위치되며, 프로젝터(16)로부터의 광이 미러(38)에서 작업 공간(12) 내로 반사되도록 미러(38) 상에 초점이 맞춰진다. 프로젝터(16) 및 미러(38)는 프로젝터(16)가 이미지를 효과적으로 디스플레이할 수 있는 작업 공간(12) 내에 3차원 디스플레이 공간(53)을 규정한다. 프로젝터 디스플레이 공간(53)은 카메라 캡처 공간(51)(도 12 참조)과 겹치고, 작업면(24) 상의 디스플레이 영역(34)에 의해 X 및 Y 차원에서 경계 설정된다. 프로젝터(16)는 임의의 적절한 광 프로젝터를 나타내는 것이 일반적이지만, 시스템(10)의 대부분의 응용 분야에 대해서는, 콤팩트한 사이즈 및 전력 효율의 LED 또는 레이저 기반 DLP(digital light processing) 프로젝터가 바람직하다. 프로젝터(16)는 투영된 이미지에서 완전한 광학적 키스톤 보정을 허용하기 위해 시프트 렌즈를 채용할 수도 있다. 상기한 바와 같이, 미러(38)의 사용은 프로젝터(16)의 오버헤드 배치를 모방해서 프로젝터의 유효 광로의 길이를 증가시키면서도, 통합된 독립형 장치(40)에 대한 상업적으로 합리적인 높이를 허용한다.
독립형 장치(40)로서의 시스템(10)에 대하여 적절한 특성들의 일례는 표 1에 나열된다(표 1에서의 차원은 도 5 및 도 6을 참조함).
카메라 프로젝터
센서 메가픽셀 12 MP
센서 애스펙트비
X/Y		 1.333
픽셀 사이즈 0.00175 ㎜
CX 물체 전체 사이즈(X축) 427 ㎜ PX 조명 전시야(X축) 310 ㎜
CY 물체 전체 사이즈(Y축) 320 ㎜ PY 조명 전시야(Y축) 310 ㎜
CH 카메라 높이 450 ㎜ PH 프로젝터 높이 670 ㎜
CS Y축 카메라 시프트 150 ㎜ PS Y축 프로젝터 시프트 330 ㎜
배율-1 66
센서 픽셀(X축) 4016 렌즈 오프셋 216%
센서 픽셀(Y축) 3016 렌즈 시프트 108%
센서 사이즈(X축) 7.028 ㎜ 최대 Y축 팬 각도 35.76 deg
센서 사이즈(Y축) 5.278 ㎜ 최소 Y축 팬 각도 14.84 deg
이미지 사이즈(X축) 6.470 ㎜ 반시야(X축) 203.5 ㎜
이미지 사이즈(Y축) 4.848 ㎜ 반시야(Y축) 482.5 ㎜
반시야(X축) 213.5 ㎜ 투사율 1.65
반시야(Y축) 280 ㎜ 최대 투사 각도 38.01 deg
전시야 각도 76.08 deg CC 카메라 제거 거리 51.6 ㎜
샘플링 해상도 220 ppi GC 글레어 스폿 제거 거리 44.4 ㎜
캡처 길이(X축) 464.85 ㎜
캡처 길이(Y축) 348.35 ㎜
프로젝터(16)는 스틸 및 비디오 캡처를 위한 카메라(14)용 광원으로서 작용하기 때문에, 프로젝터 광은 정반사성 글레어에 의한 결함을 야기할 수도 있는 임의의 주변 광을 압도할 만큼 충분히 밝아야 한다. 200 루멘 이상의 프로젝터 광은 시스템(10) 및 장치(40)의 통상의 데스크톱 응용 분야에 대한 주변 광을 압도할 만큼 충분히 밝은 것으로 판정되어 있다. 비디오 캡처 및 실시간 비디오 협업을 위하여, 프로젝터(16)는 백색광을 작업 공간(12)에 비춰서 물체(들)(20)를 조명한다. LED 프로젝터(16)에 대하여, 백색광을 형성하는 적색, 녹색 및 청색 LED의 시간 순서(time sequencing)는 카메라(14)의 비디오 프레임 레이트(frame rate)와 동기된다. 프로젝터(16)의 리프레시 레이트(refresh rate) 및 각각의 LED 서브-프레임 리프레시 기간은 비디오 이미지에서의 "무지개 줄무늬 형성(rainbow banding)" 및 다른 원치 않는 영향을 회피하기 위해 각각의 캡처된 프레임에 대하여 진정수(integral number)의 카메라 노출 시간이어야 한다. 또한, 카메라의 비디오 프레임 레이트는 통상적으로 AC 라인 주파수의 2배(예컨대, 60㎐ AC 전원선에 대하여 120㎐)로 깜빡이는 임의의 주변 형광 발광 주파수와 동기되어야 한다. 주변 광 주파수를 감지하고, 그에 따라 카메라(14)의 비디오 프레임 레이트를 조절하기 위해, 주변 광 센서가 사용될 수 있다. 스틸 이미지 캡처에 대해서는, 프로젝터의 적색, 녹색 및 청색 LED가 작업 공간(12)에서 휘도를 증가시키기 위해 카메라 플래시에 대하여 동시에 턴온될 수 있어, 주변 광을 압도하는 것을 돕는 한편, 보다 빠른 셔터 스피드 및/또는 보다 작은 조리개가 이미지에서의 노이즈를 줄일 수 있게 한다.
도면에 도시되고 상술된 독립형 장치(40)에 통합된 시스템(10)의 예시적인 구성은 제품 사이즈, 성능, 유용성, 및 비용 사이의 바람직한 균형을 달성한다. 프로젝터(16)의 절곡된 광로는, 카메라(14)의 캡처 영역에서의 정반사성 글레어를 방지하도록 작업 공간(12)보다 높은 프로젝터의 유효한 배치를 유지하면서, 장치(40)의 높이를 줄인다. 프로젝터의 광로는 3D 물체 이미지 캡처를 가능하게 하는 급경사각으로 수평 작업면(24)에 비춘다. 이러한 긴 광로 및 급경사각의 조합은 캡처 영역을 가로지르는 광 감소를 최소화해서 카메라 플래시에 대한 광 균일성을 최대화한다. 또한, 절곡된 광로는 제품 안정성을 위해 프로젝터(16)를 베이스(36) 부근에 배치할 수 있게 한다.
시스템(10)에서 사용하기에 적합한 입력 장치들 및 기법들은, 예컨대 손가락 터치, 터치 제스처, 스타일러스, 공중 제스처, 음성 인식, 머리 추적 및 안구 추적을 포함한다. 터치 패드는 그래픽 유저 인터페이스를 다루거나, 또는 푸시(push), 플릭(flick), 스와이프(swipe), 스크롤(scroll), 핀치-투-줌(pinch-to-zoom), 및 투-핑거-로테이트(two-finger-rotate)와 같은 직관적인 제스처 동작들을 수행하는 멀티-터치 인터페이스를 가능하게 하는데 사용될 수 있다. 터치 패드 없이, 공중 제스처 또는 제한된 터치 및 터치 제스처 검출이 가능하도록, 구조형 광(structured light), 전파 시간(time-of-flight), 동요형 광 패턴(disturbed light pattern), 또는 입체 시각(stereoscopic vision)을 이용하는 깊이 카메라(depth camera)가 사용될 수도 있다. 터치-프리(touch-free) 디지털 스타일러스는, 특히 시스템(10)에 대한 유저 입력부(26)로서 매우 적합하다. 따라서, 도면들에 도시된 예에 있어서, 유저 입력부(26)는 적외선 디지털 스타일러스(28) 및 작업 공간(12)에서 스타일러스(28)를 검출하기 위한 적외선 카메라(30)를 포함한다. 상기한 바와 같이, 터치-프리 디지털 스타일러스는, 감지 패드 또는 다른 특수 표면 없이도, 작업면(24)을 따라 3차원 입력을 허용한다는 장점을 갖는다.
이제, 도 4 및 도 15를 참조하면, 입력 디바이스(26)는 적외선 스타일러스(28), 적외선 카메라(30) 및 스타일러스 충전용 도크(dock)(54)를 포함한다. 스타일러스(28)는 적외광(56), 터치에 기초하여 광(56)을 자동으로 켜고 끄는 터치 감응 닙(nip) 스위치(58), 및 광(56)을 수동으로 켜고 끄는 수동 온/오프 스위치(60)를 포함한다(닙 스위치(58) 및 수동 스위치(60)는 도 4의 블록 다이어그램에 도시된다). 광(56)은, 카메라(30)와 광(56) 사이의 선명한 시선(line-of-sight)을 유지하는 것을 돕기 위해, 예컨대 도 15에 도시된 바와 같이, 스타일러스(28)의 선단에 위치될 수 있다. 광(56)은 광의 온 또는 오프를 유저가 결정하는 것을 돕기 위해 가시광을 방출할 수도 있다.
닙 스위치(58)는 약 2그램의 힘에 대한 터치 감응형으로 되어, 예컨대 기존의 필기 도구를 시뮬레이션할 수 있다. 스타일러스의 닙이 작업면(24) 또는 다른 물체를 터치할 때, 닙 스위치(58)는 접촉을 검출해서 광(56)을 켠다. 광(56)의 켜짐은 터치 접촉 이벤트(마우스 버튼 클릭 또는 터치 패드 상의 손가락 터치와 유사)의 신호를 보내는 카메라(30)에 의해 검출된다. 카메라(30)는, 광(56)이 지속되는 동안은 스타일러스(28)의 임의의 움직임을 추적하는 접촉 신호를 지속적으로 보낸다. 유저는 표면을 추적하거나 또는 제어 기능들을 활성화시키기 위해 임의의 표면 주위로 스타일러스(28)를 펜처럼 슬라이드시킬 수 있다. 스타일러스 닙이 더 이상 물체와 접촉하지 않을 때, 광(56)이 꺼지는 한편, 카메라(30)는 접촉 신호를 보내지 않는다. 수동 광 스위치(60)는 비접촉 이벤트의 신호를 보내는데 사용될 수 있다. 예컨대, 3차원 작업 공간(12)에서의 작업시에, 유저는 수동으로 "가상(virtual)" 접촉 이벤트의 신호를 보냄으로써 작업면(24) 위에서 투영된 이미지를 수정, 변경 또는 조작하기를 바랄 수 있다.
적외선 카메라(30) 및 미러(38)는 작업 공간(12) 내에 3차원 적외선 캡처 공간(61)을 규정하고, 그 안에서 적외선 카메라(30)가 스타일러스(28)로부터의 광을 효과적으로 검출할 수 있다. 캡처 공간(61)은 작업면(24) 상의 적외선 카메라 캡처 영역(62)에 의해 X 및 Y 차원에서 경계 설정된다. 도시된 예에 있어서는, 도 14와 도 15의 비교에 의해 가장 잘 알 수 있듯이, 적외선 카메라 캡처 공간(61)은 프로젝터 디스플레이 공간(53)과 같은 공간을 차지하고 있다. 따라서, 적외선 카메라(30)는 디스플레이 공간(53) 내의 어디에서든 스타일러스 활성화를 캡처할 수 있다.
도 16에 도시된 예시적인 일 구현에 있어서, 카메라(30)는 스타일러스(28)를 확인하는 것을 돕기 위해 프로젝터 시야 및 적외선 카메라 시야가 일치하는 프로젝션 광로에 포함되고, 그에 따라 적외선 카메라(30)로부터의 신호의 추적은 작업 공간(12) 내의 어디에서든 프로젝터 디스플레이와 적절히 정렬된다. 도 16을 참조하면, 프로젝터(16) 내의 적색, 녹색 및 청색 LED(66, 68 및 70)에 의해 생성된 가시광(64)은 다양한 광학계(72)(시프트 렌즈(74)를 포함)를 거쳐 미러(38)(도 14 참조)에 이른다. 미러(38)에서 프로젝터(16) 쪽으로 반사된, 작업 공간(12) 내의 스타일러스(28)로부터의 적외광(75)은 적외선 빔 스플리터(78)에 의해 시프트 렌즈(80)를 통해 적외선 카메라 센서(76)로 지향된다(상술한 카메라(14)에 대한 예시적인 구성과 마찬가지로, 카메라(30)에 대한 적외선 광 센서(76)는 작업면(24)의 평면에 평행한 평면에 배향될 수 있으며, 충분한 광학적 키스톤 보정을 위해 시프트 렌즈(80)를 통해 센서(76)에 집광될 수 있다).
도 16에 도시된 바와 같이, 프로젝터(16) 및 적외선 카메라(30)를 함께 단일의 하우징(82) 내에 수용하는 몇 가지 상업적인 구현들이 바람직할 수 있다. 도 16에 도시된 적외선 카메라(30)에 대한 기하학적 구성은, 스타일러스(28)가 작업면(24)보다 얼마나 높게 위치되어 있는지에 관계없이, 스타일러스 추적 신호가 디스플레이와 정렬될 수 있게 하는데 도움이 된다. 프로젝터 시야 및 적외선 카메라 시야가 일치하지 않으면, 작업면(24) 위의 하나 이상의 높이에서 스타일러스 추적을 보정하는 것이 곤란할 수 있어, 원하는 스타일러스 입력 위치와 최종 디스플레이된 위치 사이에 시차(parallax) 시프트의 위험이 있다.
작업 공간(12)이 대개 물체(20)를 지지하는 물리적 작업면(24)을 포함할 것으로 예상되지만, 작업 공간(12)은 물리적 작업면 없이 전적으로 투영된 작업 공간으로서 구현될 수도 있다. 또한, 작업 공간(12)은 2차원 및 3차원 물체를 작업 대상으로 하는 3차원 작업 공간으로서, 또는 2차원 물체만을 작업 대상으로 하는 2차원 작업 공간으로서 구현될 수 있다. 작업 공간(12)의 구성이 대개는 주로 시스템(10)의 하드웨어 및 프로그래밍 요소들에 의해 결정되지만, 작업 공간(12)의 구성은 물리적 작업면(24)의 특성들에 의해 영향을 받을 수도 있다. 따라서, 시스템(10) 및 장치(40)에 대하여 몇 가지 예에 있어서는, 장치(36)가 작동중일 때 가상 작업 공간이 물리적 작업 공간 내에 나타내지는 시스템(10)을 동반한다는 점에서, 작업 공간(12)이 시스템(10)의 일부라고 고려하는 것이 적절할 수 있으며, 다른 예들에서는, 작업 공간(12)이 시스템(10)의 일부가 아니라고 고려하는 것이 적절할 수 있다.
하나의 카메라(14) 및 하나의 프로젝터(16)를 갖춘, 도면들에 도시된 시스템(10) 예들은 2개 이상의 카메라(14) 및/또는 2개 이상의 프로젝터(16)의 사용을 배제하지 않는다. 실제로, 시스템(10)에 대한 몇몇 응용 분야에서는, 하나 이상의 카메라, 하나 이상의 프로젝터 또는 하나 이상의 다른 시스템 구성요소들을 포함하는 것이 바람직할 수 있다. 따라서, 본 명세서에서 사용된 관사("a" 및 "an")는 하나 이상을 의미한다.
이 명세서의 도입부에 주지한 바와 같이, 도면들에 도시되고 상술된 예들은 예시일 뿐이며 발명을 제한하지 않는다. 다른 예들, 실시예들 및 구현들이 가능하다. 따라서, 전술한 기재는 하기의 특허청구범위에서 규정되는 발명의 범위를 제한하는 것으로 해석되지 않아야 한다.

Claims (19)

  1. 작업면과 함께 사용하기 위한 프로젝션 캡처 시스템에 있어서,
    단일 유닛으로서 함께 수용되는 디지털 카메라, 프로젝터 및 미러를 포함하고,
    상기 유닛이 작업면과 함께 사용하도록 배치될 때,
    상기 카메라는 프로젝터 위에 위치되고, 상기 카메라는 캡처 영역을 규정하며, 상기 캡처 영역 내에서 카메라가 작업면 상의 이미지를 취득할 수 있고,
    상기 프로젝터는 카메라 아래에 위치되며,
    상기 미러는 프로젝터 위에 위치되고, 상기 프로젝터로부터의 광을 작업면 상에 하향으로 반사하도록 구성되며, 상기 프로젝터와 상기 미러는 상기 캡처 영역의 적어도 일부와 겹치는 디스플레이 영역을 작업면 상에 규정하는
    프로젝션 캡처 시스템.
  2. 제 1 항에 있어서,
    상기 카메라 및 상기 프로젝터는, 프로젝터가 이미지를 캡처하는 카메라에 광원을 제공하도록 서로 작동 가능하게 연결되고,
    상기 카메라, 상기 프로젝터 및 상기 미러는, 상기 유닛이 작업면과 함께 사용하도록 배치될 때, 미러에서 반사된 프로젝터 광으로부터의 글레어 스폿(glare spot)이 카메라 캡처 영역 외측에 놓이도록 서로에 대하여 위치되는
    프로젝션 캡처 시스템.
  3. 제 2 항에 있어서,
    상기 유닛이 작업면과 함께 사용하도록 배치될 때,
    상기 카메라는 캡처 영역의 중심으로부터 오프셋된 위치에서 캡처 영역 위에 위치되고,
    상기 프로젝터는 캡처 영역의 외측 및 디스플레이 영역의 외측에 위치되는
    프로젝션 캡처 시스템.
  4. 제 2 항에 있어서,
    상기 단일 유닛의 일부로서 디지털 카메라, 프로젝터 및 미러와 함께 수용되는 컨트롤러를 더 포함하고,
    상기 컨트롤러는 카메라와 프로젝터를 작동 가능하게 연결하며,
    상기 컨트롤러는,
    캡처 영역 내에서 작업면 상에 위치된 물체의 이미지를 캡처하도록, 그리고
    물체 이미지를 디스플레이 영역 내에서 작업면 상에 투영하도록, 카메라 및 프로젝터를 제어하도록 구성되는
    프로젝션 캡처 시스템.
  5. 제 4 항에 있어서,
    상기 컨트롤러에 작동 가능하게 연결되며, 유저가 작업면 상에서 상기 시스템과 상호작용할 수 있게 하도록 구성된 유저 입력 디바이스를 더 포함하는
    프로젝션 캡처 시스템.
  6. 제 5 항에 있어서,
    상기 유닛은 편평한, 수평 작업면에 배치하도록 구성되는
    프로젝션 캡처 시스템.
  7. 제 6 항에 있어서,
    상기 작업면으로서 상기 유닛과 함께 배치 가능한 휴대용 매트를 더 포함하는
    프로젝션 캡처 시스템.
  8. 제 2 항에 있어서,
    상기 디스플레이 영역과 상기 캡처 영역은 실질적으로 동일한 영역인
    프로젝션 캡처 시스템.
  9. 작업면과 함께 사용하기 위한 프로젝션 캡처 시스템에 있어서,
    단일 유닛으로서 함께 수용되는 디지털 카메라, 프로젝터, 컨트롤러 및 미러를 포함하고,
    상기 유닛이 작업면과 함께 사용하도록 배치될 때,
    상기 카메라는 캡처 영역을 규정하고, 상기 캡처 영역 내에서 카메라가 작업면 상의 이미지를 취득할 수 있고,
    상기 프로젝터 및 상기 미러는 캡처 영역의 적어도 일부와 겹치는 디스플레이 영역을 작업면 상에 규정하며,
    상기 컨트롤러는 카메라와 프로젝터를 작동 가능하게 연결하고,
    상기 컨트롤러는,
    상기 프로젝터가 캡처 영역을 조명하도록,
    상기 카메라가 캡처 영역 내에서 작업면 상에 위치되며 프로젝터에 의해 조명되는 물체의 이미지를 캡처하도록, 그리고
    상기 프로젝터가 물체 이미지를 디스플레이 영역 내에서 작업면 상에 투영하도록, 카메라 및 프로젝터를 제어하도록 구성되는
    프로젝션 캡처 시스템.
  10. 제 9 항에 있어서,
    상기 카메라, 상기 프로젝터 및 상기 미러는, 상기 유닛이 작업면과 함께 사용하도록 배치될 때, 미러에서 반사된 프로젝터 광으로부터의 글레어 스폿이 카메라 캡처 영역 외측에 놓이도록 서로에 대하여 위치되는
    프로젝션 캡처 시스템.
  11. 제 9 항에 있어서,
    상기 컨트롤러에 작동 가능하게 연결되며, 유저가 작업면 상에서 상기 시스템과 상호작용할 수 있게 하도록 구성된 유저 입력 디바이스를 더 포함하는
    프로젝션 캡처 시스템.
  12. 수평 작업면을 갖는 3차원 작업 공간과 함께 사용하기 위한 상호적인 프로젝션 캡처 시스템에 있어서,
    단일 유닛으로서 함께 수용되는 디지털 카메라, 프로젝터 및 미러와,
    상기 카메라 및 상기 프로젝터에 작동 가능하게 연결되며, 유저가 작업 공간에서 상기 시스템과 상호작용할 수 있게 하도록 구성된 유저 입력 디바이스를 포함하고,
    상기 유닛이 작업 공간과 함께 사용하도록 배치될 때,
    상기 카메라는 3차원 캡처 공간을 규정하고, 상기 캡처 공간 내에서 카메라가 효과적으로 이미지를 취득할 수 있으며, 상기 캡처 공간은 작업면 상의 캡처 영역에 의해 2차원으로 경계 설정되고,
    상기 프로젝터 및 상기 미러는, 캡처 영역의 적어도 일부와 겹치는 작업면 상의 디스플레이 영역에 의해 2차원으로 경계 설정되는 3차원 디스플레이 공간을 규정하며,
    상기 카메라, 상기 프로젝터 및 상기 미러는, 미러에서 반사된 프로젝터로부터의 광이 캡처 공간을 조명하며 반사광으로부터의 글레어 스폿이 캡처 공간의 외측에 놓이도록 서로에 대하여 위치되는
    프로젝션 캡처 시스템.
  13. 제 12 항에 있어서,
    상기 카메라와 상기 프로젝터를 작동 가능하게 연결하는 컨트롤러를 더 포함하고,
    상기 컨트롤러는,
    상기 프로젝터가 캡처 공간을 조명하도록,
    상기 카메라가 캡처 영역 내에서 작업면 상에 위치되며 프로젝터에 의해 조명되는 물체의 이미지를 캡처하도록,
    상기 프로젝터가 물체 이미지를 디스플레이 영역 내에서 작업면 상에 투영하도록, 그리고
    상기 카메라가 투영된 물체 이미지의 이미지를 캡처하도록, 카메라 및 프로젝터를 제어하도록 구성되는
    프로젝션 캡처 시스템.
  14. 제 12 항에 있어서,
    상기 유저 입력 디바이스는 작업 공간 내에서 적외광을 선택적으로 방출하는 적외선 디지털 스타일러스, 및 작업 공간 내에서 상기 스타일러스에 의해 방출된 적외광을 캡처하는 적외선 카메라를 포함하는
    프로젝션 캡처 시스템.
  15. 제 14 항에 있어서,
    상기 적외선 카메라의 캡처 공간은 상기 디스플레이 공간과 일치하는
    프로젝션 캡처 시스템.
  16. 프로젝션 캡처 방법에 있어서,
    카메라가 물체의 이미지를 캡처할 수 있는 카메라 캡처 영역을 설정하는 단계,
    상기 캡처 영역과 겹치며 프로젝터가 광을 투영할 수 있는 프로젝터 디스플레이 영역을 설정하는 단계,
    상기 프로젝터로 카메라 캡처 영역을 조명하는 단계, 및
    상기 프로젝터의 조명에 의한 정반사성 글레어 스폿(specular glare spot)을 카메라 캡처 영역의 외측에 위치시키는 단계를 포함하는
    프로젝션 캡처 방법.
  17. 제 16 항에 있어서,
    상기 정반사성 글레어 스폿을 카메라 캡처 영역의 외측에 위치시키는 단계는, 상기 프로젝터가 미러를 향해 상향으로 광을 투영하는 단계와, 상기 미러가 카메라 캡처 영역 내로 하향으로 광을 반사하는 단계를 포함하는
    프로젝션 캡처 방법.
  18. 제 16 항에 있어서,
    상기 정반사성 글레어 스폿을 카메라 캡처 영역의 외측에 위치시키는 단계는, 상기 프로젝터로부터 카메라 캡처 영역으로 절곡 라인(fold line)을 따라 광로를 절곡시키는 단계를 포함하는
    프로젝션 캡처 방법.
  19. 제 18 항에 있어서,
    상기 절곡 라인은 광 반사 표면에 의해 규정되는
    프로젝션 캡처 방법.
KR1020147005200A 2011-08-02 2011-08-02 프로젝션 캡처 시스템 및 방법 Expired - Fee Related KR101825779B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2011/046253 WO2013019217A1 (en) 2011-08-02 2011-08-02 Projection capture system and method

Publications (2)

Publication Number Publication Date
KR20140068902A true KR20140068902A (ko) 2014-06-09
KR101825779B1 KR101825779B1 (ko) 2018-02-05

Family

ID=47629565

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020147005200A Expired - Fee Related KR101825779B1 (ko) 2011-08-02 2011-08-02 프로젝션 캡처 시스템 및 방법
KR1020147005201A Expired - Fee Related KR101787180B1 (ko) 2011-08-02 2011-09-29 휴대용 프로젝션 캡처 장치

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020147005201A Expired - Fee Related KR101787180B1 (ko) 2011-08-02 2011-09-29 휴대용 프로젝션 캡처 장치

Country Status (8)

Country Link
US (1) US20140139668A1 (ko)
EP (2) EP2740008A4 (ko)
JP (2) JP6059223B2 (ko)
KR (2) KR101825779B1 (ko)
CN (2) CN103827744B (ko)
BR (2) BR112014002463B1 (ko)
IN (1) IN2014CN00543A (ko)
WO (2) WO2013019217A1 (ko)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9582083B2 (en) * 2011-12-22 2017-02-28 Apple Inc. Directional light sensors
USD725110S1 (en) * 2012-10-02 2015-03-24 Hewlett-Packard Development Company, Lp Projected interface device
USD726183S1 (en) * 2012-10-02 2015-04-07 Hewlett-Packard Development Company, L.P. Projected interface device
USD726184S1 (en) * 2012-10-02 2015-04-07 Hewlett-Packard Development Company, L.P. Projected interface device
JP6175866B2 (ja) 2013-04-02 2017-08-09 富士通株式会社 インタラクティブプロジェクタ
JP6097884B2 (ja) * 2013-07-31 2017-03-15 ヒューレット−パッカード デベロップメント カンパニー エル．ピー．Ｈｅｗｌｅｔｔ‐Ｐａｃｋａｒｄ Ｄｅｖｅｌｏｐｍｅｎｔ Ｃｏｍｐａｎｙ， Ｌ．Ｐ． プロジェクターユニット及びコンピューターを含むシステム
KR101800981B1 (ko) * 2013-08-22 2017-11-23 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. 투사 컴퓨팅 시스템
US9569892B2 (en) 2013-09-26 2017-02-14 Qualcomm Incorporated Image capture input and projection output
CN104656869B (zh) * 2013-11-20 2018-07-06 联想(北京)有限公司 一种数据处理方法及电子设备
JP5841587B2 (ja) * 2013-12-25 2016-01-13 株式会社Pfu 撮像システム
WO2015130320A1 (en) * 2014-02-28 2015-09-03 Hewlett-Packard Development Company, L.P. Calibration of sensors and projector
JP2015215416A (ja) * 2014-05-08 2015-12-03 富士通株式会社 プロジェクタ装置
EP3147766A4 (en) * 2014-05-23 2018-03-21 Cinepic Technology (Shenzhen) Limited Interactive display system
EP3175291B1 (en) * 2014-07-31 2021-02-17 Hewlett-Packard Development Company, L.P. Image projection and capture with adjustment for white point
WO2016018416A1 (en) * 2014-07-31 2016-02-04 Hewlett-Packard Development Company, L.P. Determining the location of a user input device
CN106796388A (zh) * 2014-07-31 2017-05-31 惠普发展公司，有限责任合伙企业 来自发光二极管(led)投影仪的白色闪光生成
WO2016018413A1 (en) * 2014-07-31 2016-02-04 Hewlett-Packard Development Company, L.P. Object capture and illumination
EP3175615A4 (en) * 2014-08-01 2018-03-28 Hewlett-Packard Development Company, L.P. Projection of image onto object
WO2016022096A1 (en) * 2014-08-04 2016-02-11 Hewlett-Packard Development Company, L.P. Workspace metadata management
CN107005645A (zh) * 2014-09-10 2017-08-01 惠普发展公司，有限责任合伙企业 具有led光的同时显示的图像投影和捕获
EP3191918B1 (en) * 2014-09-12 2020-03-18 Hewlett-Packard Development Company, L.P. Developing contextual information from an image
WO2016118173A1 (en) * 2015-01-23 2016-07-28 Hewlett-Packard Development Company, L.P. Tracking a handheld device on surfaces with optical patterns
EP3286718A4 (en) 2015-04-23 2018-12-05 Hasbro, Inc. Context-aware digital play
US9659371B2 (en) * 2015-10-08 2017-05-23 Christie Digital Systems Usa, Inc. System and method for online projector-camera calibration from one or more images
CN106210702A (zh) * 2016-08-30 2016-12-07 四川川大智胜软件股份有限公司 一种同步三维数据采集仪、采集系统及采集方法
US11448757B2 (en) 2016-11-29 2022-09-20 Nuvoton Technology Corporation Japan Distance measuring device
US11204662B2 (en) * 2017-01-17 2021-12-21 Hewlett-Packard Development Company, L.P. Input device with touch sensitive surface that assigns an action to an object located thereon
CN106791747A (zh) * 2017-01-25 2017-05-31 触景无限科技（北京）有限公司 台灯互动展示的分时处理方法、装置以及台灯
WO2018173559A1 (ja) 2017-03-23 2018-09-27 ソニー株式会社 検出機能付きプロジェクタ
JP6399135B1 (ja) * 2017-03-30 2018-10-03 日本電気株式会社 画像入出力装置及び画像入出力方法
JP6661717B1 (ja) * 2018-09-12 2020-03-11 三菱電機インフォメーションシステムズ株式会社 プロジェクタに対して設置可能な入力台および入力台システム
EP3857307B1 (en) 2018-09-26 2025-01-15 Hewlett-Packard Development Company, L.P. Image capturing assemblies
CN115379063B (zh) * 2022-07-19 2024-01-16 北京麦哲科技有限公司 一种高拍仪

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2529664A (en) * 1948-02-14 1950-11-14 Ward Hickok Visual educational projector
EP0622722B1 (en) * 1993-04-30 2002-07-17 Xerox Corporation Interactive copying system
JPH08336065A (ja) * 1995-06-09 1996-12-17 Nikon Corp 原稿照明装置及び画像入力装置
US5639151A (en) * 1996-02-16 1997-06-17 Mcnelley; Steve H. Pass-through reflective projection display
GB9614837D0 (en) * 1996-07-12 1996-09-04 Rank Xerox Ltd Interactive desktop system with multiple image capture and display modes
US6095661A (en) * 1998-03-19 2000-08-01 Ppt Vision, Inc. Method and apparatus for an L.E.D. flashlight
WO2001011880A1 (en) * 1999-08-10 2001-02-15 Peter Mcduffie White Communications system
JP4023048B2 (ja) * 1999-10-05 2007-12-19 株式会社日立製作所 背面投写型映像表示システム
US6618076B1 (en) * 1999-12-23 2003-09-09 Justsystem Corporation Method and apparatus for calibrating projector-camera system
US6965460B1 (en) * 2000-08-08 2005-11-15 Hewlett-Packard Development Company, L.P. Method and system for scanning an image using a look-down linear array scanner
US20020180726A1 (en) * 2000-11-06 2002-12-05 Jianbo Shi Paper-based remote sketching system
JP4608766B2 (ja) * 2000-11-27 2011-01-12 ソニー株式会社 固体撮像素子の駆動方法、及びカメラ
US6431711B1 (en) * 2000-12-06 2002-08-13 International Business Machines Corporation Multiple-surface display projector with interactive input capability
US6554434B2 (en) * 2001-07-06 2003-04-29 Sony Corporation Interactive projection system
JP2003152851A (ja) * 2001-11-14 2003-05-23 Nec Corp 携帯端末装置
JP2003276399A (ja) * 2002-03-25 2003-09-30 Matsushita Electric Ind Co Ltd 位置検出方法および装置ならびに電子黒板装置
US7710391B2 (en) * 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US6840627B2 (en) * 2003-01-21 2005-01-11 Hewlett-Packard Development Company, L.P. Interactive display device
JP2004265185A (ja) * 2003-03-03 2004-09-24 Canon Inc デジタイザ付きカメラ付き画像投影装置
JP2004320123A (ja) * 2003-04-11 2004-11-11 Nec Viewtechnology Ltd 資料提示装置
US20050068442A1 (en) * 2003-09-26 2005-03-31 Corey Billington Presentation system and method of use
JP2005128413A (ja) * 2003-10-27 2005-05-19 Pentax Corp 照明制御装置
US7496229B2 (en) * 2004-02-17 2009-02-24 Microsoft Corp. System and method for visual echo cancellation in a projector-camera-whiteboard system
JP2005250392A (ja) * 2004-03-08 2005-09-15 Olympus Corp カメラ
JP2006004010A (ja) * 2004-06-15 2006-01-05 Brother Ind Ltd 画像入出力装置
JP2005354306A (ja) * 2004-06-09 2005-12-22 Brother Ind Ltd 画像入出力装置
US7519223B2 (en) * 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
US7557966B2 (en) * 2004-08-11 2009-07-07 Acushnet Company Apparatus and method for scanning an object
JP4433960B2 (ja) * 2004-09-21 2010-03-17 株式会社ニコン 携帯型情報機器
JP3901185B2 (ja) * 2004-09-27 2007-04-04 カシオ計算機株式会社 投影装置、投影画像の撮影方法及びプログラム
EP1686554A3 (en) * 2005-01-31 2008-06-18 Canon Kabushiki Kaisha Virtual space generating system, image processing apparatus and information processing method
EP1898260A4 (en) * 2005-06-30 2014-07-09 Ricoh Co Ltd DISPLAY DEVICE FOR PROJECTION IMAGE
US7614753B2 (en) * 2005-10-31 2009-11-10 Hewlett-Packard Development Company, L.P. Determining an adjustment
US7599561B2 (en) * 2006-02-28 2009-10-06 Microsoft Corporation Compact interactive tabletop with projection-vision
US8649848B2 (en) * 2006-03-28 2014-02-11 The United States Of America, As Represented By The Secretary Of The Air Force Synchronization of illumination source and sensor for improved visualization of subcutaneous structures
JP4697087B2 (ja) * 2006-08-09 2011-06-08 富士ゼロックス株式会社 画像処理装置
US7690795B2 (en) * 2006-10-06 2010-04-06 Hewlett-Packard Development Company, L.P. Projector/camera system
US7907781B2 (en) * 2007-06-21 2011-03-15 Mitsubishi Electric Research Laboraties, Inc. System and method for determining geometries of scenes
US9377874B2 (en) * 2007-11-02 2016-06-28 Northrop Grumman Systems Corporation Gesture recognition light and video image projector
JP5504570B2 (ja) * 2008-03-27 2014-05-28 カシオ計算機株式会社 カメラ内蔵プロジェクタ及びカメラ内蔵プロジェクタの撮影方法
JP5277703B2 (ja) * 2008-04-21 2013-08-28 株式会社リコー 電子機器
JP5309724B2 (ja) * 2008-06-24 2013-10-09 船井電機株式会社 プロジェクタ
US8355038B2 (en) * 2009-01-28 2013-01-15 Hewlett-Packard Development Company, L.P. Systems for capturing images through a display
US8619178B2 (en) * 2009-01-28 2013-12-31 Hewlett-Packard Development Company, L.P. Image rendition and capture
JP2010224015A (ja) * 2009-03-19 2010-10-07 Sanyo Electric Co Ltd 投写型映像表示装置及び記載ボード及び投写映像システム
JP2010238213A (ja) * 2009-03-30 2010-10-21 Plus Vision Corp タブレットｐｃシステム及び電子筆記シート
JP5395507B2 (ja) * 2009-05-21 2014-01-22 キヤノン株式会社 三次元形状測定装置、三次元形状測定方法及びコンピュータプログラム
NO331527B1 (no) * 2009-12-23 2012-01-23 Cisco Systems Int Sarl Metode for a fjerne flimring i videoopptak
US8842096B2 (en) * 2010-01-08 2014-09-23 Crayola Llc Interactive projection system
US8490002B2 (en) * 2010-02-11 2013-07-16 Apple Inc. Projected display shared workspaces
US8751049B2 (en) * 2010-05-24 2014-06-10 Massachusetts Institute Of Technology Kinetic input/output
US8928735B2 (en) * 2011-06-14 2015-01-06 Microsoft Corporation Combined lighting, projection, and image capture without video feedback

Also Published As

Publication number Publication date
BR112014002448B1 (pt) 2021-12-07
EP2740008A1 (en) 2014-06-11
KR20140054146A (ko) 2014-05-08
JP6068392B2 (ja) 2017-01-25
JP2014529925A (ja) 2014-11-13
CN103827744A (zh) 2014-05-28
BR112014002463A2 (pt) 2017-02-21
KR101825779B1 (ko) 2018-02-05
EP2740008A4 (en) 2015-09-16
BR112014002448A2 (pt) 2017-02-21
EP2740259A1 (en) 2014-06-11
CN103827744B (zh) 2016-04-06
JP6059223B2 (ja) 2017-01-11
JP2014239441A (ja) 2014-12-18
WO2013019252A1 (en) 2013-02-07
WO2013019217A1 (en) 2013-02-07
CN103828341B (zh) 2017-02-15
US20140139668A1 (en) 2014-05-22
KR101787180B1 (ko) 2017-10-18
CN103828341A (zh) 2014-05-28
EP2740259A4 (en) 2015-04-22
BR112014002463B1 (pt) 2020-12-08
IN2014CN00543A (ko) 2015-04-03

Similar Documents

Publication Publication Date Title
KR101825779B1 (ko) 프로젝션 캡처 시스템 및 방법
US9521276B2 (en) Portable projection capture device
KR101795644B1 (ko) 투영 캡쳐 시스템, 투영 캡쳐 프로그래밍, 및 투영 캡쳐 방법
JP6078884B2 (ja) カメラ式マルチタッチ相互作用システム及び方法
US7176881B2 (en) Presentation system, material presenting device, and photographing device for presentation
US8896688B2 (en) Determining position in a projection capture system
US20140267866A1 (en) Non-uniform correction illumination pattern
CN103299259A (zh) 检测装置、输入装置、投影机以及电子设备
TWI439785B (zh) 多重解析度顯示系統

Legal Events

Date Code Title Description
PA0105 International application

St.27 status event code: A-0-1-A10-A15-nap-PA0105

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E90F Notification of reason for final refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U12-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20210131

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20210131