KR20140068902A - 프로젝션 캡처 시스템 및 방법 - Google Patents

프로젝션 캡처 시스템 및 방법 Download PDF

Info

Publication number
KR20140068902A
KR20140068902A KR1020147005200A KR20147005200A KR20140068902A KR 20140068902 A KR20140068902 A KR 20140068902A KR 1020147005200 A KR1020147005200 A KR 1020147005200A KR 20147005200 A KR20147005200 A KR 20147005200A KR 20140068902 A KR20140068902 A KR 20140068902A
Authority
KR
South Korea
Prior art keywords
projector
camera
capture
work surface
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020147005200A
Other languages
English (en)
Other versions
KR101825779B1 (ko
Inventor
데이비드 브래들리 숏
Original Assignee
휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. filed Critical 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피.
Publication of KR20140068902A publication Critical patent/KR20140068902A/ko
Application granted granted Critical
Publication of KR101825779B1 publication Critical patent/KR101825779B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/48—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
    • G03B17/54—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus with projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G03B15/03—Combinations of cameras with lighting apparatus; Flash units
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G03B15/03—Combinations of cameras with lighting apparatus; Flash units
    • G03B15/05—Combinations of cameras with electronic flash apparatus; Electronic flash units
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/132—Overhead projectors, i.e. capable of projecting hand-writing or drawing during action
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/20—Lamp housings
    • G03B21/2006—Lamp housings characterised by the light source
    • G03B21/2033—LED or laser light sources
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/20—Lamp housings
    • G03B21/206—Control of light source other than position or intensity
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/28—Reflectors in projection beam
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of two-dimensional [2D] relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00249—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a photographic apparatus, e.g. a photographic printer or a projector
    • H04N1/00267—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a photographic apparatus, e.g. a photographic printer or a projector with a viewing or projecting apparatus, e.g. for reading image information from a film
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00405—Output means
    • H04N1/00408—Display of information to the user, e.g. menus
    • H04N1/0044—Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00493—Particular location of the interface or console
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00496—Constructional details of the interface or console not otherwise provided for, e.g. rotating or tilting means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00519—Constructional details not otherwise provided for, e.g. housings, covers
    • H04N1/00562—Supporting the apparatus as a whole, e.g. stands
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/024—Details of scanning heads ; Means for illuminating the original
    • H04N1/028—Details of scanning heads ; Means for illuminating the original for picture information pick-up
    • H04N1/02815—Means for illuminating the original, not specific to a particular type of pick-up head
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • H04N1/19—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays
    • H04N1/195—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays the array comprising a two-dimensional [2D] array
    • H04N1/19594—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays the array comprising a two-dimensional [2D] array using a television camera or a still video camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3102—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] using two-dimensional electronic spatial light modulators
    • H04N9/3111—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] using two-dimensional electronic spatial light modulators for displaying the colours sequentially, e.g. by using sequentially activated light sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3173—Constructional details thereof wherein the projection device is specially adapted for enhanced portability
    • H04N9/3176—Constructional details thereof wherein the projection device is specially adapted for enhanced portability wherein the projection device is incorporated in a camera
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/147—Optical correction of image distortions, e.g. keystone
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2215/00—Special procedures for taking photographs; Apparatus therefor
    • G03B2215/05—Combinations of cameras with electronic flash units
    • G03B2215/0564—Combinations of cameras with electronic flash units characterised by the type of light source
    • G03B2215/0567—Solid-state light source, e.g. LED, laser
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B27/00—Photographic printing apparatus
    • G03B27/32—Projection printing apparatus, e.g. enlarger, copying camera
    • G03B27/323—Copying cameras
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B33/00—Colour photography, other than mere exposure or projection of a colour film
    • G03B33/06—Colour photography, other than mere exposure or projection of a colour film by additive-colour projection apparatus
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G03B5/02—Lateral adjustment of lens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077—Types of the still picture apparatus
    • H04N2201/0089—Image display device

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Projection Apparatus (AREA)
  • Accessories Of Cameras (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Video Image Reproduction Devices For Color Tv Systems (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

일례에 있어서, 프로젝션 캡처 시스템은, 단일 유닛으로서 함께 수용되는 디지털 카메라, 프로젝터 및 미러를 포함하고, 단일 유닛이 작업면과 함께 사용하도록 배치될 때, 카메라는 프로젝터 위에 위치되고, 프로젝터는 카메라 아래에 위치되며, 미러는 프로젝터 위에 위치되어 프로젝터로부터의 광을 카메라 캡처 영역 내로 반사하도록 구성된다. 일례에 있어서, 프로젝션 캡처 방법은, 카메라가 물체의 이미지를 캡처할 수 있는 카메라 캡처 영역을 설정하는 단계, 캡처 영역과 겹치며 프로젝터가 광을 투영할 수 있는 프로젝터 디스플레이 영역을 설정하는 단계, 프로젝터로 카메라 캡처 영역을 조명하는 단계, 및 프로젝터의 조명에 의한 정반사성 글레어 스폿을 카메라 캡처 영역의 외측에 위치시키는 단계를 포함한다.

Description

프로젝션 캡처 시스템 및 방법{PROJECTION CAPTURE SYSTEM AND METHOD}
본 발명은 프로젝션 캡처 시스템 및 방법에 관한 것이다.
문서 및 다른 물체의 디지털 캡처 이미지를 개선하려는 노력과, 실제 물체 및 물리적인 작업면 상에 투영된 물체와 함께 작업하는 상호적인 유저 경험을 개선하려는 노력의 일환으로 신규한 프로젝션 캡처 시스템이 개발되고 있다.
본 발명은 작업 공간 내의 2차원 및 3차원 물체에 대한 적절한 조명 및 투영에 필요한 프로젝터 광로를 위한 충분히 급격한 입사각을 유지하면서도, 종래의 카메라 조명의 기하학적 구조로 인한 부작용에 유발되는 글레어를 회피할 수 있는 프로젝션 캡처 시스템 및 프로젝션 캡처 방법을 제공하는 것을 목적으로 한다.
일례에 있어서, 프로젝션 캡처 시스템은, 단일 유닛으로서 함께 수용되는 디지털 카메라, 프로젝터 및 미러를 포함하고, 단일 유닛이 작업면과 함께 사용하도록 배치될 때, 카메라는 프로젝터 위에 위치되고, 프로젝터는 카메라 아래에 위치되며, 미러는 프로젝터 위에 위치되어 프로젝터로부터의 광을 카메라 캡처 영역 내로 반사하도록 구성된다. 일례에 있어서, 프로젝션 캡처 방법은, 카메라가 물체의 이미지를 캡처할 수 있는 카메라 캡처 영역을 설정하는 단계, 캡처 영역과 겹치며 프로젝터가 광을 투영할 수 있는 프로젝터 디스플레이 영역을 설정하는 단계, 프로젝터로 카메라 캡처 영역을 조명하는 단계, 및 프로젝터의 조명에 의한 정반사성 글레어 스폿을 카메라 캡처 영역의 외측에 위치시키는 단계를 포함한다.
도 1a 및 도 1b는 본 발명의 일례에 따른, 신규한 프로젝션 캡처 시스템을 예시하는 외부 사시도이다. 도 1a에는, 2차원 물체(하드카피 사진)의 이미지가 캡처 및 디스플레이되어 있다. 도 1b에는, 3차원 물체(정육면체)의 이미지가 캡처 및 디스플레이되어 있다.
도 2는 본 발명의 일례에 따른, 도 1의 시스템과 같은 프로젝션 캡처 시스템을 예시하는 내부 사시도이다.
도 3은 도 2에 도시된 프로젝션 캡처 시스템의 블록 다이어그램이다.
도 4는 도 2 및 도 3에 도시된 시스템 내의 유저 입력 디바이스의 일례를 예시하는 블록 다이어그램이다.
도 5 및 도 6은 각각 도 2 및 도 3에 도시된 프로젝션 캡처 시스템 내의 카메라 및 프로젝터의 위치결정을 예시하는 측면도 및 정면도이다.
도 7 내지 도 11은 카메라 캡처 영역에서의 글레어 스폿(glare spot)의 이동과 연계된 일부 문제점들을 예시하는, 프로젝션 캡처 시스템 내의 프로젝터 및 카메라에 대한 다양한 위치들을 도시하는 일련의 측면도들이다.
도 12 및 도 13은 도 2 및 도 3에 도시된 프로젝션 캡처 시스템 내의 카메라의 일례를 예시한다.
도 14는 도 2 및 도 3에 도시된 프로젝션 캡처 시스템 내의 프로젝터의 일례를 예시한다.
도 15 및 도 16은 도 2 및 도 3에 도시된 프로젝션 캡처 시스템 내의 유저 입력 디바이스의 예들을 예시한다.
도면들에서 동일한 부품 번호들은 동일 또는 유사한 부품들을 지칭하는데 사용된다.
도면들에 도시되고 후술되는 예들이 예시되지만, 이 상세한 설명에 이어지는 특허청구범위에서 규정되는 발명을 제한하는 것은 아니다.
신규한 프로젝션 캡처 시스템의 일례에 있어서, 디지털 카메라, 프로젝터 및 미러는 단일 유닛으로서 함께 수용되고, 유닛이 작업면과 함께 사용하도록 배치될 때, 카메라는 프로젝터 위에 위치되고, 프로젝터는 카메라 아래에 위치되며, 미러는 프로젝터 위에 위치되어 프로젝터로부터의 광을 카메라 캡처 영역 내로 반사하도록 구성된다. 일례에 있어서, 프로젝터는 이미지를 캡처하는 카메라에 광원을 제공하고, 카메라, 프로젝터 및 미러는 프로젝터 광으로부터의 글레어 스폿이 카메라 캡처 영역 외측에 놓이도록 서로에 대하여 위치된다.
도 1a 및 도 1b는 신규한 프로젝션 캡처 시스템(10) 및 이 시스템(10)과 연계된 상호적인 작업 공간(12)의 일례를 예시하는 외부 사시도이다. 도 2는 외부 하우징(13)을 제거한 프로젝션 캡처 시스템(10)의 일례를 예시하는 사시도이다. 도 3은 도 2에 도시된 시스템(10)의 블록 다이어그램이다. 도 1a, 도 1b, 도 2, 및 도 3을 참조하면, 프로젝션 캡처 시스템(10)은 디지털 카메라(14), 프로젝터(16) 및 컨트롤러(18)를 포함한다. 카메라(14) 및 프로젝터(16)는, 작업 공간(12)에서 물체(20)의 이미지를 캡처하는 카메라(14) 및 물체 이미지(22)를 작업 공간(12) 내에 투영하는 프로젝터(16)에 대하여, 또한 일부 예에 있어서는, 투영된 물체 이미지(22)의 이미지를 캡처하는 카메라(14)에 대하여, 컨트롤러(18)에 작동 가능하게 연결된다. 하우징(13)의 하부 부위는 프로젝터(16)(및 적외선 카메라(30)) 위로 투명창(21)을 포함한다.
도 1a에 도시된 예에 있어서는, 작업 공간(12) 내의 작업면(24) 위에 놓인 2차원 물체(20)(하드카피 사진)가 카메라(14)에 의해 촬영되고(도 2 참조), 물체(20)는 작업 공간(12)의 옆으로 제거되고, 물체 이미지(22)가 작업면(24) 위에 투영되는데, 물체 이미지는 카메라(14)에 의해 촬영될 수 있거나(도 2 참조), 및/또는 유저에 의해 조작될 수 있다. 도 1b에 도시된 예에 있어서는, 작업면(24) 위에 놓인 3차원 물체(20)(정육면체)가 카메라(14)에 의해 촬영되고(도 2 참조), 물체(20)는 작업 공간(12)의 옆으로 제거되고, 물체 이미지(22)가 작업 공간(12) 내로 투영되는데, 물체 이미지는 카메라(14)에 의해 촬영될 수 있거나(도 2 참조), 및/또는 유저에 의해 조작될 수 있다.
시스템(10)은 유저가 시스템(10)과 상호작용할 수 있게 하는 유저 입력 디바이스(26)를 또한 포함한다. 유저는 입력 디바이스(26)를 통해 작업 공간(12) 내의 물체(20) 및/또는 물체 이미지(22)와 상호작용할 수 있고, 물체 이미지(22)는 협업 유저 상호작용을 위해 원격 시스템(10)(도시되지 않음)들 상의 다른 작업 공간(12)들에 전송되고, 필요에 따라, 물체 이미지(22)는 카메라(14)에 의해 촬영되어, 추가의 유저 상호작용을 위해 로컬 및/또는 원격 작업 공간(12) 내로 재투영될 수도 있다. 도 1a에 있어서, 작업면(24)은 데스크톱 또는 다른 하위 지지 구조체(23)의 일부이다. 도 1b에 있어서, 작업면(24)은 터치 감응 영역들을 포함할 수 있는 휴대용 매트(25)의 상면이다. 도 1a에서는, 예컨대 유저 컨트롤 패널(27)이 작업면(24) 위에 투영되는 반면, 도 1b에서는, 컨트롤 패널(27)이 매트(25)의 터치 감응 영역에 매립될 수 있다. 유사하게, A4 사이즈, 레터 사이즈 또는 다른 표준 사이즈의 문서 배치 영역(29)이 도 1a에서는 작업면(24) 위에 투영될 수 있거나, 또는 도 1b에서는 매트(25) 상에 인쇄될 수 있다. 물론, 다른 구성들의 작업면(24)도 가능하다. 예컨대, 몇몇 응용 분야에서는, 시스템(10)에 대하여, 작업면(24)의 컬러, 질감 또는 다른 특성들을 컨트롤하기 위해 다른 블랭크 매트(25)를 사용하는 것이 바람직할 수 있으며, 그에 따라 컨트롤 패널(27) 및 문서 배치 영역(29)은, 도 1a에서 데스크톱(23) 위에 투영되는 것과 마찬가지로, 도 1b에서도 블랭크 매트(25) 위에 투영될 수 있다.
도 4에 도시된 예에 있어서, 유저 입력 디바이스(26)는 적외선 디지털 스타일러스(28) 및 작업 공간(12)에서 스타일러스(28)를 검출하는 적외선 카메라(30)를 포함한다. 임의의 적절한 유저 입력 디바이스가 사용될 수 있지만, 디지털 스타일러스는, 감지 패드 또는 다른 특수한 표면 없이, 작업면(24)을 따라 3차원 입력을 허용하는 장점을 갖는다. 따라서, 시스템(10)은 매우 다양한 작업면(24) 상에서 사용될 수 있다. 또한, 통상적으로 작업면(24)의 수평 방위는 다수의 공통 태스크에 유용하다. 작업면(24) 상에서 기존의 필기 도구들을 사용할 수 있는 능력은 수직형 또는 모바일 컴퓨팅 인터페이스에 대하여 유리하다. 작업용 데스크톱 위로 상호적인 디스플레이를 투영하면, 컴퓨팅 태스크들이 실제 데스크톱 상에 존재할 수 있는 표준 물체들과 혼합되고, 그에 따라 물리적인 물체들이 투영된 물체들과 공존할 수 있다. 상기와 같이, 실제 필기 도구들 및 그들의 디지털 대응물들(예컨대, 스타일러스(28))을 사용하는 편의성은 유효한 사용 모델이다. 3차원 패드-프리(pad-free) 디지털 스타일러스는 작업면(24) 상에서 기존의 도구들을 사용하는 것에 방해가 되는 감지 패드를 갖지 않고 물리적 물체들의 상부에 또는 옆에 주석달기를 가능하게 한다.
시스템(10)에 대한 예시적인 일 구현에 있어서, 프로젝터(16)는 카메라(14)용 광원으로서 기능한다. 카메라 캡처 영역(32)(도 12 참조) 및 프로젝터 디스플레이 영역(34)(도 14 참조)은 작업면(24) 상에서 겹친다. 따라서, 이미지 투영 및 카메라 발광 모두에 대하여 프로젝터(16)를 이용해서 상당한 작동 효율이 얻어질 수 있다. 작업 공간(12)을 통한 프로젝터(16)로부터 작업면(24)까지의 광로는, 오히려 카메라(14)를 가리게 되는 작업면(24) 및 작업 공간(12) 내의 물체들에서의 정반사성 글레어(specular glare)를 회피하면서, 그림자 폐색(shadow occlusion)이 최소인 유저 디스플레이 상호작용이 가능하도록 카메라(14)에 대하여 위치되어야 한다. 후술하는 시스템 구성은, 작업 공간(12) 내의 2차원 및 3차원 물체에 대한 적절한 조명 및 투영에 필요한 프로젝터 광로를 위한 충분히 급격한 입사각을 유지하면서도, 종래의 카메라 조명의 기하학적 구조로 인한 부작용에 유발되는 글레어를 회피한다.
이상적으로는, 프로젝터(16)는 평행 광선들을 보장하도록 작업면(24)보다 높은 무한한 높이에서 작업 공간(12) 바로 위에 설치되게 된다. 물론, 이 구성은 비현실적이다. 프로젝터(16)가 작업면(24)보다 높은 현실적인 높이까지 내려졌다고 해도(그러나, 여전히 아래쪽을 지향하고 있음), 프로젝터의 광은 광택 및 반광택 표면들 및 물체들에서 바로 카메라(14)에 반사되게 되어, 눈부신 정반사성 글레어가 생성된다. 따라서, 글레어 스폿은 카메라 캡처 영역(32)에서 이동되어야 한다 (정반사성 글레어는 입사 광선의 입사 각도와 반사 광선의 반사 각도가 동일하고, 입사, 반사 및 법선 방향이 동일평면에 있는 정반사성 반사로부터의 글레어를 의미한다).
이 정반사성 글레어의 문제점에 대한 상업적으로 합리적인 해법을 달성하기 위해, 카메라(14) 및 프로젝터(16)는 캡처의 중심 및 디스플레이 영역들(32, 34)로부터 시프트되고, 프로젝터(16)는 도 5 및 도 6에 도시된 바와 같이, 베이스(36) 가까이에 낮게 위치되며, 절곡 미러(fold mirror)(38)는 프로젝터의 광로 내로 도입되어, 프로젝터 위치가 작업면(24)보다 높게 보이게 시뮬레이션한다. 미러(38) 위쪽에 있는 프로젝터(16)의 시뮬레이션된 위치 및 상응하는 광로는 도 5 및 도 6에서는 가상선으로 도시된다. 그러나, 도 5 및 도 6에 도시된 구성을 더 상세히 기술하기 전에, 카메라 캡처 영역(32)에서 글레어 스폿을 이동시키는 다른 가능한 구성들과 연계된 문제점들을 고려하는 것이 도움이 된다.
도 7에 있어서, 오버헤드 프로젝터(16)가 중심에서 약간 벗어나 있는 상태에서 카메라(14)가 캡처 영역(32)의 중심에 위치되므로, 카메라(14)는 프로젝터 광로를 막지 않는다. 도 7의 구성에 있어서, 정반사성 글레어 스폿(39)(입사 광선(41)과 반사 광선(43)의 교점에 있음)은 캡처 영역(32) 내에 들어가고, 그에 따라 캡처 영역(32) 내의 몇몇 물체들 및 이미지에 대하여 카메라(14)를 눈부시게 만든다. 또한, 카메라(14) 및 프로젝터(16)가 모두 베이스보다 높게 위치되어 있는 도 7에 도시된 구성에 대해서는, 시스템(10)은 상부가 무거워지기 때문에, 상업용 제품 구현에는 바람직하지 않다. 프로젝터(16)가, 도 8에 도시된 바와 같이, 글레어 스폿(39)을 카메라 캡처 영역(32) 밖으로 이동시키는데 필요한 거리로 옆으로 위치되면, 그에 상응하여 필요해지는 프로젝터 렌즈 오프셋은 실현 불가능해지게 된다. 또한, 도 8에 도시된 시스템(10)의 구성에 대한 임의의 제품 구현은 바람직하지 않게 폭이 커지고 상부가 무거워지게 된다.
도 9에 도시된 바와 같이, 캡처 영역(32) 위에서 카메라(14)를 중심에서 벗어나게 이동시키면, 시스템의 폭이 덜 커지게 프로젝터(16)가 옮겨지지만, 프로젝터 렌즈 오프셋은 여전히 지나치게 크고 제품은 여전히 상부가 무겁다. 도 10에 도시된 구성에 있어서, 프로젝터(16)는 용인 가능한 렌즈 오프셋을 위해 충분히 가깝게 옮겨질 수 있도록 하는 높이까지 올려지지만, 물론 제품은 이제 키가 너무 크고 상부가 무거워진다. 가장 바람직한 해법은, 도 10의 "높고 가까운(high and tight)" 구성을 절곡 미러(38)를 사용하여 시뮬레이션한, 도 5 및 도 11에 도시된 프로젝터(16)에 대한 "절곡된(folded)" 광로이다. 도 5 및 도 11에 있어서, 프로젝터(16) 및 상부 광로는 미러(38)의 반사면 위로 절곡되어, 도 10의 구성에서와 마찬가지로 작업면(24)에 대하여 동일한 광로를 투영한다. 이 절곡 효과는 절곡 각도들이 θ1=θ2이고 φ1=φ2인 도 5에 가장 잘 나타난다.
도 5 및 도 6에 도시된 바와 같이, 카메라(14)는 프로젝터의 광로를 막지 않도록 작업 공간(12) 위로 미러(38)의 전방에 놓인다. 카메라(14)는, 카메라(14) 및 프로젝터(16) 모두에 대한 용인 가능한 오프셋으로, 글레어 스폿(39)을 캡처 영역(32) 밖에 유지하기 위해 전체 기하학적 구조의 일부로서 Y 방향으로 중심에서 벗어나 위치된다(도 5 참조). 프로젝터(16)는, 프로젝터(16)로부터의 광이 미러(38)에서 작업 공간(12) 내로 반사되도록, 미러(38) 상에 초점이 맞춰진다. 프로젝터(16)를 하향 이동시키고 프로젝터 광로 내로 절곡 미러(38)를 도입함으로써, 글레어 스폿(39)은 용인 가능한 프로젝터 오프셋으로 캡처 영역(32) 밖에 유지되고, 시스템(10)은 충분히 폭이 좁고, 길이가 짧으며, 안정되어(상부가 무겁지 않음), 상업적으로 매력적인 제품 구현을 지원한다.
따라서, 도 1a, 도 1b, 및 도 2를 다시 참조하면, 시스템(10)의 구성요소들은 단일의 장치(40)로서 함께 수용될 수 있다. 또한, 도 3을 참조하면, 시스템(10)을 통합된 독립형 장치(40)로서 구현하는 것을 돕기 위해, 컨트롤러(18)는 장치(40) 내에 함께 수용된 프로세서(42), 메모리(44) 및 입력/출력부(46)를 포함할 수 있다. 이러한 컨트롤러(18)의 구성에 대하여, 카메라(14) 및 프로젝터(16)의 기능들을 컨트롤 및 편성하는 시스템 프로그래밍은 프로세서(42)에 의한 실행을 위해 실질적으로 컨트롤러 메모리(44) 상에 상주할 수 있고, 그에 따라 독립형 장치(40)를 가능하게 하고 카메라(14) 및 프로젝터(16)의 특수 프로그래밍에 대한 필요성을 낮춘다. 예컨대, 컨트롤러(18)가 전체적으로 또는 부분적으로 카메라(14) 및 프로젝터(16)로부터 원격인 컴퓨터 또는 서버를 이용해서 형성되는, 다른 구성들이 가능한 상태에서, 도 1a, 도 1b 및 도 2에 도시된 장치(40)와 같은 콤팩트한 독립형 기기는 통합된, 콤팩트한 모바일 장치(40) 내의 완전한 기능을 유저에게 제공한다.
이제 도 12를 참조하면, 카메라(14)는 캡처 영역(32)의 중심에서 오프셋된 위치에서 작업 공간(12)보다 높은 미러(38)의 전방에 위치된다. 상기한 바와 같이, 이러한 카메라(14)의 오프셋된 위치는, 작업 공간(12) 내의 물체들의 촬영시에, 프로젝터(16)의 광로를 막는 일 없이 정반사성 글레어를 회피하는 것을 돕는다. 카메라(14)가 작업 공간(12) 내의 스틸 및 비디오 이미지를 선택적으로 캡처하는 일반적으로 임의의 적절한 디지털 카메라를 나타내고 있지만, 시스템(10)의 대다수의 응용 분야에서는 고해상도 디지털 카메라가 사용될 것으로 기대된다. 본 명세서에서 사용된 "고해상도(high resolution)" 디지털 카메라는 적어도 12 메가픽셀의 센서 어레이를 갖는 카메라를 의미한다. 몇몇 기본적인 스캔 및 복사 기능에 대해서는 저해상도 카메라가 용인될 수 있지만, 현재 12 메가픽셀보다 낮은 해상도는 조작 및 협업 기능의 모든 범위에 대하여 충분히 상세한 디지털 이미지를 생성하기에는 부적합하다. 고해상도 센서들을 갖춘 소형의 고품질 디지털 카메라가 지금은 매우 일반적이며 다양한 카메라 제조사로부터 시판되고 있다. 다수의 디지털 카메라에서 이용 가능한 고성능 디지털 신호 처리(DSP) 칩과 짝을 이루는 고해상도 센서는, 대부분의 시스템(10) 응용 분야에 대하여 용인 가능한 성능을 전달하기 위해, 충분히 빠른 이미지 처리 시간, 예컨대 클릭부터 프리뷰까지의 시간이 초 단위 미만인 시간을 제공한다.
이제, 도 13을 또한 참조하면, 도시된 예에 있어서, 카메라 센서(50)는 작업면(24)의 평면에 평행한 평면에서 배향되고, 광은 시프트 렌즈(52)를 통해 센서(50)에 초점이 맞춰진다. 센서(50) 및 렌즈(52)의 이 구성은, 물체 이미지에서의 디지털 키스톤(keystone) 보정 없이, 키스톤 왜곡을 선택적으로 보정하는데 사용될 수 있다. 카메라(14)의 시야는 카메라(14)가 이미지를 효과적으로 캡처할 수 있는 작업 공간(12) 내에 3차원 캡처 공간(51)을 규정한다. 캡처 공간(51)은 작업면(24) 상의 카메라 캡처 영역(32)에 의해 X 및 Y 차원에서 경계 설정된다. 렌즈(52)는 캡처 공간(51)에 대응하는 고정 거리, 고정 초점, 및 고정 줌에 대하여 최적화될 수 있다.
도 14를 참조하면, 프로젝터(16)는 프로젝터 디스플레이 영역(34) 외측에서 베이스(36) 부근에 위치되며, 프로젝터(16)로부터의 광이 미러(38)에서 작업 공간(12) 내로 반사되도록 미러(38) 상에 초점이 맞춰진다. 프로젝터(16) 및 미러(38)는 프로젝터(16)가 이미지를 효과적으로 디스플레이할 수 있는 작업 공간(12) 내에 3차원 디스플레이 공간(53)을 규정한다. 프로젝터 디스플레이 공간(53)은 카메라 캡처 공간(51)(도 12 참조)과 겹치고, 작업면(24) 상의 디스플레이 영역(34)에 의해 X 및 Y 차원에서 경계 설정된다. 프로젝터(16)는 임의의 적절한 광 프로젝터를 나타내는 것이 일반적이지만, 시스템(10)의 대부분의 응용 분야에 대해서는, 콤팩트한 사이즈 및 전력 효율의 LED 또는 레이저 기반 DLP(digital light processing) 프로젝터가 바람직하다. 프로젝터(16)는 투영된 이미지에서 완전한 광학적 키스톤 보정을 허용하기 위해 시프트 렌즈를 채용할 수도 있다. 상기한 바와 같이, 미러(38)의 사용은 프로젝터(16)의 오버헤드 배치를 모방해서 프로젝터의 유효 광로의 길이를 증가시키면서도, 통합된 독립형 장치(40)에 대한 상업적으로 합리적인 높이를 허용한다.
독립형 장치(40)로서의 시스템(10)에 대하여 적절한 특성들의 일례는 표 1에 나열된다(표 1에서의 차원은 도 5 및 도 6을 참조함).
카메라 프로젝터
센서 메가픽셀 12 MP
센서 애스펙트비
X/Y		 1.333
픽셀 사이즈 0.00175 ㎜
CX 물체 전체 사이즈(X축) 427 ㎜ PX 조명 전시야(X축) 310 ㎜
CY 물체 전체 사이즈(Y축) 320 ㎜ PY 조명 전시야(Y축) 310 ㎜
CH 카메라 높이 450 ㎜ PH 프로젝터 높이 670 ㎜
CS Y축 카메라 시프트 150 ㎜ PS Y축 프로젝터 시프트 330 ㎜
배율-1 66
센서 픽셀(X축) 4016 렌즈 오프셋 216%
센서 픽셀(Y축) 3016 렌즈 시프트 108%
센서 사이즈(X축) 7.028 ㎜ 최대 Y축 팬 각도 35.76 deg
센서 사이즈(Y축) 5.278 ㎜ 최소 Y축 팬 각도 14.84 deg
이미지 사이즈(X축) 6.470 ㎜ 반시야(X축) 203.5 ㎜
이미지 사이즈(Y축) 4.848 ㎜ 반시야(Y축) 482.5 ㎜
반시야(X축) 213.5 ㎜ 투사율 1.65
반시야(Y축) 280 ㎜ 최대 투사 각도 38.01 deg
전시야 각도 76.08 deg CC 카메라 제거 거리 51.6 ㎜
샘플링 해상도 220 ppi GC 글레어 스폿 제거 거리 44.4 ㎜
캡처 길이(X축) 464.85 ㎜
캡처 길이(Y축) 348.35 ㎜
프로젝터(16)는 스틸 및 비디오 캡처를 위한 카메라(14)용 광원으로서 작용하기 때문에, 프로젝터 광은 정반사성 글레어에 의한 결함을 야기할 수도 있는 임의의 주변 광을 압도할 만큼 충분히 밝아야 한다. 200 루멘 이상의 프로젝터 광은 시스템(10) 및 장치(40)의 통상의 데스크톱 응용 분야에 대한 주변 광을 압도할 만큼 충분히 밝은 것으로 판정되어 있다. 비디오 캡처 및 실시간 비디오 협업을 위하여, 프로젝터(16)는 백색광을 작업 공간(12)에 비춰서 물체(들)(20)를 조명한다. LED 프로젝터(16)에 대하여, 백색광을 형성하는 적색, 녹색 및 청색 LED의 시간 순서(time sequencing)는 카메라(14)의 비디오 프레임 레이트(frame rate)와 동기된다. 프로젝터(16)의 리프레시 레이트(refresh rate) 및 각각의 LED 서브-프레임 리프레시 기간은 비디오 이미지에서의 "무지개 줄무늬 형성(rainbow banding)" 및 다른 원치 않는 영향을 회피하기 위해 각각의 캡처된 프레임에 대하여 진정수(integral number)의 카메라 노출 시간이어야 한다. 또한, 카메라의 비디오 프레임 레이트는 통상적으로 AC 라인 주파수의 2배(예컨대, 60㎐ AC 전원선에 대하여 120㎐)로 깜빡이는 임의의 주변 형광 발광 주파수와 동기되어야 한다. 주변 광 주파수를 감지하고, 그에 따라 카메라(14)의 비디오 프레임 레이트를 조절하기 위해, 주변 광 센서가 사용될 수 있다. 스틸 이미지 캡처에 대해서는, 프로젝터의 적색, 녹색 및 청색 LED가 작업 공간(12)에서 휘도를 증가시키기 위해 카메라 플래시에 대하여 동시에 턴온될 수 있어, 주변 광을 압도하는 것을 돕는 한편, 보다 빠른 셔터 스피드 및/또는 보다 작은 조리개가 이미지에서의 노이즈를 줄일 수 있게 한다.
도면에 도시되고 상술된 독립형 장치(40)에 통합된 시스템(10)의 예시적인 구성은 제품 사이즈, 성능, 유용성, 및 비용 사이의 바람직한 균형을 달성한다. 프로젝터(16)의 절곡된 광로는, 카메라(14)의 캡처 영역에서의 정반사성 글레어를 방지하도록 작업 공간(12)보다 높은 프로젝터의 유효한 배치를 유지하면서, 장치(40)의 높이를 줄인다. 프로젝터의 광로는 3D 물체 이미지 캡처를 가능하게 하는 급경사각으로 수평 작업면(24)에 비춘다. 이러한 긴 광로 및 급경사각의 조합은 캡처 영역을 가로지르는 광 감소를 최소화해서 카메라 플래시에 대한 광 균일성을 최대화한다. 또한, 절곡된 광로는 제품 안정성을 위해 프로젝터(16)를 베이스(36) 부근에 배치할 수 있게 한다.
시스템(10)에서 사용하기에 적합한 입력 장치들 및 기법들은, 예컨대 손가락 터치, 터치 제스처, 스타일러스, 공중 제스처, 음성 인식, 머리 추적 및 안구 추적을 포함한다. 터치 패드는 그래픽 유저 인터페이스를 다루거나, 또는 푸시(push), 플릭(flick), 스와이프(swipe), 스크롤(scroll), 핀치-투-줌(pinch-to-zoom), 및 투-핑거-로테이트(two-finger-rotate)와 같은 직관적인 제스처 동작들을 수행하는 멀티-터치 인터페이스를 가능하게 하는데 사용될 수 있다. 터치 패드 없이, 공중 제스처 또는 제한된 터치 및 터치 제스처 검출이 가능하도록, 구조형 광(structured light), 전파 시간(time-of-flight), 동요형 광 패턴(disturbed light pattern), 또는 입체 시각(stereoscopic vision)을 이용하는 깊이 카메라(depth camera)가 사용될 수도 있다. 터치-프리(touch-free) 디지털 스타일러스는, 특히 시스템(10)에 대한 유저 입력부(26)로서 매우 적합하다. 따라서, 도면들에 도시된 예에 있어서, 유저 입력부(26)는 적외선 디지털 스타일러스(28) 및 작업 공간(12)에서 스타일러스(28)를 검출하기 위한 적외선 카메라(30)를 포함한다. 상기한 바와 같이, 터치-프리 디지털 스타일러스는, 감지 패드 또는 다른 특수 표면 없이도, 작업면(24)을 따라 3차원 입력을 허용한다는 장점을 갖는다.
이제, 도 4 및 도 15를 참조하면, 입력 디바이스(26)는 적외선 스타일러스(28), 적외선 카메라(30) 및 스타일러스 충전용 도크(dock)(54)를 포함한다. 스타일러스(28)는 적외광(56), 터치에 기초하여 광(56)을 자동으로 켜고 끄는 터치 감응 닙(nip) 스위치(58), 및 광(56)을 수동으로 켜고 끄는 수동 온/오프 스위치(60)를 포함한다(닙 스위치(58) 및 수동 스위치(60)는 도 4의 블록 다이어그램에 도시된다). 광(56)은, 카메라(30)와 광(56) 사이의 선명한 시선(line-of-sight)을 유지하는 것을 돕기 위해, 예컨대 도 15에 도시된 바와 같이, 스타일러스(28)의 선단에 위치될 수 있다. 광(56)은 광의 온 또는 오프를 유저가 결정하는 것을 돕기 위해 가시광을 방출할 수도 있다.
닙 스위치(58)는 약 2그램의 힘에 대한 터치 감응형으로 되어, 예컨대 기존의 필기 도구를 시뮬레이션할 수 있다. 스타일러스의 닙이 작업면(24) 또는 다른 물체를 터치할 때, 닙 스위치(58)는 접촉을 검출해서 광(56)을 켠다. 광(56)의 켜짐은 터치 접촉 이벤트(마우스 버튼 클릭 또는 터치 패드 상의 손가락 터치와 유사)의 신호를 보내는 카메라(30)에 의해 검출된다. 카메라(30)는, 광(56)이 지속되는 동안은 스타일러스(28)의 임의의 움직임을 추적하는 접촉 신호를 지속적으로 보낸다. 유저는 표면을 추적하거나 또는 제어 기능들을 활성화시키기 위해 임의의 표면 주위로 스타일러스(28)를 펜처럼 슬라이드시킬 수 있다. 스타일러스 닙이 더 이상 물체와 접촉하지 않을 때, 광(56)이 꺼지는 한편, 카메라(30)는 접촉 신호를 보내지 않는다. 수동 광 스위치(60)는 비접촉 이벤트의 신호를 보내는데 사용될 수 있다. 예컨대, 3차원 작업 공간(12)에서의 작업시에, 유저는 수동으로 "가상(virtual)" 접촉 이벤트의 신호를 보냄으로써 작업면(24) 위에서 투영된 이미지를 수정, 변경 또는 조작하기를 바랄 수 있다.
적외선 카메라(30) 및 미러(38)는 작업 공간(12) 내에 3차원 적외선 캡처 공간(61)을 규정하고, 그 안에서 적외선 카메라(30)가 스타일러스(28)로부터의 광을 효과적으로 검출할 수 있다. 캡처 공간(61)은 작업면(24) 상의 적외선 카메라 캡처 영역(62)에 의해 X 및 Y 차원에서 경계 설정된다. 도시된 예에 있어서는, 도 14와 도 15의 비교에 의해 가장 잘 알 수 있듯이, 적외선 카메라 캡처 공간(61)은 프로젝터 디스플레이 공간(53)과 같은 공간을 차지하고 있다. 따라서, 적외선 카메라(30)는 디스플레이 공간(53) 내의 어디에서든 스타일러스 활성화를 캡처할 수 있다.
도 16에 도시된 예시적인 일 구현에 있어서, 카메라(30)는 스타일러스(28)를 확인하는 것을 돕기 위해 프로젝터 시야 및 적외선 카메라 시야가 일치하는 프로젝션 광로에 포함되고, 그에 따라 적외선 카메라(30)로부터의 신호의 추적은 작업 공간(12) 내의 어디에서든 프로젝터 디스플레이와 적절히 정렬된다. 도 16을 참조하면, 프로젝터(16) 내의 적색, 녹색 및 청색 LED(66, 68 및 70)에 의해 생성된 가시광(64)은 다양한 광학계(72)(시프트 렌즈(74)를 포함)를 거쳐 미러(38)(도 14 참조)에 이른다. 미러(38)에서 프로젝터(16) 쪽으로 반사된, 작업 공간(12) 내의 스타일러스(28)로부터의 적외광(75)은 적외선 빔 스플리터(78)에 의해 시프트 렌즈(80)를 통해 적외선 카메라 센서(76)로 지향된다(상술한 카메라(14)에 대한 예시적인 구성과 마찬가지로, 카메라(30)에 대한 적외선 광 센서(76)는 작업면(24)의 평면에 평행한 평면에 배향될 수 있으며, 충분한 광학적 키스톤 보정을 위해 시프트 렌즈(80)를 통해 센서(76)에 집광될 수 있다).
도 16에 도시된 바와 같이, 프로젝터(16) 및 적외선 카메라(30)를 함께 단일의 하우징(82) 내에 수용하는 몇 가지 상업적인 구현들이 바람직할 수 있다. 도 16에 도시된 적외선 카메라(30)에 대한 기하학적 구성은, 스타일러스(28)가 작업면(24)보다 얼마나 높게 위치되어 있는지에 관계없이, 스타일러스 추적 신호가 디스플레이와 정렬될 수 있게 하는데 도움이 된다. 프로젝터 시야 및 적외선 카메라 시야가 일치하지 않으면, 작업면(24) 위의 하나 이상의 높이에서 스타일러스 추적을 보정하는 것이 곤란할 수 있어, 원하는 스타일러스 입력 위치와 최종 디스플레이된 위치 사이에 시차(parallax) 시프트의 위험이 있다.
작업 공간(12)이 대개 물체(20)를 지지하는 물리적 작업면(24)을 포함할 것으로 예상되지만, 작업 공간(12)은 물리적 작업면 없이 전적으로 투영된 작업 공간으로서 구현될 수도 있다. 또한, 작업 공간(12)은 2차원 및 3차원 물체를 작업 대상으로 하는 3차원 작업 공간으로서, 또는 2차원 물체만을 작업 대상으로 하는 2차원 작업 공간으로서 구현될 수 있다. 작업 공간(12)의 구성이 대개는 주로 시스템(10)의 하드웨어 및 프로그래밍 요소들에 의해 결정되지만, 작업 공간(12)의 구성은 물리적 작업면(24)의 특성들에 의해 영향을 받을 수도 있다. 따라서, 시스템(10) 및 장치(40)에 대하여 몇 가지 예에 있어서는, 장치(36)가 작동중일 때 가상 작업 공간이 물리적 작업 공간 내에 나타내지는 시스템(10)을 동반한다는 점에서, 작업 공간(12)이 시스템(10)의 일부라고 고려하는 것이 적절할 수 있으며, 다른 예들에서는, 작업 공간(12)이 시스템(10)의 일부가 아니라고 고려하는 것이 적절할 수 있다.
하나의 카메라(14) 및 하나의 프로젝터(16)를 갖춘, 도면들에 도시된 시스템(10) 예들은 2개 이상의 카메라(14) 및/또는 2개 이상의 프로젝터(16)의 사용을 배제하지 않는다. 실제로, 시스템(10)에 대한 몇몇 응용 분야에서는, 하나 이상의 카메라, 하나 이상의 프로젝터 또는 하나 이상의 다른 시스템 구성요소들을 포함하는 것이 바람직할 수 있다. 따라서, 본 명세서에서 사용된 관사("a" 및 "an")는 하나 이상을 의미한다.
이 명세서의 도입부에 주지한 바와 같이, 도면들에 도시되고 상술된 예들은 예시일 뿐이며 발명을 제한하지 않는다. 다른 예들, 실시예들 및 구현들이 가능하다. 따라서, 전술한 기재는 하기의 특허청구범위에서 규정되는 발명의 범위를 제한하는 것으로 해석되지 않아야 한다.

Claims (19)

  1. 작업면과 함께 사용하기 위한 프로젝션 캡처 시스템에 있어서,
    단일 유닛으로서 함께 수용되는 디지털 카메라, 프로젝터 및 미러를 포함하고,
    상기 유닛이 작업면과 함께 사용하도록 배치될 때,
    상기 카메라는 프로젝터 위에 위치되고, 상기 카메라는 캡처 영역을 규정하며, 상기 캡처 영역 내에서 카메라가 작업면 상의 이미지를 취득할 수 있고,
    상기 프로젝터는 카메라 아래에 위치되며,
    상기 미러는 프로젝터 위에 위치되고, 상기 프로젝터로부터의 광을 작업면 상에 하향으로 반사하도록 구성되며, 상기 프로젝터와 상기 미러는 상기 캡처 영역의 적어도 일부와 겹치는 디스플레이 영역을 작업면 상에 규정하는
    프로젝션 캡처 시스템.
  2. 제 1 항에 있어서,
    상기 카메라 및 상기 프로젝터는, 프로젝터가 이미지를 캡처하는 카메라에 광원을 제공하도록 서로 작동 가능하게 연결되고,
    상기 카메라, 상기 프로젝터 및 상기 미러는, 상기 유닛이 작업면과 함께 사용하도록 배치될 때, 미러에서 반사된 프로젝터 광으로부터의 글레어 스폿(glare spot)이 카메라 캡처 영역 외측에 놓이도록 서로에 대하여 위치되는
    프로젝션 캡처 시스템.
  3. 제 2 항에 있어서,
    상기 유닛이 작업면과 함께 사용하도록 배치될 때,
    상기 카메라는 캡처 영역의 중심으로부터 오프셋된 위치에서 캡처 영역 위에 위치되고,
    상기 프로젝터는 캡처 영역의 외측 및 디스플레이 영역의 외측에 위치되는
    프로젝션 캡처 시스템.
  4. 제 2 항에 있어서,
    상기 단일 유닛의 일부로서 디지털 카메라, 프로젝터 및 미러와 함께 수용되는 컨트롤러를 더 포함하고,
    상기 컨트롤러는 카메라와 프로젝터를 작동 가능하게 연결하며,
    상기 컨트롤러는,
    캡처 영역 내에서 작업면 상에 위치된 물체의 이미지를 캡처하도록, 그리고
    물체 이미지를 디스플레이 영역 내에서 작업면 상에 투영하도록, 카메라 및 프로젝터를 제어하도록 구성되는
    프로젝션 캡처 시스템.
  5. 제 4 항에 있어서,
    상기 컨트롤러에 작동 가능하게 연결되며, 유저가 작업면 상에서 상기 시스템과 상호작용할 수 있게 하도록 구성된 유저 입력 디바이스를 더 포함하는
    프로젝션 캡처 시스템.
  6. 제 5 항에 있어서,
    상기 유닛은 편평한, 수평 작업면에 배치하도록 구성되는
    프로젝션 캡처 시스템.
  7. 제 6 항에 있어서,
    상기 작업면으로서 상기 유닛과 함께 배치 가능한 휴대용 매트를 더 포함하는
    프로젝션 캡처 시스템.
  8. 제 2 항에 있어서,
    상기 디스플레이 영역과 상기 캡처 영역은 실질적으로 동일한 영역인
    프로젝션 캡처 시스템.
  9. 작업면과 함께 사용하기 위한 프로젝션 캡처 시스템에 있어서,
    단일 유닛으로서 함께 수용되는 디지털 카메라, 프로젝터, 컨트롤러 및 미러를 포함하고,
    상기 유닛이 작업면과 함께 사용하도록 배치될 때,
    상기 카메라는 캡처 영역을 규정하고, 상기 캡처 영역 내에서 카메라가 작업면 상의 이미지를 취득할 수 있고,
    상기 프로젝터 및 상기 미러는 캡처 영역의 적어도 일부와 겹치는 디스플레이 영역을 작업면 상에 규정하며,
    상기 컨트롤러는 카메라와 프로젝터를 작동 가능하게 연결하고,
    상기 컨트롤러는,
    상기 프로젝터가 캡처 영역을 조명하도록,
    상기 카메라가 캡처 영역 내에서 작업면 상에 위치되며 프로젝터에 의해 조명되는 물체의 이미지를 캡처하도록, 그리고
    상기 프로젝터가 물체 이미지를 디스플레이 영역 내에서 작업면 상에 투영하도록, 카메라 및 프로젝터를 제어하도록 구성되는
    프로젝션 캡처 시스템.
  10. 제 9 항에 있어서,
    상기 카메라, 상기 프로젝터 및 상기 미러는, 상기 유닛이 작업면과 함께 사용하도록 배치될 때, 미러에서 반사된 프로젝터 광으로부터의 글레어 스폿이 카메라 캡처 영역 외측에 놓이도록 서로에 대하여 위치되는
    프로젝션 캡처 시스템.
  11. 제 9 항에 있어서,
    상기 컨트롤러에 작동 가능하게 연결되며, 유저가 작업면 상에서 상기 시스템과 상호작용할 수 있게 하도록 구성된 유저 입력 디바이스를 더 포함하는
    프로젝션 캡처 시스템.
  12. 수평 작업면을 갖는 3차원 작업 공간과 함께 사용하기 위한 상호적인 프로젝션 캡처 시스템에 있어서,
    단일 유닛으로서 함께 수용되는 디지털 카메라, 프로젝터 및 미러와,
    상기 카메라 및 상기 프로젝터에 작동 가능하게 연결되며, 유저가 작업 공간에서 상기 시스템과 상호작용할 수 있게 하도록 구성된 유저 입력 디바이스를 포함하고,
    상기 유닛이 작업 공간과 함께 사용하도록 배치될 때,
    상기 카메라는 3차원 캡처 공간을 규정하고, 상기 캡처 공간 내에서 카메라가 효과적으로 이미지를 취득할 수 있으며, 상기 캡처 공간은 작업면 상의 캡처 영역에 의해 2차원으로 경계 설정되고,
    상기 프로젝터 및 상기 미러는, 캡처 영역의 적어도 일부와 겹치는 작업면 상의 디스플레이 영역에 의해 2차원으로 경계 설정되는 3차원 디스플레이 공간을 규정하며,
    상기 카메라, 상기 프로젝터 및 상기 미러는, 미러에서 반사된 프로젝터로부터의 광이 캡처 공간을 조명하며 반사광으로부터의 글레어 스폿이 캡처 공간의 외측에 놓이도록 서로에 대하여 위치되는
    프로젝션 캡처 시스템.
  13. 제 12 항에 있어서,
    상기 카메라와 상기 프로젝터를 작동 가능하게 연결하는 컨트롤러를 더 포함하고,
    상기 컨트롤러는,
    상기 프로젝터가 캡처 공간을 조명하도록,
    상기 카메라가 캡처 영역 내에서 작업면 상에 위치되며 프로젝터에 의해 조명되는 물체의 이미지를 캡처하도록,
    상기 프로젝터가 물체 이미지를 디스플레이 영역 내에서 작업면 상에 투영하도록, 그리고
    상기 카메라가 투영된 물체 이미지의 이미지를 캡처하도록, 카메라 및 프로젝터를 제어하도록 구성되는
    프로젝션 캡처 시스템.
  14. 제 12 항에 있어서,
    상기 유저 입력 디바이스는 작업 공간 내에서 적외광을 선택적으로 방출하는 적외선 디지털 스타일러스, 및 작업 공간 내에서 상기 스타일러스에 의해 방출된 적외광을 캡처하는 적외선 카메라를 포함하는
    프로젝션 캡처 시스템.
  15. 제 14 항에 있어서,
    상기 적외선 카메라의 캡처 공간은 상기 디스플레이 공간과 일치하는
    프로젝션 캡처 시스템.
  16. 프로젝션 캡처 방법에 있어서,
    카메라가 물체의 이미지를 캡처할 수 있는 카메라 캡처 영역을 설정하는 단계,
    상기 캡처 영역과 겹치며 프로젝터가 광을 투영할 수 있는 프로젝터 디스플레이 영역을 설정하는 단계,
    상기 프로젝터로 카메라 캡처 영역을 조명하는 단계, 및
    상기 프로젝터의 조명에 의한 정반사성 글레어 스폿(specular glare spot)을 카메라 캡처 영역의 외측에 위치시키는 단계를 포함하는
    프로젝션 캡처 방법.
  17. 제 16 항에 있어서,
    상기 정반사성 글레어 스폿을 카메라 캡처 영역의 외측에 위치시키는 단계는, 상기 프로젝터가 미러를 향해 상향으로 광을 투영하는 단계와, 상기 미러가 카메라 캡처 영역 내로 하향으로 광을 반사하는 단계를 포함하는
    프로젝션 캡처 방법.
  18. 제 16 항에 있어서,
    상기 정반사성 글레어 스폿을 카메라 캡처 영역의 외측에 위치시키는 단계는, 상기 프로젝터로부터 카메라 캡처 영역으로 절곡 라인(fold line)을 따라 광로를 절곡시키는 단계를 포함하는
    프로젝션 캡처 방법.
  19. 제 18 항에 있어서,
    상기 절곡 라인은 광 반사 표면에 의해 규정되는
    프로젝션 캡처 방법.
KR1020147005200A 2011-08-02 2011-08-02 프로젝션 캡처 시스템 및 방법 Expired - Fee Related KR101825779B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2011/046253 WO2013019217A1 (en) 2011-08-02 2011-08-02 Projection capture system and method

Publications (2)

Publication Number Publication Date
KR20140068902A true KR20140068902A (ko) 2014-06-09
KR101825779B1 KR101825779B1 (ko) 2018-02-05

Family

ID=47629565

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020147005200A Expired - Fee Related KR101825779B1 (ko) 2011-08-02 2011-08-02 프로젝션 캡처 시스템 및 방법
KR1020147005201A Expired - Fee Related KR101787180B1 (ko) 2011-08-02 2011-09-29 휴대용 프로젝션 캡처 장치

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020147005201A Expired - Fee Related KR101787180B1 (ko) 2011-08-02 2011-09-29 휴대용 프로젝션 캡처 장치

Country Status (8)

Country Link
US (2) US20140139668A1 (ko)
EP (2) EP2740008A4 (ko)
JP (2) JP6059223B2 (ko)
KR (2) KR101825779B1 (ko)
CN (2) CN103827744B (ko)
BR (2) BR112014002463B1 (ko)
IN (1) IN2014CN00543A (ko)
WO (2) WO2013019217A1 (ko)

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9582083B2 (en) * 2011-12-22 2017-02-28 Apple Inc. Directional light sensors
US20150186039A1 (en) * 2012-08-27 2015-07-02 Citizen Holdings Co., Ltd. Information input device
USD726183S1 (en) * 2012-10-02 2015-04-07 Hewlett-Packard Development Company, L.P. Projected interface device
USD725110S1 (en) * 2012-10-02 2015-03-24 Hewlett-Packard Development Company, Lp Projected interface device
USD726184S1 (en) * 2012-10-02 2015-04-07 Hewlett-Packard Development Company, L.P. Projected interface device
JP6167511B2 (ja) * 2012-12-04 2017-07-26 セイコーエプソン株式会社 書画カメラ、書画カメラの制御方法
JP6175866B2 (ja) * 2013-04-02 2017-08-09 富士通株式会社 インタラクティブプロジェクタ
US9866768B1 (en) * 2013-04-29 2018-01-09 The United States Of America, As Represented By The Secretary Of Agriculture Computer vision qualified infrared temperature sensor
JP6097884B2 (ja) * 2013-07-31 2017-03-15 ヒューレット−パッカード デベロップメント カンパニー エル．ピー．Ｈｅｗｌｅｔｔ‐Ｐａｃｋａｒｄ Ｄｅｖｅｌｏｐｍｅｎｔ Ｃｏｍｐａｎｙ， Ｌ．Ｐ． プロジェクターユニット及びコンピューターを含むシステム
WO2015026346A1 (en) * 2013-08-22 2015-02-26 Hewlett Packard Development Company, L.P. Projective computing system
US9275448B2 (en) * 2013-08-27 2016-03-01 Xerox Corporation Flash/no-flash imaging for binarization
US9569892B2 (en) 2013-09-26 2017-02-14 Qualcomm Incorporated Image capture input and projection output
CN104656869B (zh) * 2013-11-20 2018-07-06 联想(北京)有限公司 一种数据处理方法及电子设备
JP5841587B2 (ja) * 2013-12-25 2016-01-13 株式会社Pfu 撮像システム
US20150205444A1 (en) * 2014-01-17 2015-07-23 Smart Technologies Ulc Interactive input system
JP6349838B2 (ja) * 2014-01-21 2018-07-04 セイコーエプソン株式会社 位置検出装置、位置検出システム、及び、位置検出装置の制御方法
US10241616B2 (en) 2014-02-28 2019-03-26 Hewlett-Packard Development Company, L.P. Calibration of sensors and projector
JP2015215416A (ja) * 2014-05-08 2015-12-03 富士通株式会社 プロジェクタ装置
EP3147766A4 (en) * 2014-05-23 2018-03-21 Cinepic Technology (Shenzhen) Limited Interactive display system
CN106796385A (zh) * 2014-07-31 2017-05-31 惠普发展公司，有限责任合伙企业 具有针对白点的调整的图像投影和捕获
US11460956B2 (en) 2014-07-31 2022-10-04 Hewlett-Packard Development Company, L.P. Determining the location of a user input device
US11431959B2 (en) 2014-07-31 2022-08-30 Hewlett-Packard Development Company, L.P. Object capture and illumination
WO2016018409A1 (en) * 2014-07-31 2016-02-04 Hewlett-Packard Development Company, L.P. Process image according to mat characteristic
CN106797420B (zh) * 2014-07-31 2020-06-12 惠普发展公司，有限责任合伙企业 处理表示图像的数据
CN106796388A (zh) * 2014-07-31 2017-05-31 惠普发展公司，有限责任合伙企业 来自发光二极管(led)投影仪的白色闪光生成
EP3175615A4 (en) * 2014-08-01 2018-03-28 Hewlett-Packard Development Company, L.P. Projection of image onto object
US10191637B2 (en) * 2014-08-04 2019-01-29 Hewlett-Packard Development Company, L.P. Workspace metadata management
CN107005645A (zh) * 2014-09-10 2017-08-01 惠普发展公司，有限责任合伙企业 具有led光的同时显示的图像投影和捕获
EP3191918B1 (en) * 2014-09-12 2020-03-18 Hewlett-Packard Development Company, L.P. Developing contextual information from an image
US10409143B2 (en) * 2015-01-23 2019-09-10 Hewlett-Packard Development Company, L.P. Tracking a handheld device on surfaces with optical patterns
WO2016121362A1 (ja) * 2015-01-29 2016-08-04 富士フイルム株式会社 自筆支援装置
US10089772B2 (en) 2015-04-23 2018-10-02 Hasbro, Inc. Context-aware digital play
US9659371B2 (en) * 2015-10-08 2017-05-23 Christie Digital Systems Usa, Inc. System and method for online projector-camera calibration from one or more images
WO2017151476A1 (en) * 2016-02-29 2017-09-08 Lampix Method and apparatus for providing user interfaces with computerized systems and interacting with a virtual environment
CN106210702A (zh) * 2016-08-30 2016-12-07 四川川大智胜软件股份有限公司 一种同步三维数据采集仪、采集系统及采集方法
US10146337B2 (en) 2016-09-15 2018-12-04 Samsung Electronics Co., Ltd. Digital handwriting device and method of using the same
WO2018101187A1 (ja) * 2016-11-29 2018-06-07 パナソニックＩｐマネジメント株式会社 距離測定装置
US11204662B2 (en) * 2017-01-17 2021-12-21 Hewlett-Packard Development Company, L.P. Input device with touch sensitive surface that assigns an action to an object located thereon
CN106791747A (zh) * 2017-01-25 2017-05-31 触景无限科技（北京）有限公司 台灯互动展示的分时处理方法、装置以及台灯
JP6969606B2 (ja) * 2017-03-23 2021-11-24 ソニーグループ株式会社 検出機能付きプロジェクタ
JP6399135B1 (ja) * 2017-03-30 2018-10-03 日本電気株式会社 画像入出力装置及び画像入出力方法
JP6815528B2 (ja) * 2017-09-27 2021-01-20 富士フイルム株式会社 自筆支援装置
US11039084B2 (en) * 2017-11-14 2021-06-15 VergeSense, Inc. Method for commissioning a network of optical sensors across a floor space
JP6661717B1 (ja) * 2018-09-12 2020-03-11 三菱電機インフォメーションシステムズ株式会社 プロジェクタに対して設置可能な入力台および入力台システム
CN112997114B (zh) * 2018-09-26 2022-07-15 惠普发展公司，有限责任合伙企业 图像捕捉组件
DE102018130569B4 (de) * 2018-11-30 2021-04-29 Airbus Operations Gmbh System und Verfahren zur Darstellung eines Kabinenlayouts im Originalmaßstab
CN112637445B (zh) * 2021-01-06 2022-12-27 上海市建筑科学研究院有限公司 一种基于多台高频相机三维运动同步测量方法
US20230230280A1 (en) * 2021-12-31 2023-07-20 Creative Technology Ltd Imaging platform with output controls
JP7893060B2 (ja) * 2022-06-23 2026-07-22 セイコーエプソン株式会社 印刷システム
CN115379063B (zh) * 2022-07-19 2024-01-16 北京麦哲科技有限公司 一种高拍仪
US20240071098A1 (en) * 2022-08-31 2024-02-29 Hill-Rom Services, Inc. Person support apparatuses including imaging devices for detecting hazardous objects and methods for using same

Family Cites Families (85)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2529664A (en) * 1948-02-14 1950-11-14 Ward Hickok Visual educational projector
US4986651A (en) 1989-08-04 1991-01-22 Minnesota Mining And Manufacturing Company Overhead projector with centerless Fresnel lens reflective stage
US5511146A (en) 1991-06-26 1996-04-23 Texas Instruments Incorporated Excitory and inhibitory cellular automata for computational networks
EP0622722B1 (en) * 1993-04-30 2002-07-17 Xerox Corporation Interactive copying system
JPH08336065A (ja) * 1995-06-09 1996-12-17 Nikon Corp 原稿照明装置及び画像入力装置
US5639151A (en) * 1996-02-16 1997-06-17 Mcnelley; Steve H. Pass-through reflective projection display
GB9614837D0 (en) 1996-07-12 1996-09-04 Rank Xerox Ltd Interactive desktop system with multiple image capture and display modes
JPH10222436A (ja) 1997-02-12 1998-08-21 Meidensha Corp プログラムとデータの転送方法
US6095661A (en) * 1998-03-19 2000-08-01 Ppt Vision, Inc. Method and apparatus for an L.E.D. flashlight
US7136090B1 (en) 1999-08-10 2006-11-14 Teleportec, Inc. Communications system
JP4023048B2 (ja) * 1999-10-05 2007-12-19 株式会社日立製作所 背面投写型映像表示システム
US6618076B1 (en) * 1999-12-23 2003-09-09 Justsystem Corporation Method and apparatus for calibrating projector-camera system
US6965460B1 (en) 2000-08-08 2005-11-15 Hewlett-Packard Development Company, L.P. Method and system for scanning an image using a look-down linear array scanner
AU2002239341A1 (en) * 2000-11-06 2002-06-03 Simon Baker Paper-based remote sketching system
JP4608766B2 (ja) * 2000-11-27 2011-01-12 ソニー株式会社 固体撮像素子の駆動方法、及びカメラ
US6431711B1 (en) * 2000-12-06 2002-08-13 International Business Machines Corporation Multiple-surface display projector with interactive input capability
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
US6554434B2 (en) * 2001-07-06 2003-04-29 Sony Corporation Interactive projection system
JP2003152851A (ja) * 2001-11-14 2003-05-23 Nec Corp 携帯端末装置
US7050106B2 (en) * 2001-11-21 2006-05-23 Canon Kabushiki Kaisha Image input device with rotatable image pickup unit
JP2003276399A (ja) 2002-03-25 2003-09-30 Matsushita Electric Ind Co Ltd 位置検出方法および装置ならびに電子黒板装置
US7710391B2 (en) * 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US20040095562A1 (en) 2002-11-20 2004-05-20 John Moffatt Combination scanner/projector
JP3927168B2 (ja) 2002-11-25 2007-06-06 日本電信電話株式会社 実世界オブジェクト認識方法および実世界オブジェクト認識システム
US6840627B2 (en) * 2003-01-21 2005-01-11 Hewlett-Packard Development Company, L.P. Interactive display device
US7203384B2 (en) 2003-02-24 2007-04-10 Electronic Scripting Products, Inc. Implement for optically inferring information from a planar jotting surface
JP2004265185A (ja) * 2003-03-03 2004-09-24 Canon Inc デジタイザ付きカメラ付き画像投影装置
JP2004320123A (ja) * 2003-04-11 2004-11-11 Nec Viewtechnology Ltd 資料提示装置
US20050068442A1 (en) * 2003-09-26 2005-03-31 Corey Billington Presentation system and method of use
JP4401728B2 (ja) 2003-09-30 2010-01-20 キヤノン株式会社 複合現実空間画像生成方法及び複合現実感システム
JP2005128413A (ja) * 2003-10-27 2005-05-19 Pentax Corp 照明制御装置
US7110100B2 (en) 2003-11-04 2006-09-19 Electronic Scripting Products, Inc. Apparatus and method for determining an inclination of an elongate object contacting a plane surface
US7268956B2 (en) 2003-11-24 2007-09-11 Electronic Scripting Products, Inc. Solid catadioptric lens with two viewpoints
US7038846B2 (en) 2003-11-24 2006-05-02 Electronic Scripting Products, Inc. Solid catadioptric lens with a single viewpoint
US7088440B2 (en) 2003-12-22 2006-08-08 Electronic Scripting Products, Inc. Method and apparatus for determining absolute position of a tip of an elongate object on a plane surface with invariant features
US8542219B2 (en) 2004-01-30 2013-09-24 Electronic Scripting Products, Inc. Processing pose data derived from the pose of an elongate object
US7729515B2 (en) 2006-03-08 2010-06-01 Electronic Scripting Products, Inc. Optical navigation apparatus using fixed beacons and a centroid sensing device
US9229540B2 (en) 2004-01-30 2016-01-05 Electronic Scripting Products, Inc. Deriving input from six degrees of freedom interfaces
US7826641B2 (en) 2004-01-30 2010-11-02 Electronic Scripting Products, Inc. Apparatus and method for determining an absolute pose of a manipulated object in a real three-dimensional environment with invariant features
US7961909B2 (en) 2006-03-08 2011-06-14 Electronic Scripting Products, Inc. Computer interface employing a manipulated object with absolute pose detection component and a display
US7496229B2 (en) * 2004-02-17 2009-02-24 Microsoft Corp. System and method for visual echo cancellation in a projector-camera-whiteboard system
US7023536B2 (en) 2004-03-08 2006-04-04 Electronic Scripting Products, Inc. Apparatus and method for determining orientation parameters of an elongate object
JP2005250392A (ja) * 2004-03-08 2005-09-15 Olympus Corp カメラ
JP2006004010A (ja) 2004-06-15 2006-01-05 Brother Ind Ltd 画像入出力装置
US7161664B2 (en) 2004-04-13 2007-01-09 Electronic Scripting Products, Inc. Apparatus and method for optical determination of intermediate distances
JP2005354306A (ja) 2004-06-09 2005-12-22 Brother Ind Ltd 画像入出力装置
US7432917B2 (en) 2004-06-16 2008-10-07 Microsoft Corporation Calibration of an interactive display system
US7113270B2 (en) 2004-06-18 2006-09-26 Electronics Scripting Products, Inc. Determination of an orientation parameter of an elongate object with a scan beam apparatus
US7519223B2 (en) * 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
US7557966B2 (en) * 2004-08-11 2009-07-07 Acushnet Company Apparatus and method for scanning an object
JP4433960B2 (ja) 2004-09-21 2010-03-17 株式会社ニコン 携帯型情報機器
JP3901185B2 (ja) 2004-09-27 2007-04-04 カシオ計算機株式会社 投影装置、投影画像の撮影方法及びプログラム
US20060126128A1 (en) 2004-12-15 2006-06-15 Lexmark International, Inc. Scanning assembly
US7843470B2 (en) * 2005-01-31 2010-11-30 Canon Kabushiki Kaisha System, image processing apparatus, and information processing method
CA2615228A1 (en) 2005-04-11 2006-10-19 Polyvision Corporation Automatic projection calibration
EP1898260A4 (en) * 2005-06-30 2014-07-09 Ricoh Co Ltd DISPLAY DEVICE FOR PROJECTION IMAGE
CN101273368A (zh) 2005-08-29 2008-09-24 埃韦里克斯技术股份有限公司 经由移动图像识别的交互
US7614753B2 (en) * 2005-10-31 2009-11-10 Hewlett-Packard Development Company, L.P. Determining an adjustment
US7599561B2 (en) * 2006-02-28 2009-10-06 Microsoft Corporation Compact interactive tabletop with projection-vision
US8649848B2 (en) * 2006-03-28 2014-02-11 The United States Of America, As Represented By The Secretary Of The Air Force Synchronization of illumination source and sensor for improved visualization of subcutaneous structures
JP4777182B2 (ja) 2006-08-01 2011-09-21 キヤノン株式会社 複合現実感提示装置及びその制御方法、プログラム
JP4697087B2 (ja) * 2006-08-09 2011-06-08 富士ゼロックス株式会社 画像処理装置
US7690795B2 (en) 2006-10-06 2010-04-06 Hewlett-Packard Development Company, L.P. Projector/camera system
US7907781B2 (en) * 2007-06-21 2011-03-15 Mitsubishi Electric Research Laboraties, Inc. System and method for determining geometries of scenes
US9377874B2 (en) * 2007-11-02 2016-06-28 Northrop Grumman Systems Corporation Gesture recognition light and video image projector
JP5504570B2 (ja) 2008-03-27 2014-05-28 カシオ計算機株式会社 カメラ内蔵プロジェクタ及びカメラ内蔵プロジェクタの撮影方法
JP5277703B2 (ja) * 2008-04-21 2013-08-28 株式会社リコー 電子機器
CN101261557B (zh) 2008-04-30 2011-09-14 北京汇冠新技术股份有限公司 一种用于触摸屏的图像传感装置
JP5309724B2 (ja) * 2008-06-24 2013-10-09 船井電機株式会社 プロジェクタ
JP2010177718A (ja) * 2009-01-27 2010-08-12 Elmo Co Ltd 資料提示装置
US8355038B2 (en) * 2009-01-28 2013-01-15 Hewlett-Packard Development Company, L.P. Systems for capturing images through a display
US8619178B2 (en) * 2009-01-28 2013-12-31 Hewlett-Packard Development Company, L.P. Image rendition and capture
JP2010224015A (ja) * 2009-03-19 2010-10-07 Sanyo Electric Co Ltd 投写型映像表示装置及び記載ボード及び投写映像システム
JP2010238213A (ja) * 2009-03-30 2010-10-21 Plus Vision Corp タブレットｐｃシステム及び電子筆記シート
WO2010124074A1 (en) 2009-04-22 2010-10-28 Terrence Dashon Howard System for merging virtual reality and reality to provide an enhanced sensory experience
JP5395507B2 (ja) 2009-05-21 2014-01-22 キヤノン株式会社 三次元形状測定装置、三次元形状測定方法及びコンピュータプログラム
KR101229807B1 (ko) 2009-06-26 2013-02-05 광주과학기술원 과민성면역질환 또는 염증질환에 대한 신규한 약물 타겟
GB2469346B (en) 2009-07-31 2011-08-10 Promethean Ltd Calibration of interactive whiteboard
JP2011081556A (ja) 2009-10-06 2011-04-21 Sony Corp 情報処理装置、情報処理方法、プログラムおよびサーバ
NO331527B1 (no) * 2009-12-23 2012-01-23 Cisco Systems Int Sarl Metode for a fjerne flimring i videoopptak
US8842096B2 (en) * 2010-01-08 2014-09-23 Crayola Llc Interactive projection system
US8490002B2 (en) * 2010-02-11 2013-07-16 Apple Inc. Projected display shared workspaces
US8751049B2 (en) * 2010-05-24 2014-06-10 Massachusetts Institute Of Technology Kinetic input/output
US8928735B2 (en) * 2011-06-14 2015-01-06 Microsoft Corporation Combined lighting, projection, and image capture without video feedback
US8970709B2 (en) 2013-03-13 2015-03-03 Electronic Scripting Products, Inc. Reduced homography for recovery of pose parameters of an optical apparatus producing image data with structural uncertainty

Also Published As

Publication number Publication date
BR112014002463A2 (pt) 2017-02-21
KR101787180B1 (ko) 2017-10-18
BR112014002463B1 (pt) 2020-12-08
US20140139668A1 (en) 2014-05-22
JP2014239441A (ja) 2014-12-18
JP2014529925A (ja) 2014-11-13
CN103828341B (zh) 2017-02-15
EP2740259A4 (en) 2015-04-22
BR112014002448B1 (pt) 2021-12-07
KR101825779B1 (ko) 2018-02-05
US20140176735A1 (en) 2014-06-26
JP6059223B2 (ja) 2017-01-11
US9521276B2 (en) 2016-12-13
CN103827744A (zh) 2014-05-28
BR112014002448A2 (pt) 2017-02-21
WO2013019217A1 (en) 2013-02-07
CN103828341A (zh) 2014-05-28
IN2014CN00543A (ko) 2015-04-03
KR20140054146A (ko) 2014-05-08
JP6068392B2 (ja) 2017-01-25
WO2013019252A1 (en) 2013-02-07
EP2740259A1 (en) 2014-06-11
EP2740008A4 (en) 2015-09-16
EP2740008A1 (en) 2014-06-11
CN103827744B (zh) 2016-04-06

Similar Documents

Publication Publication Date Title
KR101825779B1 (ko) 프로젝션 캡처 시스템 및 방법
KR101795644B1 (ko) 투영 캡쳐 시스템, 투영 캡쳐 프로그래밍, 및 투영 캡쳐 방법
JP6078884B2 (ja) カメラ式マルチタッチ相互作用システム及び方法
US7176881B2 (en) Presentation system, material presenting device, and photographing device for presentation
US8896688B2 (en) Determining position in a projection capture system
US20140267866A1 (en) Non-uniform correction illumination pattern
CN103299259A (zh) 检测装置、输入装置、投影机以及电子设备
CN101644976A (zh) 表面多点触摸装置及其定位方法
JPH113170A (ja) 光デジタイザ
TWI439785B (zh) 多重解析度顯示系統

Legal Events

Date Code Title Description
PA0105 International application

St.27 status event code: A-0-1-A10-A15-nap-PA0105

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

A201 Request for examination
PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E90F Notification of reason for final refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U12-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20210131

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20210131