KR20160042461A - 동적으로 변화하는 부분들을 갖는 타겟들을 추적하기 위한 데이터셋트 형성 - Google Patents

동적으로 변화하는 부분들을 갖는 타겟들을 추적하기 위한 데이터셋트 형성 Download PDF

Info

Publication number
KR20160042461A
KR20160042461A KR1020167008505A KR20167008505A KR20160042461A KR 20160042461 A KR20160042461 A KR 20160042461A KR 1020167008505 A KR1020167008505 A KR 1020167008505A KR 20167008505 A KR20167008505 A KR 20167008505A KR 20160042461 A KR20160042461 A KR 20160042461A
Authority
KR
South Korea
Prior art keywords
target
image
data set
mobile platform
undesirable
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
KR1020167008505A
Other languages
English (en)
Inventor
다니엘 바그너
졸트 서볼츠 설러버리
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20160042461A publication Critical patent/KR20160042461A/ko
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/2013—
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

모바일 플랫폼은, 바람직하지 않은 부분을 배제하는 타겟에 대한 피쳐 데이터셋트를 이용하여, 동적으로 변화하는 부분 또는 그외의 바람직하지 않은 부분을 포함하는 타겟을 시각적으로 검출 및/또는 추적한다. 피쳐 데이터셋트는, 타겟의 이미지를 제공하고 타겟의 바람직하지 않은 부분을 식별함으로써 형성된다. 바람직하지 않은 부분의 식별은 자동적일 수도 있고, 또는 사용자 선택에 의한 것일 수도 있다. 바람직하지 않은 부분에 대해 이미지 마스크가 생성된다. 타겟에 대한 피쳐 데이터셋트의 형성에서 바람직하지 않은 부분을 배제하기 위해 이미지 마스크가 사용된다. 예를 들어, 이미지 상에 이미지 마스크가 중첩될 수도 있고, 타겟의 이미지의 마스킹되지 않은 영역들로부터만 피쳐들이 추출된다. 다르게는, 이미지의 모든 영역들로부터 피쳐들이 추출될 수도 있고, 바람직하지 않은 부분으로부터 추출된 피쳐들을 제거하기 위해 이미지 마스크가 사용된다.

Description

동적으로 변화하는 부분들을 갖는 타겟들을 추적하기 위한 데이터셋트 형성{DATASET CREATION FOR TRACKING TARGETS WITH DYNAMICALLY CHANGING PORTIONS}
계류중인 가출원에 대한 상호 참조
본 출원은, "Dynamic Tracking Targets For Augmented Reality" 라는 제목의, 공통 소유의 2010년 5월 28일 출원된 미국 가출원 제 61/349,481 호, 및 공통 소유의 2011년 5월 27일 출원된 미국 출원 번호 제 13/117,472 호에 대해 우선권을 주장하며, 이 양 출원은 참조에 의해 본원에 통합된다.
강체 (rigid object) 의 모델-기반 시각적 검출 및 추적 (tracking) 은 통상적으로, 런-타임 (run-time) 에서, 또는 이들 객체 (object) 들에 대한 데이터셋트들이 형성된 후에 이들 객체들의 외관 (appearance) 이 변화하지 않는다고 가정한다. 하지만 실제로는, 많은 객체들이 이 범주 (category) 내에 속하지 않는다. 예를 들어, (켜진) 텔레비젼 셋트는 화면 상에 예측불가능한 내용을 나타내는 반면, 텔레비젼 셋트의 나머지 부분, 예를 들어, 프레임 등은 변화하지 않는다. 다른 예는, 벽 상의 거울과 같은 강한 반사 재료로 부분적으로 이루어진 객체가 예측불가능한 내용 (반사) 의 영역을 포함하는 한편 프레임은 변화하지 않는 것이다. 또 다른 예는, 자동차의 계기판에서의 라디오 또는 디스플레이를 갖는 임의의 다른 디바이스가 동적으로 변화하는 부분 (디스플레이) 및 정적인 부분 (제어부들 및 프레임) 을 포함하는 것이다.
현재의 방법들은 변화하는 외관을 갖는 영역들을 모델링 (modeling) 할 수 없고, 결과적으로, 동적으로 변화하는 영역들을 갖는 객체들의 이미지들을 이용한 이미지 기반 검출 및 추적에 어려움을 야기한다.
모바일 플랫폼은, 바람직하지 않은 부분 (undesirable portion) 을 배제하는 타겟 (target) 에 대한 피쳐 (feature) 데이터셋트를 이용하여, 동적으로 변화하는 부분 또는 그외의 바람직하지 않은 부분을 포함하는 타겟을 시각적으로 검출 및/또는 추적한다. 피쳐 데이터셋트는, 타겟의 이미지를 제공하고 타겟의 바람직하지 않은 부분을 식별함으로써 형성된다. 바람직하지 않은 부분의 식별은 자동적일 수도 있고, 또는 사용자 선택에 의한 것일 수도 있다. 바람직하지 않은 부분에 대해 이미지 마스크 (image mask) 가 생성된다. 타겟에 대한 피쳐 데이터셋트의 형성에서 바람직하지 않은 부분을 배제하기 위해 이미지 마스크가 사용된다. 예를 들어, 이미지 상에 이미지 마스크가 중첩될 수도 있고, 타겟의 이미지의 마스킹되지 않은 영역들로부터만 피쳐들이 추출된다. 다르게는, 이미지의 모든 영역들로부터 피쳐들이 추출될 수도 있고, 바람직하지 않은 부분으로부터 추출된 피쳐들을 제거하기 위해 이미지 마스크가 사용된다.
일 양태에서, 방법은, 타겟의 이미지를 제공하는 단계, 타겟의 바람직하지 않은 부분을 식별하는 단계, 바람직하지 않은 부분에 대한 이미지 마스크를 생성하는 단계, 및 타겟에 대한 피쳐 데이터셋트로부터 바람직하지 않은 부분을 배제하기 위해 이미지 마스크를 이용하여 타겟에 대한 피쳐 데이터셋트를 형성하는 단계를 포함한다.
다른 양태에서, 장치는, 프로세서; 프로세서에 연결된 메모리; 메모리에 연결된 디스플레이; 및 메모리에 유지되고 프로세서에서 실행되는 소프트웨어를 포함한다. 소프트웨어는 프로세서로 하여금, 타겟의 바람직하지 않은 부분을 이미지에서 식별하고, 바람직하지 않은 부분에 대한 이미지 마스크를 생성하게 하고; 타겟에 대한 피쳐 데이터셋트로부터 바람직하지 않은 부분을 배제하기 위해 이미지 마스크를 이용하여 타겟에 대한 피쳐 데이터셋트를 형성하게 한다.
다른 양태에서, 시스템은, 타겟의 이미지를 제공하는 수단, 타겟의 바람직하지 않은 부분을 식별하는 수단, 바람직하지 않은 부분에 대한 이미지 마스크를 생성하는 수단, 및 타겟에 대한 피쳐 데이터셋트로부터 바람직하지 않은 부분을 배제하기 위해 이미지 마스크를 이용하여 타겟에 대한 피쳐 데이터셋트를 형성하는 수단을 포함한다.
또 다른 양태에서, 저장된 프로그램 코드를 포함하는 컴퓨터-판독가능 매체는, 캡쳐 (capture) 된 이미지에서 타겟의 바람직하지 않은 부분을 식별하기 위한 프로그램 코드, 바람직하지 않은 부분에 대한 이미지 마스크를 생성하기 위한 프로그램 코드; 및 타겟에 대한 피쳐 데이터셋트로부터 바람직하지 않은 부분을 배제하기 위해 이미지 마스크를 이용하여 타겟에 대한 피쳐 데이터셋트를 형성하기 위한 프로그램 코드를 포함한다.
모바일 플랫폼은, 바람직하지 않은 부분을 배제하는 타겟에 대한 피쳐 데이터셋트를 이용하여, 동적으로 변화하는 부분 또는 그외의 바람직하지 않은 부분을 포함하는 타겟을 시각적으로 검출 및/또는 추적한다.
도 1a 및 도 1b 는, 동적으로 변화하는 또는 그 외에 바람직하지 않은 부분들을 갖는 객체들을 이용하여 이미지 기반 검출 및 추적이 가능한 모바일 플랫폼의 전면측 및 후면측을 각각 나타낸다.
도 2 는 동적으로 변화하는 부분들을 갖는 타겟을 검출 및 추적하기 위한 마스킹된 데이터셋트를 형성하는 프로세스를 나타내는 플로우차트를 나타낸다.
도 3a, 도 3b, 도 3c, 및 도 3d 는, 텔레비젼 형태의 타겟의 자연의 피쳐 데이터셋트를 생성하기 위해 이미지 마스크를 이용하는 것을 나타내고, 이미지 마스크는 텔레비젼의 화면으로부터의 피쳐들을 배제한다.
도 4a, 도 4b, 및 도 4c 는, 거울 형태의 타겟의 자연의 피쳐 데이터셋트를 생성하기 위해 이미지 마스크를 이용하는 것을 나타내고, 이미지 마스크는 반사면으로부터의 피쳐들을 배제한다.
도 5 는, 동적으로 변화하는 부분들을 갖는 타겟을 검출 및 추적하기 위해 마스킹된 데이터셋트를 형성할 수 있는 모바일 플랫폼의 블록도이다.
도 1a 및 도 1b 는, 동적으로 변화하는 부분들을 갖는 객체들을 이용하여 이미지 기반 검출 및 추적이 가능한 모바일 플랫폼 (100) 의 전면측 및 후면측을 각각 나타낸다. 모바일 플랫폼 (100) 은 하우징 (101), 터치 스크린 디스플레이일 수도 있는 디스플레이 (102), 및 스피커 (104) 및 마이크로폰 (106) 을 포함하는 것으로 도시되어 있다. 모바일 플랫폼 (100) 은 환경을 촬상하기 위한 카메라 (110) 를 더 포함한다.
모바일 플랫폼 (100) 은, 자연의 피쳐 기반 검출을 이용하고, 타겟에 대한 미리 결정된 "자연의 피쳐들 (natural features)" 은 런-타임에서 라이브 (live) 카메라 이미지에서 검출 및 추적된다. 본원에서 사용된 이미지 또는 캡쳐된 이미지라는 용어는 카메라 (110) 에 의해 캡쳐된 비디오의 프레임 또는 스틸 이미지 (still image) 를 나타낸다. 타겟이란, 타겟의 이미지 (때로는 타겟의 입력 이미지라고도 지칭된다) 를 이용하고, 그 이미지를 프로세싱하여 타겟으로부터 자연의 피쳐들을 추출하여 자연의 피쳐 데이터셋트 (natural feature dataset) 를 생성함으로써 검출 및 추적될 수 있는 현실 세계 객체이다. 타겟은, 타겟의 입력 이미지 (때로는 기준 이미지라고도 지칭된다) 로부터 형성된 자연의 피쳐 데이터셋트를, 런-타임에서 라이브 카메라 이미지로부터 추출된 피쳐들의 셋트에 비교함으로써 검출된다. 타겟의 검출의 결과로서, 카메라 포지션 (position) 및 타겟에 관한 방위 (자세 (pose)) 의 추정치가 기하학적 변환에 의해 계산된다. 추적이란, 기간에 걸친 연속적인 카메라 프레임들에서 포즈 추정치를 업데이트하는 프로세스를 나타낸다. 추적은 통상적으로, 타겟이 이전 이미지에서 검출 또는 추적된 것으로서 타겟의 대략적인 포지션의 지식을 가정하고, 현재 프레임에서의 포즈를 업데이트한다. 하지만, 검출과 추적은 때로는 상호교환가능하게 사용된다. 예를 들어, "검출에 의한 추적" 에서, 매 프레임에서 타겟을 검출함으로써 타겟을 추적하는 것이 가능하다. 따라서, 검출 및 추적은 본원에서 일반적인 의미로 사용되고, 검출 및 추적의 오직 일방 또는 양자를 나타내는 것으로 의도된다.
모바일 플랫폼 (100) 은, 동적으로 변화하는 부분들을 무시함으로써 동적으로 변화하는 부분들을 갖는 타겟들을 검출 및 추적할 수 있다. 동적으로 변화하는 부분들은, 타겟의 상부에 가상적으로 중첩되고 (virtually overlaid) 타겟의 동적으로 변화하는 부분으로부터의 피쳐들이 자연의 피쳐 데이터셋트에 부가되는 것을 방지하는 마스크 이미지를 이용하여 타겟에 대한 자연의 피쳐 데이터셋트를 생성함으로써 무시될 수 있다. 결과로서, 자연의 피쳐 데이터셋트는 런-타임에서 이용가능하지 않을 피쳐들을 포함하지 않음과 동시에, 자연의 피쳐 데이터셋트는 더 작게 되어, 전체 성능을 향상시키게 된다. 검출될 수 없는 마스킹되어 제거된 (masked out) 영역들은 쓸모 없는 데이터가 자연의 피쳐 데이터셋트에 저장되는 것을 방지한다. 추적 유닛이 유용한 데이터를 포함하지 않는 카메라 이미지의 부분들을 무시할 수 있음에 따라, 추적 속도 및 강건성 (robustness) 이 이에 의해 향상된다. 또한, 자연의 피쳐 데이터셋트의 감소된 사이즈로 인해 검출 성능이 향상된다.
타겟의 동적으로 변화하는 부분들로부터의 피쳐들을 포함하지 않는 자연의 피쳐 데이터셋트는, 모바일 플랫폼 (100) 그 자체에 의해, 또는, 외부 소스 (source) 에 의해 생성될 수도 있다. 예를 들어, 모바일 플랫폼 (100) 은 타겟의 검출 및 추적 전의 임의의 시간에서 타겟에 대한 마스킹된 자연의 피쳐 데이터셋트를 생성할 수도 있다. 다르게는, 모바일 플랫폼 (100) 은 타겟의 검출 및 추적 전에 외부 소스로부터 마스킹된 자연의 피쳐 데이터셋트를 수신할 수도 있다. 예를 들어, 별개의 프로세서일 수도 있는 외부 소스는, 모바일 플랫폼 (100) 또는 임의의 다른 이용가능한 소스에 의해 제공된 타겟의 하나 이상의 이미지들을 이용하여 마스킹된 자연의 피쳐 데이터셋트를 생성할 수도 있다.
본원에서 사용된 바와 같이, 모바일 플랫폼이란, 셀룰러 또는 다른 무선 통신 디바이스, 개인용 통신 시스템 (PCS) 디바이스, 개인용 내비게이션 디바이스 (PND), 개인용 정보 관리자 (PIM), PDA, 또는 다른 적합한 모바일 디바이스 등과 같은 임의의 휴대용 전자 디바이스를 지칭한다. 모바일 플랫폼은, 내비게이션 위치결정 신호들과 같은, 무선 통신 및/또는 내비게이션 신호들을 수신가능할 수도 있다. "모바일 플랫폼 (mobile platform)" 이라는 용어는 또한, 위성 신호 수신, 보조 데이터 수신, 및/또는 포지션-관련 프로세싱이 디바이스에서 일어나거나 PND 에서 일어나거나에 상관 없이, 단거리 무선, 적외선, 유선 접속, 또는 다른 접속 등에 의해, 개인용 내비게이션 디바이스 (PND) 와 통신하는 디바이스를 포함하는 것으로 의도된다. 또한, "모바일 플랫폼" 은, AR (augmented reality) 이 가능한 무선 통신 디바이스들, 컴퓨터들, 랩톱들, 태블릿 컴퓨터들 등을 포함하는, 모든 전자 디바이스들을 포함하는 것으로 의도된다.
도 2 는 동적으로 변화하는 부분들을 갖는 타겟을 검출 및 추적하기 위해 마스킹된 데이터셋트를 형성하는 프로세스를 나타내는 플로우차트를 나타낸다. 마스킹된 데이터셋트는, 예를 들어 모바일 플랫폼 (100) 에 의해서 또는 외부 소스에 의해 생성될 수도 있고, 타겟의 검출 및 추적 전에 모바일 플랫폼 (100) 에 제공될 수도 있다. 도시된 바와 같이, 타겟의 이미지는, 예를 들어 모바일 플랫폼의 카메라 (110) 에 의해 타겟의 비디오의 프레임 또는 스틸 이미지를 캡쳐함으로써, 또는, 또 다른 소스로부터 이미지를 수신함으로써 제공된다 (202). 타겟의 바람직하지 않은 부분이 식별된다 (204). 바람직하지 않은 부분은, 타겟의 검출 및/또는 추적 동안 배제될 타겟의 부분, 예를 들어 동적으로 변화하는 부분이다. 바람직하지 않은 부분은 선택에 의해 또는 자동적으로 식별될 수도 있다. 예를 들어, 타겟의 이미지는, 예를 들어 모바일 플랫폼의 디스플레이 (102) 상에서 사용자에게 디스플레이될 수도 있고, 사용자는 임의의 바람직하지 않은 부분들을 식별하도록 프롬프트 (prompt) 될 수도 있다. 바람직하지 않은 부분은, 터치 스크린 디스플레이를 이용하여 또는 커서 및 키보드를 이용하여 제어되는 그래픽적 인터페이스를 통해서, 또는 모바일 플랫폼 (100) 또는 마스킹된 데이터셋트를 형성하는 외부 디바이스 상에 제공될 수도 있는 임의의 다른 적절한 사용자 인터페이스 디바이스들을 통해서, 사용자에 의해 선택될 수도 있다. 추가적으로 또는 대안으로, 바람직하지 않은 부분은, 시간에 걸쳐 및/또는 상이한 포지션들에서 타겟의 다중 이미지들을 캡쳐하고 다중 이미지들로부터의 추출된 피쳐들을 비교하여 (예를 들어, 반사면들에 의해 야기된 바와 같은) 모바일 플랫폼의 포지션에 기초하여 변화하거나 시간에 걸쳐 변화하는 부분들을 식별함으로써 자동적으로 식별될 수도 있다.
식별된 바람직하지 않은 부분을 이용하여, 바람직하지 않은 부분에 대해 이미지 마스크가 생성된다 (206). 타겟에 대한 자연의 피쳐 데이터셋트로부터 바람직하지 않은 부분을 배제하기 위해 이미지 마스크를 이용하여 타겟에 대해 자연의 피쳐 데이터셋트가 형성된다 (208). 예를 들어, 이미지 마스크는, 예를 들어 SIFT (Scale Invariant Feature Transform), 또는 SURF (Speeded-up Robust Features), 또는 임의의 다른 바람직한 방법과 같은 알려진 피쳐 추출 기술들을 이용하여, 이미지의 마스킹되지 않은 영역들로부터 추출된 피쳐들 및 타겟의 이미지 상에 중첩될 수도 있다. 다르게는, 피쳐 데이터셋트는, 이미지의 모든 영역들로부터 피쳐들을 추출하고 바람직하지 않은 부분으로부터 추출된 피쳐들을 제거하기 위해 이미지 마스크를 이용함으로써 형성될 수도 있다.
마스킹된 자연의 피쳐 데이터셋트는, 외부 소스에 의해 형성되는 경우 외부 소스로부터 수신된 후에 모바일 플랫폼 (100) 에 저장되고, 모바일 플랫폼으로 타겟의 검출 및 추적에 이용된다. 타겟의 검출 및 추적은 증강 현실 (AR) 타입 애플리케이션들과 같은 임의의 바람직한 애플리케이션에 대해 이용될 수도 있다.
도 3a, 도 3b, 도 3c, 및 도 3d 는, 타겟의 바람직하지 않은 부분들로부터의 피쳐들을 배제하는, 타겟의 자연의 피쳐 데이터셋트를 생성하기 위해 이미지 마스크를 이용하는 것을 나타낸다. 도 3a 는 "SPECIAL BROADCAST" 텍스트를 디스플레이하는 화면 (252) 을 포함하는, 예를 들어 모바일 플랫폼 (100) 에 의해 캡쳐된, 텔레비젼 (250) 의 이미지를 나타낸다. 화면 (252) 은 시간에 걸쳐 동적으로 변화하기 때문에 타겟의 바람직하지 않은 부분이다. 또한, 화면 (252) 내에 보일 수도 있는 반사상들은 모바일 플랫폼 (100) 의 위치에 기초하여 변화한다. 도 3b 는 텔레비젼 (250) 의 이미지에 대한 자연의 피쳐 데이터셋트를 나타낸다. 각각의 식별된 피쳐는 "x" 에 의해 표시된다. 도 3b 에 도시된 자연의 피쳐 데이터셋트는 단지 예시적인 것이고, 더 많은 피쳐들이 통상적으로 식별될 것이다. 자연의 피쳐 데이터셋트는, 함수들의 셋트로 입력 이미지를 분석하고 SIFT, SURF 와 같은 기술들, 또는 임의의 다른 바람직한 피쳐 추출 기술을 이용하여 피쳐들을 추출함으로써 형성된다.
도 3b 에 도시된 바와 같이, 자연의 피쳐들은, 텔레비젼 (250) 의 동적으로 변화하는 부분, 즉, 화면 (252) 및 변화하지 않는 텔레비젼 (250) 의 나머지 부분으로부터 추출된다. 타겟, 즉, 텔레비젼 (250) 의 동적 추적을 허용하기 위해, 도 3c 에 도시된 이미지 마스크 (260) 가 형성되어 검출 또는 추적 프로세스 동안 타겟 이미지로부터 바람직하지 않은 부분들 (예를 들어, 타겟의 동적으로 변화하는 부분들) 을 마스킹하여 제거하기 위해 이용될 것이다. 도 3c 의 이미지 마스크 (260) 는 화면 (252) 의 형상이다. 이미지 마스크 (260) 는 전술한 바와 같이 사용자 선택에 의해서 또는 자동적으로 식별될 수도 있다. 예를 들어, 사용자는 예를 들어 그래픽적 인터페이스를 이용하여 텔레비젼 (250) 의 바람직하지 않은 부분으로서 화면 (252) 을 식별할 수도 있다. 따라서, 이미지 마스크 (260) 는 도 3b 에 도시된 자연의 피쳐 데이터셋트의 생성에 앞서 형성 및 적용될 수도 있다. 다르게는, 화면 (252) 은, 화면 (252) 내에 상이한 이미지들이 디스플레이되는 텔레비젼 (250) 의 다중 이미지들을 이용하여 바람직하지 않은 부분으로서 자동적으로 식별될 수도 있고, 따라서, 텔레비젼 (250) 의 각각의 이미지에서 화면 (252) 으로부터 상이한 피쳐들이 추출되는 한편, 텔레비젼 (250) 의 나머지 부분으로부터 추출된 피쳐들은 변화하지 않는다.
도 3d 는 텔레비젼 (250) 에 대한 자연의 피쳐 데이터셋트로부터 바람직하지 않은 부분, 즉, 화면 (252) 을 배제하기 위해 이미지 마스크 (260) 가 적용된 후의 텔레비젼 (250) 의 이미지를 나타낸다. 따라서, 화면 (252) 으로부터의 피쳐들은 도 3d 의 마스킹된 데이터셋트에서 배제된다. 도 3d 에 도시된 마스킹된 데이터셋트를 생성하기 위해 이미지 마스크 (260) 를 이용하여, 타겟의 부분들이 동적으로 변화하거나 그 외에 바람직하지 않은 경우에 훨씬 더 강건한 검출 및 추적 성능이 달성될 수 있다. 타겟의 검출 및 추적은, 모바일 플랫폼 (100) 의 디스플레이 (102) 내에 타겟의 이미지 상에 도움말 정보와 같은 정보가 중첩되는, 증강 현실 (AR) 타입 애플리케이션들과 같은 임의의 바람직한 애플리케이션에 대해 이용될 수도 있다.
타겟은 텔레비젼에 한정되지 아니하고, 임의의 타겟은 동적으로 변화하는 부분을 포함할 수도 있는 임의의 객체일 수도 있다. 예를 들어, 타겟은 자동차 라디오, 또는 모바일 플랫폼 (100) 의 포지션 또는 시간에 따라 외관이 변화할 수 있음에 따라 일부분이 데이터셋트 생성에 적절하지 않은 임의의 다른 객체일 수도 있다. 예시적인 방식으로, 타겟의 바람직하지 않은 부분은 이미지가 캡쳐될 때의 모바일 플랫폼 (100) 의 포지션에 기초하여 변할 수도 있다. 창들 또는 픽쳐 (picture) 프레임들 내에 거울 또는 유리와 같은 반사면들을 갖는 타겟의 이미지들은, 이미지가 생성될 때 모바일 플랫폼 (100) 의 포지션에 따라 상이한 객체들의 반사상을 포함할 수도 있다. 따라서, 타겟들의 반사면들은 검출 및 추적에 바람직하지 않은 부분일 수도 있다.
도 4a, 도 4b, 및 도 4c 는, 거울 (270) 형태의 타겟의 자연의 피쳐 데이터셋트를 생성하기 위해 이미지 마스크를 이용하는 것을 도시하고, 여기서, 이미지 마스크는 거울 (270) 의 반사면 (272) 으로부터의 피쳐들을 배제하지만, 거울 (270) 의 프레임 (274) 으로부터의 피쳐들을 배제하지는 않는다. 도 4a 는 반사면 (272) 및 프레임 (274) 을 갖는 거울 (270) 의 이미지를 도시한다. 거울 (270) 의 이미지에 대한 자연의 피쳐 데이터셋트는 "x" 들로 표시된다. 도 4b 에서 볼 수 있는 바와 같이, 이미지 마스크 없이, 자연의 피쳐들이 거울 (270) 의 동적으로 변화하는 부분, 즉, 반사면 (272), 및 거울 (270) 의 나머지 부분으로부터 추출된다.
도 4b 는, 검출 또는 추적 프로세스 동안 거울 (270) 의 타겟 이미지로부터 바람직하지 않은 부분들 (예를 들어, 타겟의 동적으로 변화하는 부분들) 을 마스킹하여 제거하기 위해 형성되는 이미지 마스크 (280) 를 도시한다. 도 4b 에서의 이미지 마스크 (280) 는 반사면 (272) 의 형상이고, 사용자 선택에 의해서 또는 자동적으로 형성될 수도 있다. 예를 들어, 사용자는, 예룰 들어 그래픽적 인터페이스를 이용하여 거울 (270) 의 바람직하지 않은 부분으로서 반사면 (272) 을 식별할 수도 있다. 다르게는, 반사면 (272) 은, 반사면 (272) 에서 상이한 객체들이 반사되는 상이한 포지션들로부터의 거울 (270) 의 다중 이미지들을 이용하여 바람직하지 않은 부분으로서 자동적으로 식별될 수도 있다.
도 4c 는, 텔레비젼 (250) 에 대한 자연의 피쳐 데이터셋트로부터 바람직하지 않은 부분, 즉, 반사면 (272) 을 배제하기 위해 이미지 마스크 (280) 가 적용된 후의 거울 (270) 의 이미지를 나타낸다. 따라서, 거울 (270) 로부터의 피쳐들은 도 4c 의 마스킹된 데이터셋트에서 배제되어, 검출 및 추적을 위해 런-타임에서 이용될, 거울 (270) 의 오직 정적인 부분들로부터의 마스킹된 데이터셋트를 생성하게 된다.
동적으로 변화하는 부분들을 포함할 수도 있는 타겟의 또 다른 예는 제품 포장이다. 제품 포장은, 브랜드 정보, 로고 등과 같이, 제품 타입에 따라 변하는 영역들 및 제품 타입에 따라 변화하지 않는 정적인 영역들을 포함할 수도 있다. 따라서, 가변인 제품 포장의 영역들로부터의 피쳐 추출은 배제하는 한편, 제품 포장의 정적인, 즉, 변화하지 않는 부분들로부터의 피쳐 추출은 허용하기 위해 이미지 마스크가 생성될 수도 있다. 제품 포장은, 마스킹된 자연의 피쳐 데이터셋트가 모바일 플랫폼 (100) 보다는 제조자에 의해서 생성될 수도 있는 타겟의 예이다. 타겟의 다른 바람직하지 않은 부분들은, 예를 들어 조직이 없는 (texture-less) 또는 반복적으로 조직된 (repetitively textured) 면과 같이 검출에 적합하지 않은 영역들을 포함할 수도 있다.
도 5 는, 동적으로 변화하는 부분들을 갖는 타겟을 검출 및 추적하기 위해 마스킹된 데이터셋트를 형성하고 타겟의 검출 및 추적에 마스킹된 데이터셋트를 이용할 수 있는 모바일 플랫폼 (100) 의 블록도이다.
전술한 바와 같이, 외부 인터페이스를 갖는 컴퓨터 또는 서버와 같은 모바일 플랫폼의 외부에 있는 소스들에 의해 마스킹된 데이터셋트가 형성될 수도 있고, 이 외부 인터페이스를 통해 마스킹된 데이터셋트가 모바일 플랫폼 (100) 에 제공될 수도 있다. 마스킹된 데이터셋트를 형성하기 위해 사용된 이러한 외부 컴퓨터 또는 서버는, (유선 인터페이스로 대체될 수도 있는) 무선 트랜시버 (157), 모션 센서들 (158), SPS 수신기 (159), 및 카메라 (110) 와 같은 이동성을 위해 필요한 엘리먼트들이 없다는 점을 제외하고는, 도 5 에 도시된 구조와 유사할 수도 있다.
도 5 를 참조하면, 모바일 플랫폼 (100) 은, 카메라 (110), 및 카메라 (110) 에 의해 캡쳐된 이미지들을 디스플레이할 수 있는 디스플레이 (102) 를 포함하는 사용자 인터페이스 (150) 를 포함한다. 사용자 인터페이스 (150) 는 키패드 (152), 또는 타겟의 바람직하지 않은 부분의 식별과 같은 정보를 모바일 플랫폼 (100) 내로 사용자가 입력할 수 있는 다른 입력 디바이스를 포함할 수도 있다. 원하는 경우, 터치 센서를 갖는 디스플레이 (102) 내로 가상 키패드를 통합함으로써 키패드 (152) 는 불필요하게 될 수도 있다. 사용자 인터페이스 (150) 는, 예를 들어 모바일 플랫폼이 셀룰러 전화기인 경우에, 마이크로폰 (106) 및 스피커 (104) 를 또한 포함할 수도 있다.
모바일 플랫폼 (100) 은, 전술한 바와 같이, 변화가능한 부분들을 포함하는 제품 포장의 제조자와 같은 외부 소스에 의해 생성된 마스킹된 데이터셋트 또는 이미지 마스크와 같은 외부 정보를 수신하기 위해 이용될 수도 있는 무선 트랜시버 (157) 를 포함할 수도 있다. 모바일 플랫폼 (100) 은, 가속도계들, 자이로스코프들, 전자적 콤파스, 또는 다른 유사한 모션 감지 엘리먼트들 등을 포함하는 모션 센서 (158), 및 위성 위치결정 시스템 (SPS) 으로부터 위치결정 신호들을 수신할 수 있는 SPS 수신기 (159) 와 같은 AR 애플리케이션들에 도움이 될 수도 있는 추가적인 특징들을 선택적으로 포함할 수도 있다. 물론, 모바일 플랫폼 (100) 은 본 개시에 관련된 다른 엘리먼트들을 포함할 수도 있다.
모바일 플랫폼 (100) 은 또한 제어 유닛 (160) 을 포함하고, 이 제어 유닛 (160) 은, 카메라 (110) 및 사용자 인터페이스 (150), 사용되는 경우 무선 트랜시버 (157), 모션 센서들 (158) 및 SPS 수신기 (159) 와 같은 다른 특징들에 접속되고 그들과 통신한다. 제어 유닛 (160) 은, 전술한 바와 같이 카메라 (110) 로부터 데이터를 수용 및 처리하고, 응답하여 디스플레이 (102) 를 제어한다. 제어 유닛 (160) 은 프로세서 (161) 및 연관된 메모리 (164), 하드웨어 (162), 소프트웨어 (165), 및 펌웨어 (163) 에 의해 제공될 수도 있다. 모바일 플랫폼 (100) 은 카메라 (110) 에 의해 캡쳐된 이미지들로부터 피쳐들을 추출하는 피쳐 추출 유닛 (166) 을 포함할 수도 있다. 모바일 플랫폼 (100) 은 또한, 전술한 바와 같이 사용자 인터페이스 (150) 를 통한 사용자 입력에 따라서 또는 자동적으로 캡쳐된 이미지의 이미지 마스크를 생성하기 위해, 또는, 예를 들어 제품 포장에 대한 외부 소스로부터 이미지 마스크를 수신하기 위해 이용되는 이미지 마스크 유닛 (167) 을 포함할 수도 있다. 피쳐 추출 유닛 (166) 및 이미지 마스크 유닛 (167) 은, 메모리 (164) 에 저장될 수도 있는, 타겟에 대한 마스킹된 피쳐 데이터셋트를 생성하기 위해 이용될 수도 있다. 원하는 경우, 외부 소스는 유사하게 메모리 (164) 에 저장되는, 타겟에 대한 마스킹된 피쳐 데이터셋트를 제공할 수도 있다. 제어 유닛 (160) 은 또한, 저장된 마스킹된 피쳐 데이터셋트를 갖는 카메라 (110) 에 의해 캡쳐된 이미지로부터 피쳐들을 추출 및 매칭 (matching) 하기 위한 검출 유닛 (168) 을 포함하고, 매칭된 피쳐들을 이용하여 타겟을 추적하기 위한 추적 유닛 (169) 을 포함한다. 제어 유닛 (160) 은, 예를 들어 추적 유닛 (169) 에 의해 제공된 추적 정보에 기초하여 AR 정보를 생성하여 디스플레이 (102) 상에 디스플레이하기 위한 증강 현실 (AR) 유닛 (170) 을 추가로 포함할 수도 있다. 피쳐 추출 유닛 (166), 이미지 마스크 유닛 (167), 검출 유닛 (168), 추적 유닛 (169), 및 AR 유닛 (170) 은 명확함을 위해 프로세서 (161) 로부터 분리되어 별개로 도시되었지만, 단일 유닛일 수도 있고, 및/또는 프로세서 (161) 내에서 실행되는 소프트웨어 (165) 에서의 명령들에 기초하여 프로세서 (161) 에서 구현될 수도 있다. 본원에서 사용된 바와 같이, 프로세서 (161) 뿐만 아니라, 피쳐 추출 유닛 (166), 이미지 마스크 유닛 (167), 검출 유닛 (168), 추적 유닛 (169), 및 AR 유닛 (170) 중 하나 이상은, 하나 이상의 마이크로프로세서들, 내장 프로세서들, 제어기들, 애플리케이션 특정 집적 회로 (ASIC) 들, 디지털 신호 처리기 (DSP) 들을 포함할 수도 있고, 하지만, 반드시 이들을 포함해야할 필요는 없다. 프로세서라는 용어는 특정 하드웨어보다는 시스템에 의해 구현되는 기능들을 기술하는 것으로 의도된다. 또한, 본원에서 사용된 바와 같이 "메모리" 라는 용어는 장기, 단기, 또는 모바일 플랫폼과 연관된 다른 메모리를 포함하는 임의의 유형의 컴퓨터 저장 매체를 지칭하고, 메모리의 어떤 특정 유형 또는 메모리들의 수, 또는 메모리가 저정되는 매체의 유형에 한정되지 않는다.
본원에서 설명된 방법론들은 애플리케이션에 따라 다양한 수단에 의해 구현될 수도 있다. 예를 들어, 이들 방법론들은 하드웨어 (162), 펌웨어 (163), 소프트웨어 (165), 또는 이들의 임의의 조합으로 구현될 수도 있다. 하드웨어 구현을 위해, 프로세싱 유닛들은, 하나 이상의 애플리케이션 특정 집적 회로 (ASIC) 들, 디지털 신호 처리기 (DSP) 들, 디지털 신호 처리 디바이스 (DSPD) 들, 프로그래머블 로직 디바이스 (PLD) 들, 필드 프로그래머블 게이트 어레이 (FPGA) 들, 프로세서들, 제어기들, 마이크로-제어기들, 마이크로프로세서들, 전자적 디바이스들, 본원에서 설명된 기능들을 수행하도록 설계된 다른 전자적 유닛들, 또는 이들의 조합 내에서 구현될 수도 있다.
펌웨어 및/또는 소프트웨어 구현을 위해, 방법론들은 본원에서 설명된 기능들을 수행하는 모듈들 (예를 들어, 절차들, 기능들 등) 로 구현될 수도 있다. 명령들을 유형적으로 수록한 임의의 머신-판독가능 매체가 본원에서 설명된 방법론들을 구현하는데 이용될 수도 있다. 예를 들어, 소프트웨어 코드들은 메모리 (164) 에 저장될 수도 있고, 프로세서 (161) 에 의해 실행될 수도 있다. 메모리는 프로세서 (161) 내에 또는 외부에 구현될 수도 있다.
펌웨어 및/또는 소프트웨어에서 구현되는 경우, 기능들은 컴퓨터-판독가능 매체 상에 하나 이상의 명령들 또는 코드로서 저장될 수도 있다. 예들은, 데이터 구조로 인코딩된 비일시적 컴퓨터-판독가능 매체 및 컴퓨터 프로그램으로 인코딩된 컴퓨터-판독가능 매체를 포함한다. 컴퓨터-판독가능 매체는 물리적 컴퓨터 저장 매체를 포함한다. 저장 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 이용가능한 매체일 수도 있다. 한정적이 아닌 예시적인 방식으로, 이러한 컴퓨터-판독가능 매체는, RAM, ROM, 플래시 메모리, EEPROM, CD-ROM, 또는 다른 광학적 디스크 스토리지, 자기 디스크 스토리지 또는 다른 자기적 저장 디바이스들, 또는, 명령들 또는 데이터 구조들의 형태로 원하는 프로그램 코드를 저장하기 위해 이용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있고; 본원에서 사용된 디스크 (disk) 및 디스크 (disc) 는 컴팩트 디스크 (CD), 레이저 디스크, 광학적 디스크, DVD, 플로피 디스크, 및 블루-레이 디스크를 포함하고, 여기서, 디스크 (disk) 들은 통상적으로 데이터를 자기적으로 재생하는 반면, 디스크 (disc) 들은 데이터를 레이저들을 이용하여 광학적으로 재생한다. 상기의 것들의 조합들 역시 컴퓨터-판독가능 매체의 범위 내에 포함되어야 한다.
비록 본 발명이 교시적 목적들을 위해 특정 실시형태들과 함께 설명되었지만, 본 발명은 이에 한정되지 아니한다. 다양한 적응들 및 변형들이 본 발명의 범위로부터 벗어남이 없이 이루어질 수도 있다. 따라서, 첨부된 청구항들의 사상 및 범위는 전술한 설명에 한정되어서는 아니된다.

Claims (1)

  1. 발명의 상세한 설명에 기재된 발명
KR1020167008505A 2010-05-28 2011-05-27 동적으로 변화하는 부분들을 갖는 타겟들을 추적하기 위한 데이터셋트 형성 Ceased KR20160042461A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US34948110P 2010-05-28 2010-05-28
US61/349,481 2010-05-28
PCT/US2011/038429 WO2011150386A1 (en) 2010-05-28 2011-05-27 Dataset creation for tracking targets with dynamically changing portions
US13/117,472 2011-05-27
US13/117,472 US9256956B2 (en) 2010-05-28 2011-05-27 Dataset creation for tracking targets with dynamically changing portions

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020127031172A Division KR20130022410A (ko) 2010-05-28 2011-05-27 동적으로 변화하는 부분들을 갖는 타겟들을 추적하기 위한 데이터셋트 형성

Publications (1)

Publication Number Publication Date
KR20160042461A true KR20160042461A (ko) 2016-04-19

Family

ID=44511462

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020127031172A Ceased KR20130022410A (ko) 2010-05-28 2011-05-27 동적으로 변화하는 부분들을 갖는 타겟들을 추적하기 위한 데이터셋트 형성
KR1020167008505A Ceased KR20160042461A (ko) 2010-05-28 2011-05-27 동적으로 변화하는 부분들을 갖는 타겟들을 추적하기 위한 데이터셋트 형성

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020127031172A Ceased KR20130022410A (ko) 2010-05-28 2011-05-27 동적으로 변화하는 부분들을 갖는 타겟들을 추적하기 위한 데이터셋트 형성

Country Status (6)

Country Link
US (2) US9256956B2 (ko)
EP (1) EP2577607A1 (ko)
JP (1) JP2013535047A (ko)
KR (2) KR20130022410A (ko)
CN (1) CN103003843B (ko)
WO (1) WO2011150386A1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011150386A1 (en) 2010-05-28 2011-12-01 Qualcomm Incorporated Dataset creation for tracking targets with dynamically changing portions
US10157241B2 (en) * 2012-01-18 2018-12-18 Toyota Jidosha Kabushiki Kaisha Information processing device and information processing method
EP2908919A1 (en) 2012-10-22 2015-08-26 Longsand Limited Collaborative augmented reality
CN105637560B (zh) * 2013-10-31 2019-02-15 香港中文大学 优化基于增强现实的定位系统的定位的方法
US9218667B2 (en) * 2013-11-25 2015-12-22 International Business Machines Corporation Spherical lighting device with backlighting coronal ring
US9684831B2 (en) * 2015-02-18 2017-06-20 Qualcomm Incorporated Adaptive edge-like feature selection during object detection
US11288169B2 (en) * 2016-11-10 2022-03-29 Eggplant Limited Method of, and apparatus for, handling reference images for an automated test of software with a graphical user interface
IT201800010949A1 (it) * 2018-12-10 2020-06-10 Datalogic IP Tech Srl Metodo e dispositivo di rilevamento e classificazione di un oggetto
CN111665942A (zh) * 2020-06-08 2020-09-15 浙江商汤科技开发有限公司 一种ar特效触发展示方法、装置、电子设备和存储介质
US12521444B2 (en) 2021-02-25 2026-01-13 Fortvita Biologics Limited Anti-HER2 antibody-drug conjugates and uses thereof
US11587208B2 (en) * 2021-05-26 2023-02-21 Qualcomm Incorporated High quality UI elements with frame extrapolation

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US102103A (en) 1870-04-19 Improved lunch valise
DE2950652B3 (de) * 1979-12-15 2008-09-04 LFK Lenkflugkörpersysteme GmbH Verfahren zur Verfolgung eines Zieles
JPS63247680A (ja) * 1987-04-02 1988-10-14 Mitsubishi Electric Corp 画像追尾装置
US5034986A (en) * 1989-03-01 1991-07-23 Siemens Aktiengesellschaft Method for detecting and tracking moving objects in a digital image sequence having a stationary background
US5687258A (en) * 1991-02-12 1997-11-11 Eastman Kodak Company Border treatment in image processing algorithms
JPH06231275A (ja) * 1993-01-29 1994-08-19 Hitachi Ltd 画像シミュレーション方法
JPH06274625A (ja) * 1993-03-18 1994-09-30 Toshiba Corp 監視画像の移動物体追跡方法
FR2773521B1 (fr) * 1998-01-15 2000-03-31 Carlus Magnus Limited Procede et dispositif pour surveiller en continu l'etat de vigilance du conducteur d'un vehicule automobile, afin de detecter et prevenir une tendance eventuelle a l'endormissement de celui-ci
WO2000073996A1 (en) * 1999-05-28 2000-12-07 Glebe Systems Pty Ltd Method and apparatus for tracking a moving object
US6993167B1 (en) * 1999-11-12 2006-01-31 Polartechnics Limited System and method for examining, recording and analyzing dermatological conditions
US6674925B1 (en) * 2000-02-08 2004-01-06 University Of Washington Morphological postprocessing for object tracking and segmentation
DE10158990C1 (de) * 2001-11-30 2003-04-10 Bosch Gmbh Robert Videoüberwachungssystem
JP3861781B2 (ja) * 2002-09-17 2006-12-20 日産自動車株式会社 前方車両追跡システムおよび前方車両追跡方法
JP2005071344A (ja) 2003-08-07 2005-03-17 Matsushita Electric Ind Co Ltd 画像処理方法、画像処理装置及び画像処理プログラムを記録した記録媒体
US7536044B2 (en) * 2003-11-19 2009-05-19 Siemens Medical Solutions Usa, Inc. System and method for detecting and matching anatomical structures using appearance and shape
JP4198071B2 (ja) * 2004-01-20 2008-12-17 オリンパス株式会社 情報呈示システム
JP4697923B2 (ja) 2004-04-16 2011-06-08 財団法人電力中央研究所 水中または水面における移動体の計数システムおよび計数方法
JP2006012042A (ja) 2004-06-29 2006-01-12 Canon Inc 画像生成方法及び装置
JP4490752B2 (ja) 2004-07-30 2010-06-30 日本放送協会 映像オブジェクト抽出装置、映像オブジェクト軌跡合成装置、その方法及びそのプログラム
US7447359B2 (en) * 2004-09-07 2008-11-04 Siemens Medical Solutions Usa, Inc. System and method for anatomical structure parsing and detection
US7424167B1 (en) 2004-10-01 2008-09-09 Objectvideo, Inc. Tide filtering for video surveillance system
US7852353B1 (en) * 2005-03-31 2010-12-14 Apple Inc. Encoding a transparency (alpha) channel in a video bitstream
US8203609B2 (en) * 2007-01-31 2012-06-19 The Invention Science Fund I, Llc Anonymization pursuant to a broadcasted policy
FR2893720B1 (fr) * 2005-11-21 2008-04-18 Mehmed Yilmaz Dispositif de prise de vues a longue distance
ITRM20060110A1 (it) 2006-03-03 2007-09-04 Cnr Consiglio Naz Delle Ricerche Metodo e sistema per la rilevazione automatica di eventi in ambito sportivo
US7724962B2 (en) * 2006-07-07 2010-05-25 Siemens Corporation Context adaptive approach in vehicle detection under various visibility conditions
JP4650386B2 (ja) * 2006-09-29 2011-03-16 沖電気工業株式会社 個人認証システム及び個人認証方法
TWI323434B (en) * 2006-11-30 2010-04-11 Ind Tech Res Inst Method of object segmentation for video
TW200834459A (en) * 2007-02-05 2008-08-16 Huper Lab Co Ltd Video object segmentation method applied for rainy situations
JP4802112B2 (ja) 2007-02-08 2011-10-26 株式会社東芝 トラッキング方法及びトラッキング装置
US8179556B2 (en) * 2007-03-26 2012-05-15 Xerox Corporation Masking of text in document reproduction
DE102008007199A1 (de) * 2008-02-01 2009-08-06 Robert Bosch Gmbh Maskierungsmodul für ein Videoüberwachungssystem, Verfahren zur Maskierung von selektierten Objekten sowie Computerprogramm
WO2010082942A1 (en) * 2008-02-01 2010-07-22 Canfield Scientific, Incorporated Automatic mask design and registration and feature detection for computer-aided skin analysis
JP2009219573A (ja) * 2008-03-14 2009-10-01 Fujinon Corp 内視鏡用画像処理装置及び内視鏡用画像処理方法
US8098904B2 (en) * 2008-03-31 2012-01-17 Google Inc. Automatic face detection and identity masking in images, and applications thereof
US8116542B2 (en) * 2008-05-09 2012-02-14 General Electric Company Determining hazard of an aneurysm by change determination
JP5048609B2 (ja) 2008-08-01 2012-10-17 株式会社豊田中央研究所 対象物追跡装置及びプログラム
US8320620B1 (en) * 2008-12-18 2012-11-27 Adobe Systems Incorporated Methods and apparatus for robust rigid and non-rigid motion tracking
JP4548542B1 (ja) * 2009-06-30 2010-09-22 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
WO2011150386A1 (en) * 2010-05-28 2011-12-01 Qualcomm Incorporated Dataset creation for tracking targets with dynamically changing portions
CN101986348A (zh) 2010-11-09 2011-03-16 上海电机学院 一种视觉目标识别与跟踪方法

Also Published As

Publication number Publication date
EP2577607A1 (en) 2013-04-10
WO2011150386A1 (en) 2011-12-01
CN103003843A (zh) 2013-03-27
US9785836B2 (en) 2017-10-10
US20160098600A1 (en) 2016-04-07
US9256956B2 (en) 2016-02-09
CN103003843B (zh) 2016-08-03
US20110293140A1 (en) 2011-12-01
KR20130022410A (ko) 2013-03-06
JP2013535047A (ja) 2013-09-09

Similar Documents

Publication Publication Date Title
KR20160042461A (ko) 동적으로 변화하는 부분들을 갖는 타겟들을 추적하기 위한 데이터셋트 형성
KR101554797B1 (ko) 콘텍스트 인식 증강 상호작용
US11481982B2 (en) In situ creation of planar natural feature targets
JP6348574B2 (ja) 総体的カメラ移動およびパノラマカメラ移動を使用した単眼視覚ｓｌａｍ
JP6043856B2 (ja) Ｒｇｂｄカメラを用いた頭部ポーズ推定
JP6258953B2 (ja) 単眼視覚ｓｌａｍのための高速初期化
US10109065B2 (en) Using occlusions to detect and track three-dimensional objects
KR101647969B1 (ko) 사용자 시선을 검출하기 위한 사용자 시선 검출 장치 및 그 방법과, 그 방법을 실행하기 위한 컴퓨터 프로그램
CN110352446A (zh) 用于获得图像的方法和装置及其记录介质
US9025823B2 (en) Tracking texture rich objects using rank order filtering

Legal Events

Date Code Title Description
A107 Divisional application of patent
PA0104 Divisional application for international application

Comment text: Divisional Application for International Patent

Patent event code: PA01041R01D

Patent event date: 20160330

Application number text: 1020127031172

Filing date: 20121128

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20160527

Comment text: Request for Examination of Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20160603

Patent event code: PE09021S01D

E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20170207

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20160603

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I