KR20140057595A - 오디오 비주얼 재생을 위한 시선 기반 위치 선택 - Google Patents

오디오 비주얼 재생을 위한 시선 기반 위치 선택 Download PDF

Info

Publication number
KR20140057595A
KR20140057595A KR1020147006266A KR20147006266A KR20140057595A KR 20140057595 A KR20140057595 A KR 20140057595A KR 1020147006266 A KR1020147006266 A KR 1020147006266A KR 20147006266 A KR20147006266 A KR 20147006266A KR 20140057595 A KR20140057595 A KR 20140057595A
Authority
KR
South Korea
Prior art keywords
user
viewing
area
display screen
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020147006266A
Other languages
English (en)
Other versions
KR101605276B1 (ko
Inventor
켄턴 엠. 라이온즈
조슈아 제이. 라트클리프
트레버 페링
Original Assignee
인텔 코오퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔 코오퍼레이션 filed Critical 인텔 코오퍼레이션
Publication of KR20140057595A publication Critical patent/KR20140057595A/ko
Application granted granted Critical
Publication of KR101605276B1 publication Critical patent/KR101605276B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV programme
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/87—Regeneration of colour television signals
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Social Psychology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Position Input By Displaying (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

사용자가 디스플레이 스크린 상에서 보고 있는 것의 검출에 응답하여, 그 영역과 연관된 오디오 또는 비주얼 미디어의 재생이 변경될 수 있다. 예를 들어, 사용자가 보고 있는 영역 내의 비디오는 빨라지거나 느려질 수 있다. 관심 영역 내의 정지 이미지는 동영상으로 변환될 수 있다. 디스플레이 스크린 상의 관심 영역에 묘사된 오브젝트와 연관된 오디오는 시선 검출에 응답하여 활성화될 수 있다.

Description

오디오 비주얼 재생을 위한 시선 기반 위치 선택{EYE GAZE BASED LOCATION SELECTION FOR AUDIO VISUAL PLAYBACK}
본 발명은 일반적으로 컴퓨터들 및, 특히, 컴퓨터 상에서 이미지들을 디스플레이하고 오디오 비주얼 정보를 재생하는 것에 관한 것이다.
전형적으로, 컴퓨터들은 오디오/비디오 재생을 위한 다수의 컨트롤을 포함한다. 이러한 목적을 위한 입/출력 디바이스들은 키보드들, 마우스들, 및 터치 스크린들을 포함한다. 또한, 그래픽 사용자 인터페이스들은, 비디오 또는 오디오 재생의 시작 및 정지, 비디오 또는 오디오 재생의 일시 정지, 비디오 또는 오디오 재생의 빨리 감기, 및 오디오/비디오 재생의 되감기의 사용자 컨트롤을 가능하게 하도록 디스플레이될 수 있다.
도 1은 본 발명의 일 실시예의 개략도.
도 2는 본 발명의 일 실시예에 대한 흐름도.
일부 실시예들에 따라, 사용자의 시선은, 컴퓨터 디스플레이 스크린 상에서 사용자가 보고 있는 것을 정확히 결정하도록 분석될 수 있다. 시선 검출된 사용자 관심 영역에 기초하여, 오디오 또는 비디오 재생이 제어될 수 있다. 예를 들어, 사용자가 디스플레이 스크린 상의 특정 영역을 볼 때, 선택된 오디오 파일 또는 선택된 비디오 파일은 그 영역에서 재생을 시작할 수 있다.
마찬가지로, 사용자가 어디를 보고 있는지에 기초하여, 그 영역에서 비디오의 모션의 레이트가 변할 수 있다. 또 다른 예시로서, 사용자가 그 영역을 보기 전에 정지해 있던 영역에서 모션이 턴 온(turn on) 될 수 있다. 부가적인 예시들로서, 시선 선택된 영역의 크기는 그 영역을 보는 사용자의 검출에 응답하여 증가되거나 감소될 수 있다. 빨리 감기, 감기, 또는 되감기 컨트롤들은 사용자가 특정 영역을 본다는 사실에 단순히 기초하여 디스플레이 영역에서 실행될 수 있다. 단지 시선을 검출함으로써 구현될 수 있는 그외의 컨트롤들은 일시 정지 및 재생 시작을 포함한다.
도 1을 참조하면, 컴퓨터 시스템(10)은, 데스크톱 컴퓨터 또는, 텔레비전 또는 미디어 플레이어와 같은, 엔터테인먼트 시스템을 포함하는, 임의의 종류의 프로세서 기반 시스템일 수 있다. 그것은 또한, 일부 예시들을 언급하자면, 랩톱 컴퓨터, 태블릿, 셀룰러 전화기, 또는 모바일 인터넷 디바이스와 같은, 모바일 시스템일 수 있다.
시스템(10)은, 컴퓨터 기반 디바이스(14)에 결합된, 디스플레이 스크린(12)을 포함할 수 있다. 컴퓨터 기반 디바이스는, 일부 실시예들에서, 디스플레이(12)와 연관될 수 있는, 비디오 카메라(16)에 결합된, 비디오 인터페이스(22)를 포함할 수 있다. 예를 들어, 일부 실시예들에서, 카메라(16)는 디스플레이(12)와 통합되거나 또는 장착될 수 있다. 일부 실시예들에서, 또한 눈 움직임을 추적하기 위해 카메라가 사용자들의 눈으로부터 적외선 반사들을 검출할 수 있게 하도록 적외선 송신기들이 제공될 수 있다. 본원에서 사용되는 바와 같이, "시선 검출(eye gaze detection)"은 사용자가 보고 있는 것을 결정하기 위한, 눈, 머리, 및 얼굴 추적을 포함하는, 임의의 기법을 포함한다.
프로세서(28)는 저장소(24)와, 디스플레이(12)를 구동하는 디스플레이 인터페이스(26)에 결합될 수 있다. 프로세서(28)는, 중앙 처리 장치 또는 그래픽 처리 장치를 포함하는, 임의의 컨트롤러일 수 있다. 프로세서(28)는, 시선 검출을 이용하여, 디스플레이 스크린(12) 상에 디스플레이되는 이미지 내의 관심 영역들을 식별하는 모듈(18)을 가질 수 있다.
일부 실시예들에서, 디스플레이 스크린 상의 시선 위치의 결정은 이미지 분석에 의해 보완될 수 있다. 구체적으로, 이미지의 콘텐츠는, 묘사 내의 오브젝트들을 인식하고 시선 검출에 의해 제시된 위치가 엄밀히 정확한지를 평가하도록 비디오 이미지 분석을 이용하여 분석될 수 있다. 예시로서, 사용자는 이미지화된 사람의 머리를 보고 있을 수 있지만, 시선 검출 기술은 미세하게 틀릴 수 있어서, 대신, 포커스의 영역을 머리에 인접하지만, 빈 영역 내에 제시하게 된다. 비디오 분석은, 검출된 시선 위치에 인접한 오브젝트만이 이미지화된 사람의 머리라는 것을 검출하는 데 이용될 수 있다. 따라서, 시스템은, 정확한 포커스는 이미지화된 사람의 머리라는 것을 추론할 수 있다. 따라서, 일부 실시예들에서 비디오 이미지 분석은 시선 검출과 함께 이용되어 시선 검출의 정확성을 개선할 수 있다.
관심 영역 식별 모듈(18)은, 관심 영역 및 미디어 링크 모듈(20)에 결합된다. 링크 모듈(20)은, 사용자가 보고 있는 것을 스크린 상에 플레이되고 있는 특정 오디오 비주얼 파일에 링크할 책임이 있을 수 있다. 따라서, 디스플레이 스크린 내의 각 영역은, 일 실시예에서, 오디오 비주얼 정보의 진행 중인 디스플레이 내의 특정 장소들 또는 특정 순간들에서 특정 파일들에 링크된다.
예를 들어, 영화의 타임 코드들은 특정 영역들과 링크될 수 있고 디지털 스트리밍 미디어와 연관된 메타데이터는 프레임들 및 프레임들 내의 사분면(quadrant)들 또는 영역들을 식별할 수 있다. 예를 들어, 각 프레임은 디지털 콘텐츠 스트림의 메타데이터에서 식별되는 사분면들로 분할될 수 있다.
또 다른 예시로서, 특정 오브젝트 또는 특정 영역과 같은, 각 이미지 부분 또는 별개의 이미지는 개별적으로 조작 가능한 파일 또는 디지털 전자 스트림일 수 있다. 이러한 별개의 파일들 또는 스트림들 각각은 특정 환경들 하에서 활성화될 수 있는 그외의 파일들 또는 스트림들에 링크될 수 있다. 또한, 각각의 별개의 파일 또는 스트림은, 이하에 설명되는 바와 같이, 비활성화되거나 또는 제어될 수 있다.
일부 실시예들에서, 디스플레이된 전자 미디어 파일의 상이한 버전들의 시리즈들이 저장될 수 있다. 예를 들어, 제1 버전은 제1 영역에 비디오를 가질 수 있고, 제2 버전은 제2 영역에 비디오를 가질 수 있고, 제3 버전은 비디오를 갖지 않을 수 있다. 사용자가 제1 영역을 보는 경우, 제3 버전의 재생은 제1 버전의 재생으로 대체된다. 이후, 사용자가 제2 영역을 보는 경우, 제1 버전의 재생은 제2 버전의 재생으로 대체된다.
마찬가지로, 오디오는 동일한 방식으로 핸들링될 수 있다. 또한, 빔 형성 기법들이 장면의 오디오를 기록하는 데 이용될 수 있어서, 마이크로폰 어레이 내의 상이한 마이크로폰들과 연관된 오디오가, 이미지화된 장면의 상이한 영역들에 키잉될(keyed) 수 있다. 따라서, 일 실시예에서 사용자가 장면의 하나의 영역을 보는 경우, 가장 인접한 마이크로폰으로부터의 오디오가 플레이될 수 있다. 이러한 방식으로, 오디오 재생은, 사용자가 실제로 응시하는 이미지화된 장면 내의 영역에 상관된다.
일부 실시예들에서, 장면 내의 상이한 오브젝트들에 대해 복수의 비디오가 촬영될 수 있다. 그린 스크린(green screen) 기법들은 이러한 오브젝트들을 기록하는 데 이용될 수 있어서 그것들은 종합적인 합성물로 스티치(stitch)될 수 있다. 따라서, 예를 들면, 물을 뿌리는 공원 내의 분수의 비디오는 그린 스크린 기법들을 이용하여 기록될 수 있다. 이후 플레이되고 있는 비디오는 물을 뿌리지 않는 분수를 나타낼 수 있다. 그러나, 분수 오브젝트의 묘사는 사용자가 그것을 보는 경우 장면으로부터 제거될 수 있고, 실제로 물을 뿌리는 분수의 스티치된 분할된 디스플레이로 대체될 수 있다. 따라서 종합적인 장면은, 사용자가 오브젝트의 위치를 보고 있는 경우 합성물 내로 스티치될 수 있는 분할된 비디오들의 합성물로 구성될 수 있다.
일부 케이스들에서, 디스플레이는 장면 내의 다수의 오브젝트를 표현하는 다양한 비디오들로 분할될 수 있다. 사용자가 이러한 오브젝트들 중 하나를 볼 때는 언제든지, 오브젝트의 비디오는 종합적인 합성물로 스티치되어 오브젝트의 모습을 변화시킬 수 있다.
링크 모듈(20)은 디스플레이를 구동하기 위한 디스플레이 드라이버(26)에 결합될 수 있다. 모듈(20)은 또한, 스크린의 특정 영역들의 선택과 연관되어 활성화되고 플레이될 수 있는 파일들을 저장하기 위한 이용 가능한 저장소(24)를 가질 수 있다.
따라서, 도 2를 참조하면, 시퀀스(30)는, 소프트웨어, 펌웨어, 및/또는 하드웨어에 의해 구현될 수 있다. 소프트웨어 또는 펌웨어 실시예들에서, 시퀀스는, 광, 자기, 또는 반도체 저장소와 같은, 비 일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 판독 가능 명령어들에 의해 구현될 수 있다. 예를 들어, 컴퓨터 판독 가능 명령어들로 구현된 그러한 시퀀스는 저장소(24)에 저장될 수 있다.
일 실시예에서, 시퀀스(30)는, 비디오 카메라(16)로부터 공급된 비디오 내의 사용자의 눈 위치들을 검출함으로써(블록(32)) 시작한다. 사람의 눈과 연관된 공지된 물리적 특성들에 대응하는 이미지 부분들을 식별하기 위해 공지된 기법들이 이용될 수 있다.
다음에, 블록(34)에서, 일 실시예에서, 식별 목적들을 위해 사람의 눈동자의 공지된, 기하학적 형태를 이용하여, 다시, 그것에 대해 눈으로서 식별된 영역이 서치된다.
일단 눈동자의 위치를 찾으면, 종래의 눈 검출 및 추적 기술을 이용하여 눈동자 움직임을 추적할 수 있다(블록(36)).
눈동자의 움직임의 방향(블록(36))은 진행 중인 디스플레이 내의 관심 영역들을 식별하는 데 이용될 수 있다(블록(38)). 예를 들어, 눈동자의 위치는, 특정 픽셀 위치들에 대한 지오메트리(geometry)를 이용하여 상관될 수 있는, 디스플레이 스크린에 대한 시야각의 라인에 대응할 수 있다. 일단 그러한 픽셀 위치들이 식별되면, 데이터베이스 또는 테이블은 특정 픽셀 위치들을, 스크린의 영역들 또는 별개의 세그먼트들 또는 이미지 오브젝트들을 포함하는, 스크린 상의 특정 묘사들에 링크할 수 있다.
마지막으로, 블록(40)에서, 미디어 파일들은 관심 영역에 링크될 수 있다. 다시, 묘사된 영역들 또는 오브젝트들의 다양한 변화들이, 사용자가 실제로 그 영역을 보고 있다는 것의 검출에 응답하여 자동적으로 구현될 수 있다.
예를 들어, 선택된 오디오는, 사용자가 스크린의 한 영역을 보고 있는 경우 플레이될 수 있다. 또 다른 오디오 파일은, 사용자가 스크린의 또 다른 영역을 보고 있는 경우 자동적으로 플레이될 수 있다.
마찬가지로, 비디오는, 사용자가 그 영역을 보는 경우 스크린의 하나의 특정 영역 내에서 시작할 수 있다. 상이한 비디오는, 사용자가 스크린의 상이한 영역을 보는 경우 시작될 수 있다.
마찬가지로, 스크린의 영역에서 모션이 이미 활성이면, 사용자가 그 영역을 보는 경우, 모션의 레이트는 증가될 수 있다. 또 다른 옵션으로서, 모션은, 사용자가 그것을 보는 경우 정지한 영역에서 턴 온되거나 또는 그 반대일 수 있다.
부가적인 예시들로서, 관심 영역의 디스플레이의 크기는 사용자 시선 검출에 응답하여 증가되거나 감소될 수 있다. 또한, 감기 및 되감기는 사용자 시선 검출에 응답하여 선택적으로 구현될 수 있다. 계속해서 부가적인 실시예들은 그 영역 내의 재생을 일시 정지시키거나 또는 시작하는 것을 포함한다. 또 다른 가능성은 관심 영역에서 3차원(3D) 효과들을 구현하거나 또는 관심 영역에서 3D 효과들을 비활성화하는 것이다.
본원에 설명된 그래픽 처리 기법들은 다양한 하드웨어 아키텍처들에서 구현될 수 있다. 예를 들어, 그래픽 기능은 칩셋 내에 집적될 수 있다. 대안으로, 별개의 그래픽 프로세서가 이용될 수 있다. 계속하여 또 다른 실시예로서, 그래픽 기능들은, 멀티 코어 프로세서를 포함하는, 범용 프로세서에 의해 구현될 수 있다.
본 명세서 전체에 걸쳐, "일 실시예" 또는 "실시예"에 대한 참조는, 실시예와 함께 설명된 특정 특징, 구조, 또는 특성이, 본 발명에 포함된 적어도 일 구현에는 포함된다는 것을 의미한다. 따라서, 구절 "일 실시예" 또는 "실시예에서"의 출현은 반드시 동일한 실시예를 지칭하는 것은 아니다. 또한, 특정 특징들, 구조들, 또는 특성들은 예시된 특정 실시예 외에 그외의 적합한 형태들로 개시될 수 있고, 모든 그러한 형태들은 본 출원의 특허청구범위에 포함될 수 있다.
본 발명이 한정된 수의 실시예들에 대해 설명되었지만, 본 기술 분야에 숙련된 자들은 그로부터의 다수의 수정 및 변형을 알 것이다. 첨부된 특허청구범위는, 모든 그러한 수정들 및 변형들을 본 발명의 참된 기술적 사상 및 범위에 속하는 것으로서 포함하는 것으로 의도된다.

Claims (30)

  1. 시선 검출(eye gaze detection)을 이용하여 사용자가 디스플레이 스크린 상에서 보고 있는 것을 식별하는 단계, 및
    사용자가 상기 디스플레이 스크린 상에서 보고 있는 것에 기초하여 오디오/비주얼 미디어의 재생을 변경하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 사용자가 디스플레이의 영역을 보고 있다는 검출에 응답하여 그 영역에서 비디오를 플레이하는 단계를 포함하는 방법.
  3. 제1항에 있어서,
    사용자가 보고 있는 디스플레이 스크린의 영역에서 오브젝트들의 모션의 레이트를 증가시키는 단계를 포함하는 방법.
  4. 제1항에 있어서,
    상기 사용자가 보고 있는 상기 디스플레이 스크린 상의 영역과 연관된 오디오를 시작하거나 또는 정지시키는 단계를 포함하는 방법.
  5. 제1항에 있어서,
    상기 사용자가 보고 있는 상기 디스플레이 스크린 상의 영역을 정지(still) 이미지로부터 동영상으로 스위칭하는 단계를 포함하는 방법.
  6. 제1항에 있어서,
    상기 디스플레이 스크린 상에 보여지고 있는 것을 결정하기 위해 눈 추적기(eye tracker)를 이용하는 단계를 포함하는 방법.
  7. 제6항에 있어서,
    상기 눈 추적기를 보완하기 위해 비디오 이미지 분석을 이용하는 단계를 포함하는 방법.
  8. 제7항에 있어서,
    상기 눈 추적기가, 상기 사용자가 빈 스크린 영역을 보고 있다는 것을 나타내는지를 판정하고, 그러한 경우, 상기 눈 추적기가, 상기 사용자가 보고 있는 것으로 결정한 것에 인접한 이미지화된(imaged) 오브젝트를 식별하기 위해 비디오 이미지 분석을 이용하는 단계를 포함하는 방법.
  9. 제1항에 있어서,
    상기 디스플레이 스크린의 영역들에 링크되는 빔 형성된 오디오를 제공하고, 상기 영역에 링크되는 마이크로폰으로부터 오디오를 플레이하는 단계를 포함하는 방법.
  10. 컴퓨터로 하여금, 사용자가 디스플레이 스크린 상에서 보고 있는 것에 기초하여 오디오/비주얼 미디어의 재생을 변경할 수 있게 하는 명령어들을 저장하는 비 일시적 컴퓨터 판독 가능 매체.
  11. 제10항에 있어서,
    상기 사용자가 보고 있는 영역을 상기 사용자가 보고 있다는 검출에 응답하여 그 영역에서 비디오를 플레이하기 위한 명령어들을 더 저장하는 매체.
  12. 제10항에 있어서,
    상기 사용자가 보고 있는 영역에서 묘사된 오브젝트들의 모션의 레이트를 증가시키기 위한 명령어들을 더 저장하는 매체.
  13. 제10항에 있어서,
    상기 사용자가 보고 있는 상기 디스플레이 스크린의 영역과 연관된 오디오를 시작하거나 또는 정지시키기 위한 명령어들을 더 저장하는 매체.
  14. 제10항에 있어서,
    상기 사용자가 보고 있는 영역을 정지 이미지로부터 동영상으로 스위칭하기 위한 명령어들을 더 저장하는 매체.
  15. 제10항에 있어서,
    디스플레이 스크린 상에서 보여지고 있는 것을 결정하기 위해 시선 검출을 이용하기 위한 명령어들을 더 저장하는 매체.
  16. 제15항에 있어서,
    상기 시선 검출을 보완하기 위해 비디오 이미지 분석을 이용하기 위한 명령어들을 더 저장하는 매체.
  17. 제16항에 있어서,
    시선 검출이, 상기 사용자가 빈 스크린 영역을 보고 있다는 것을 나타내는지를 판정하고, 그러한 경우, 인접한 이미지화된 오브젝트를 식별하기 위해 비디오 이미지 분석을 이용하기 위한 명령어들을 더 저장하는 매체.
  18. 제10항에 있어서,
    디스플레이 스크린의 영역들에 링크되는 빔 형성된 오디오를 제공하고, 상기 식별된 영역에 링크되는 마이크로폰으로부터 오디오를 플레이하기 위한 명령어들을 더 저장하는 매체.
  19. 프로세서, 및
    컴퓨터 시스템의 사용자의 비디오를 수신하기 위한 비디오 인터페이스
    를 포함하고,
    상기 프로세서는, 사용자가 디스플레이 스크린 상에서 보고 있는 것을 식별하기 위해 상기 비디오를 이용하고 상기 사용자가 보고 있는 것에 기초하여 오디오 또는 비주얼 미디어의 재생을 변경하는 장치.
  20. 제19항에 있어서,
    상기 프로세서에 결합되는 비디오 디스플레이를 포함하는 장치.
  21. 제19항에 있어서,
    상기 비디오 디스플레이 상에 장착되고 상기 비디오 인터페이스에 결합되는 카메라를 포함하는 장치.
  22. 제19항에 있어서,
    상기 프로세서는, 상기 사용자가 디스플레이의 영역을 보고 있다는 검출에 응답하여 그 영역에서 비디오를 재생하는 장치.
  23. 제19항에 있어서,
    상기 프로세서는 상기 사용자가 보고 있는 오브젝트의 모션의 레이트를 증가시키는 장치.
  24. 제19항에 있어서,
    상기 프로세서는 상기 사용자가 보고 있는 것과 연관된 오디오를 시작하거나 또는 정지시키는 장치.
  25. 제19항에 있어서,
    상기 프로세서는 상기 사용자가 보고 있는 영역을 정지 이미지로부터 동영상으로 스위칭하는 장치.
  26. 제19항에 있어서,
    상기 프로세서는 디스플레이 스크린 상에 보여지고 있는 것을 결정하기 위해 시선 검출을 이용하는 장치.
  27. 제26항에 있어서,
    상기 프로세서는 시선 검출을 보완하기 위해 비디오 이미지 분석을 이용하는 장치.
  28. 제27항에 있어서,
    상기 프로세서는, 시선 검출이, 사용자가 빈 스크린 영역을 보고 있다는 것을 나타내는지를 판정하고, 그러한 경우, 시선 검출에 기초하여 식별되는 위치에 인접한 이미지화된 오브젝트를 식별하기 위해 비디오 이미지 분석을 이용하는 장치.
  29. 제28항에 있어서,
    상기 프로세서는 상기 인접한 이미지화된 오브젝트에 기초하여 시선 검출을 정정하는 장치.
  30. 제19항에 있어서,
    상기 프로세서는 디스플레이 스크린의 영역들에 링크되는 빔 형성된 오디오를 제공하고 상기 식별된 영역에 링크되는 마이크로폰으로부터 오디오를 플레이하는 장치.
KR1020147006266A 2011-09-08 2011-09-08 오디오 비주얼 재생을 위한 시선 기반 위치 선택 Active KR101605276B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2011/050895 WO2013036237A1 (en) 2011-09-08 2011-09-08 Eye gaze based location selection for audio visual playback

Publications (2)

Publication Number Publication Date
KR20140057595A true KR20140057595A (ko) 2014-05-13
KR101605276B1 KR101605276B1 (ko) 2016-03-21

Family

ID=47832475

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147006266A Active KR101605276B1 (ko) 2011-09-08 2011-09-08 오디오 비주얼 재생을 위한 시선 기반 위치 선택

Country Status (6)

Country Link
US (1) US20130259312A1 (ko)
EP (1) EP2754005A4 (ko)
JP (1) JP5868507B2 (ko)
KR (1) KR101605276B1 (ko)
CN (1) CN103765346B (ko)
WO (1) WO2013036237A1 (ko)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9131266B2 (en) 2012-08-10 2015-09-08 Qualcomm Incorporated Ad-hoc media presentation based upon dynamic discovery of media output devices that are proximate to one or more users
US9047042B2 (en) * 2013-04-19 2015-06-02 Qualcomm Incorporated Modifying one or more session parameters for a coordinated display session between a plurality of proximate client devices based upon eye movements of a viewing population
EP3036918B1 (en) * 2013-08-21 2017-05-31 Thomson Licensing Video display having audio controlled by viewing direction
US9342147B2 (en) * 2014-04-10 2016-05-17 Microsoft Technology Licensing, Llc Non-visual feedback of visual change
US9318121B2 (en) 2014-04-21 2016-04-19 Sony Corporation Method and system for processing audio data of video content
GB2527306A (en) * 2014-06-16 2015-12-23 Guillaume Couche System and method for using eye gaze or head orientation information to create and play interactive movies
US9606622B1 (en) * 2014-06-26 2017-03-28 Audible, Inc. Gaze-based modification to content presentation
US20160035063A1 (en) * 2014-07-30 2016-02-04 Lenovo (Singapore) Pte. Ltd. Scaling data automatically
EP3037915B1 (en) * 2014-12-23 2017-08-16 Nokia Technologies OY Virtual reality content control
CN104731335B (zh) * 2015-03-26 2018-03-23 联想(北京)有限公司 一种播放内容调整方法及电子设备
US11269403B2 (en) 2015-05-04 2022-03-08 Disney Enterprises, Inc. Adaptive multi-window configuration based upon gaze tracking
US9990035B2 (en) * 2016-03-14 2018-06-05 Robert L. Richmond Image changes based on viewer's gaze
US9774907B1 (en) 2016-04-05 2017-09-26 International Business Machines Corporation Tailored audio content delivery
US10153002B2 (en) * 2016-04-15 2018-12-11 Intel Corporation Selection of an audio stream of a video for enhancement using images of the video
FR3050895A1 (fr) * 2016-04-29 2017-11-03 Orange Procede de composition contextuelle d'une representation video intermediaire
CN106569598A (zh) * 2016-10-31 2017-04-19 努比亚技术有限公司 菜单栏的管理装置及方法
EP3470976A1 (en) 2017-10-12 2019-04-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method and apparatus for efficient delivery and usage of audio messages for high quality of experience
US10481856B2 (en) 2017-05-15 2019-11-19 Microsoft Technology Licensing, Llc Volume adjustment on hinged multi-screen device
US10405126B2 (en) * 2017-06-30 2019-09-03 Qualcomm Incorporated Mixed-order ambisonics (MOA) audio data for computer-mediated reality systems
CN114924651A (zh) * 2017-09-29 2022-08-19 苹果公司 基于注视的用户交互
JP2019066618A (ja) * 2017-09-29 2019-04-25 フォーブ インコーポレーテッド 画像表示システム、画像表示方法及び画像表示プログラム
WO2020080867A1 (en) * 2018-10-18 2020-04-23 Samsung Electronics Co., Ltd. Display device and control method thereof
CN113544765B (zh) * 2019-03-12 2024-05-24 索尼集团公司 信息处理装置、信息处理方法和程序
WO2020204934A1 (en) * 2019-04-05 2020-10-08 Hewlett-Packard Development Company, L.P. Modify audio based on physiological observations
WO2020242506A1 (en) * 2019-05-31 2020-12-03 Dts, Inc. Foveated audio rendering
CN112135201B (zh) * 2020-08-29 2022-08-26 北京市商汤科技开发有限公司 视频制作方法及相关装置
US11743670B2 (en) 2020-12-18 2023-08-29 Qualcomm Incorporated Correlation-based rendering with multiple distributed streams accounting for an occlusion for six degree of freedom applications
US12450854B2 (en) 2022-09-22 2025-10-21 Apple Inc. User interfaces for capturing media and manipulating virtual objects
US12481357B2 (en) 2022-09-24 2025-11-25 Apple Inc. Devices, methods, for interacting with graphical user interfaces
CN116546280A (zh) * 2023-05-26 2023-08-04 北京卡拉卡尔科技股份有限公司 一种视频播放方法、系统、装置及计算机可读存储介质
US12323740B1 (en) 2023-12-01 2025-06-03 International Business Machines Corporation Multi-monitor automatic audio feed adjustment
US20250280174A1 (en) * 2024-02-29 2025-09-04 Adeia Guides Inc. Gaze-based audio switching and 3d sight line triangulation map

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000138872A (ja) * 1998-10-30 2000-05-16 Sony Corp 情報処理装置および方法、並びに提供媒体
US6195640B1 (en) * 1999-01-29 2001-02-27 International Business Machines Corporation Audio reader
US6577329B1 (en) * 1999-02-25 2003-06-10 International Business Machines Corporation Method and system for relevance feedback through gaze tracking and ticker interfaces
JP2001008232A (ja) * 1999-06-25 2001-01-12 Matsushita Electric Ind Co Ltd 全方位映像出力方法と装置
US6456262B1 (en) * 2000-05-09 2002-09-24 Intel Corporation Microdisplay with eye gaze detection
US20050047629A1 (en) * 2003-08-25 2005-03-03 International Business Machines Corporation System and method for selectively expanding or contracting a portion of a display using eye-gaze tracking
JP2005091571A (ja) * 2003-09-16 2005-04-07 Fuji Photo Film Co Ltd 表示制御装置、及び表示システム
US7500752B2 (en) * 2004-04-28 2009-03-10 Natus Medical Incorporated Diagnosing and training the gaze stabilization system
JP2006126965A (ja) * 2004-10-26 2006-05-18 Sharp Corp 合成映像生成システム，方法，プログラム，及び、記録媒体
JP4061379B2 (ja) * 2004-11-29 2008-03-19 国立大学法人広島大学 情報処理装置、携帯端末、情報処理方法、情報処理プログラム、およびコンピュータ読取可能な記録媒体
JP2007036846A (ja) * 2005-07-28 2007-02-08 Nippon Telegr & Teleph Corp <Ntt> 動画再生装置およびその制御方法
US20060256133A1 (en) * 2005-11-05 2006-11-16 Outland Research Gaze-responsive video advertisment display
US7889244B2 (en) * 2005-12-27 2011-02-15 Panasonic Corporation Image processing apparatus
WO2007085682A1 (en) * 2006-01-26 2007-08-02 Nokia Corporation Eye tracker device
US20100231504A1 (en) * 2006-03-23 2010-09-16 Koninklijke Philips Electronics N.V. Hotspots for eye track control of image manipulation
JP4420002B2 (ja) * 2006-09-14 2010-02-24 トヨタ自動車株式会社 視線先推定装置
US8494215B2 (en) * 2009-03-05 2013-07-23 Microsoft Corporation Augmenting a field of view in connection with vision-tracking
US20120105486A1 (en) * 2009-04-09 2012-05-03 Dynavox Systems Llc Calibration free, motion tolerent eye-gaze direction detector with contextually aware computer interaction and communication methods
CN102073435A (zh) * 2009-11-23 2011-05-25 英业达股份有限公司 画面操作方法及应用该方法的电子装置
US20110228051A1 (en) * 2010-03-17 2011-09-22 Goksel Dedeoglu Stereoscopic Viewing Comfort Through Gaze Estimation
US8670019B2 (en) * 2011-04-28 2014-03-11 Cisco Technology, Inc. System and method for providing enhanced eye gaze in a video conferencing environment

Also Published As

Publication number Publication date
US20130259312A1 (en) 2013-10-03
WO2013036237A1 (en) 2013-03-14
EP2754005A4 (en) 2015-04-22
EP2754005A1 (en) 2014-07-16
CN103765346A (zh) 2014-04-30
JP5868507B2 (ja) 2016-02-24
KR101605276B1 (ko) 2016-03-21
CN103765346B (zh) 2018-01-26
JP2014526725A (ja) 2014-10-06

Similar Documents

Publication Publication Date Title
KR101605276B1 (ko) 오디오 비주얼 재생을 위한 시선 기반 위치 선택
JP6944564B2 (ja) 注視追跡のための装置及び方法
US10536661B2 (en) Tracking object of interest in an omnidirectional video
KR102087690B1 (ko) 임의의 위치 및 임의의 시간으로부터 비디오 컨텐츠를 재생하기 위한 방법 및 장치
US8964008B2 (en) Volumetric video presentation
US9684435B2 (en) Camera selection interface for producing a media presentation
US8249305B2 (en) Information processing apparatus, information processing method, program, and recording medium
US20170134714A1 (en) Device and method for creating videoclips from omnidirectional video
US10846535B2 (en) Virtual reality causal summary content
KR102176598B1 (ko) 비디오 데이터를 위한 궤적 데이터 생성 방법
US10665026B2 (en) Apparatus and associated methods for displaying amalgamated virtual reality content
WO2018004933A1 (en) Apparatus and method for gaze tracking

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PA0105 International application

St.27 status event code: A-0-1-A10-A15-nap-PA0105

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

AMND Amendment
P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E601 Decision to refuse application
PE0601 Decision on rejection of patent

St.27 status event code: N-2-6-B10-B15-exm-PE0601

X091 Application refused [patent]
AMND Amendment
E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PX0901 Re-examination

St.27 status event code: A-2-3-E10-E12-rex-PX0901

PX0701 Decision of registration after re-examination

St.27 status event code: A-3-4-F10-F13-rex-PX0701

X701 Decision to grant (after re-examination)
GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U12-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

FPAY Annual fee payment

Payment date: 20190227

Year of fee payment: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

FPAY Annual fee payment

Payment date: 20200227

Year of fee payment: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

FPAY Annual fee payment

Payment date: 20210302

Year of fee payment: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

FPAY Annual fee payment

Payment date: 20220302

Year of fee payment: 7

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 8

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 9

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 10

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 11

U11 Full renewal or maintenance fee paid

Free format text: ST27 STATUS EVENT CODE: A-4-4-U10-U11-OTH-PR1001 (AS PROVIDED BY THE NATIONAL OFFICE)

Year of fee payment: 11