KR20130139190A - 공생 헬퍼 - Google Patents

공생 헬퍼 Download PDF

Info

Publication number
KR20130139190A
KR20130139190A KR1020130066813A KR20130066813A KR20130139190A KR 20130139190 A KR20130139190 A KR 20130139190A KR 1020130066813 A KR1020130066813 A KR 1020130066813A KR 20130066813 A KR20130066813 A KR 20130066813A KR 20130139190 A KR20130139190 A KR 20130139190A
Authority
KR
South Korea
Prior art keywords
user
stimulus
assistance
level
environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
KR1020130066813A
Other languages
English (en)
Inventor
쟝-자끄 그리모
가스 에드워드 콜맨
Original Assignee
다솔 시스템므
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 다솔 시스템므 filed Critical 다솔 시스템므
Publication of KR20130139190A publication Critical patent/KR20130139190A/ko
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Rehabilitation Tools (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

일 구체예에서, 컴퓨터 기반의 방법은 유저의 상태를 검출하는 단계와 그 유저의 환경에서의 자극을 검출하는 단계를 포함한다. 그 다음 컴퓨터 기반의 방법은 검출된 유저의 상태와 환경에서 검출된 자극에 기초하여 유저에게 가변적인 레벨의 보조를 제공한다. 다른 구체예에서, 유저의 환경에서 자극을 검출하는 단계는 시각적 자극, 청각적 자극, 물리적 자극, 진동 자극, 전자기 자극, 후각적 자극, 온도 자극, 또는 이동 자극을 포함할 수도 있다. 유저의 상태를 검출하는 단계는 유저가 말하는 자연 언어를 검출하는 단계를 포함할 수도 있다. 결과적인 가변적인 레벨의 보조는 몰입형 가상 현실, 증강 현실 및 성긴 증강 현실의 범위에서 활용된다. 유저의 상황 (환경) 의 3D 모델들은 가변적인 레벨의 보조에서 활용될 수도 있다.

Description

공생 헬퍼{SYMBIOTIC HELPER}
배경기술
머신들을 사용할 또는 활동들을 수행할 유저들을 훈련시키는 것은 통상적으로 실제 머신 또는 훈련 환경을 사용하여 수행된다. 특정 상황에 대한 훈련 목적들을 위해서만 사용될 특정 머신들이 또한 설계될 수 있다. 또한, 활동 중인 유저를 훈련시키기 위해 특정 환경이 설계될 수 있다.
발명의 요약
일 구체예에서, 컴퓨터 기반의 방법은 유저의 상태를 검출하는 단계와 그 유저의 환경에서 자극을 검출하는 단계를 포함한다. 그 다음 컴퓨터 기반의 방법은 검출된 유저의 상태와 환경에서 검출된 자극에 기초하여 유저에게 가변적인 레벨의 보조를 제공한다.
다른 구체예에서, 유저의 환경에서 자극을 검출하는 단계는 시각적 자극, 청각적 자극, 물리적 자극, 진동 자극, 전자기 자극, 후각적 자극, 온도 자극, 또는 이동 자극을 포함할 수도 있다. 유저의 상태를 검출하는 단계는 유저가 말하는 자연 언어를 검출하는 단계를 포함할 수도 있다.
일 구체예에서, 컴퓨터 기반의 방법은 유저 스킬의 레벨을 결정하는 단계를 포함한다. 컴퓨터 기반의 방법은 또한 결정된 스킬의 레벨에 기초하여 가변적인 레벨의 보조를 조정하는 단계를 포함한다.
다른 구체예에서, 가변적인 레벨의 보조를 제공하는 단계는 제 1의 레벨의 보조 동안 디스플레이에 몰입형 가상 현실을 제공하는 단계와, 제 2의 레벨의 보조 동안 증강된 가상 현실을 제공하는 단계, 및 제 3의 레벨 보조 동안 성긴 증강 현실 (sparsely augmented reality) 을 제공하는 단계를 포함한다. 또한, 컴퓨터 기반의 방법은 몰입형 가상 현실, 증강된 가상 현실, 또는 성긴 증강 현실에서 환경의 검출된 자극을 유저에게 경고할 수도 있다.
일 구체예에서, 또한, 컴퓨터 기반의 방법은 낮은 레벨의 보조를 필요로 하도록 유저를 훈련시키는 것에 의해 가변적인 레벨의 보조를 제공할 수도 있다. 가변적인 레벨의 보조를 유저에게 제공하는 단계는 개인의 안전 훈련 또는 팀 안전 훈련을 제공하는 단계를 포함할 수도 있다.
일 구체예에서, 컴퓨터 기반의 방법은 검출된 자극으로부터 결정된 포지티브 및 네가티브의 추론들을 유저에게 경고하는 단계를 포함할 수도 있다. 포지티브의 추론은 예를 들면 상황들 또는 유저 또는 환경 자극 (environment stimulus) 에서의 변화로부터의 상태 또는 이벤트의 추론이다. 네가티브의 추론은 예를 들면 상황들 또는 유저 또는 환경 자극에서의 변화의 부족으로부터의 상태 또는 이벤트의 추론이다.
일 구체예에서, 컴퓨터 기반의 방법은 검출된 환경의 위험 평가에 기초한 명령들을 유저에게 제공할 수도 있다.
일 구체예에서, 컴퓨터 기반의 방법은 검출된 자극에서의 이상을 또한 식별할 수도 있다. 컴퓨터 기반의 방법은 이상에 관한 보충적 정보를 또한 결정할 수도 있다. 그 다음 컴퓨터 기반의 방법은 이상의 존재와 결정된 보충 정보를 유저에게 경고할 수도 있다.
다른 구체예에서, 시스템은 유저의 상태를 검출하도록 구성된 유저 상태 검출 모듈을 포함할 수 있다. 시스템은 유저의 환경에서 자극을 검출하도록 구성된 환경 자극 검출 모듈을 또한 포함할 수도 있다. 시스템은 검출된 유저의 상태와 환경에서 검출된 자극에 기초하여 유저에게 가변적인 레벨의 보조를 제공하도록 구성된 보조 모듈을 더 포함할 수도 있다.
다른 구체예에서, 장치는 유저에 대한 보조의 프리셋 레벨들을 저장하도록 구성된 메모리 영역을 포함할 수 있다. 장치는 상기 메모리 영역에 연결된 프로세서를 더 포함할 수도 있다. 프로세서는 유저의 상태를 검출하고 유저의 환경에서 자극을 검출하도록 구성될 수 있다. 프로세서는 검출된 유저의 상태와 환경에서 검출된 자극에 기초하여 보조의 프리셋 레벨들 중 적어도 하나를 유저에게 제공하도록 더 구성될 수도 있다. 장치는 보조의 프리셋 레벨들 중 적어도 하나를 유저에게 제공하도록 구성된 디스플레이 및 스피커 중 적어도 하나를 포함하는 웨어러블 모듈 (wearable module) 을 더 포함할 수도 있다.
상기의 설명은, 상이한 도면들 전체에 걸쳐 유사한 부품에 유사한 도면 부호가 병기된 첨부의 도면에 예시된, 본 발명의 예시적인 구체예들에 관한 하기의 상세한 설명으로부터 더 명확해질 것이다. 도면들은 반드시 동일 축척인 것은 아니며, 대신 본 발명의 구체예들을 예시하는 것에 중점을 두었다.
도 1은 본 발명의 원리들에 따른 환경에서의 공생 헬퍼를 사용하는 유저의 도면이다.
도 2는 중앙 시스템과 통신하도록 활용된 공생 헬퍼의 예시적인 구체예의 블록도이다.
도 3은 공생 파트너 시스템 및 네트워크와 함께 환경에서 활용된 공생 헬퍼의 예시적인 구체예의 블록도이다.
도 4는 공생 헬퍼 시스템에 의해 활용된 훈련 프로세스의 예시적인 구체예의 흐름도이다.
도 5는 공생 헬퍼 시스템에 의해 활용된 프로세스의 예시적인 구체예의 흐름도이다.
도 6은 공생 헬퍼 시스템에 의해 활용된 프로세스의 예시적인 구체예의 흐름도이다.
도 7은 공생 헬퍼 시스템에 의해 활용된 프로세스의 예시적인 구체예의 흐름도이다.
도 8은 본 발명의 일 구체예에서 유저와 상호작용하도록 구성된 공생 헬퍼의 블록도이다.
도 9는 몰입형 가상 현실에서 실세계에 대한 증강 현실 세계로의 멘탈 모델의 이전 (transfer) 의 프로세스의 예시적인 구체예의 흐름도이다.
도 10은 훈련생으로부터 사전상호작용 (pre-interaction) 을 동작시키는 공생 헬퍼에 의해 활용되는 예시적 프로세스의 흐름도이다.
도 11은 훈련생으로부터 사후상호작용 (post-interaction) 을 동작시키는 공생 헬퍼에 의해 활용되는 예시적 프로세스의 흐름도이다.
발명의 상세한 설명
하기에 발명의 예시적인 구체예들을 설명한다.
도 1은 환경 (110) 에서 공생 헬퍼 (104) 를 사용하는 유저 (102) 의 도면 (100) 이다. 공생 헬퍼 (104) 는 가상 현실 환경을 유저 (102) 에 제공하는 것에 의해 유저 (102) 를 보조한다. 공생 헬퍼 (104) 는 상이한 레벨들의 가상 현실을 유저 (102) 에게 제공할 수 있다. 공생 헬퍼 (104) 는 몰입형의 가상 현실 (또는 몰입형 현실) 을 유저 (102) 에게 제공할 수 있다. 몰입형 가상 현실은 실세계 환경 (110) 과 관련 없는 완전한 가상 현실 환경을 유저에게 제공한다. 예를 들면, 몰입형 가상 현실은, 유저의 안전을 위협하지 않으면서 유저에게 귀중한 훈련 경험을 제공하는 훈련 시뮬레이션일 수 있다. 공생 헬퍼는, 몰입형 가상 현실을 활용함으로써, 실세계 환경 (110) 과 관련된 전통적인 위험들 (예를 들면, 물리적 상해, 자산에 대한 손상 등) 로부터 유저를 보호한다.
또한, 공생 헬퍼 (104) 는 유저 (102) 에게 증강 현실 (또는 증강된 가상 현실) 을 제공할 수 있다. 증강 현실은 중요한 정보를 중첩할 수 있는 환경 (110) 의 표현을 유저 (102) 에게 제공할 수 있다. 예를 들면, 공생 헬퍼 (104) 는 특정 머신 또는 기계류의 세트의 사용법에 관한 중첩된 명령들과 함께 환경 (110) 의 표현을 디스플레이 할 수 있다. 다른 예로서, 공생 헬퍼 (104) 는 유저에게 방향들을 제공하기 위해 GPS 로케이터에 기초한 중첩된 명령들과 함께 환경 (110) 의 표현을 디스플레이할 수 있다. 공생 헬퍼 (104) 는 유저 스킬의 레벨을 결정하고, 스킬 레벨에 적절한 명령들을 디스플레이할 수 있다. 예를 들면, 공생 헬퍼 (104) 는 낮은 레벨로 훈련된 유저 (102) 에게 기본적인, 또는 더 자세한 명령들을 디스플레이할 수 있고, 높은 레벨로 훈련된 유저 (102) 에게 더 심화된 또는 복잡한 작업들을 위한 더 심화된, 또는 더 높은 레벨의 명령들을 디스플레이할 수 있다. 또한, 공생 헬퍼 (104) 는 상세한 그리고 스텝바이스텝의 명령들을 제공함으로써 낮은 레벨로 훈련된 유저 (102) 가 복잡한 작업을 헤쳐나가게 할 수 있다. 공생 헬퍼 (104) 는 동일한 작업에 대해 개입이 적고 덜 암시적인 프로세스를 제공함으로써 높은 레벨로 훈련된 유저 (102) 를 보조할 수 있다.
공생 헬퍼 (104) 는 유저 (102) 가 나중에 더 적은 훈련을 필요하게 되도록 유저 (102) 에게 훈련을 제공한다. 예를 들면, 공생 헬퍼 (104) 는, 공생 헬퍼 (104) 가 다음 훈련 세션에서 더 낮은 레벨의 보조 (예를 들면, 덜 교육적인 레벨의 훈련) 를 제공할 수 있도록, 유저 (102) 에게 훈련을 제공할 수 있다. 이것은 공생 헬퍼 (104) 의 보조에 독립적이 되도록 유저를 훈련시킬 수 있다.
또한, 공생 헬퍼 (104) 는 유저 (102) 에게 성긴 증강 현실 (또는 성기게 증강된 가상 현실) 을 제공할 수 있다. 성긴 증강 현실은, 유저 (102) 의 주의 (예를 들면, 즉각적인 주의) 를 필요로 하는 자극의 통지, 또는 경고의 표현과 함께 환경 (110) 의 표현을 디스플레이한다. 예를 들면, 환경 (110) 내에서, 유저 (102) 는 시각적 자극 (108) 및/또는 청각적 자극 (106) 중 어느 하나를 지각할만큼 근처에 있을 수도 있다. 도 1은 자동차로서 시각적 자극 (108) 을 그리고 자동차로부터의 사운드로서 청각적 자극 (106) 을 예시하지만, 종래 기술에서 통상의 지식을 가진 자라면, 시각적 자극 (108) 과 청각적 자극 (106) 은 환경 (110) 내에서 생성된 임의의 자극일 수 있음을 알 수 있을 것이다. 유저 (102) 는, 사람의 지각 임계값 이하인, 그러나 공생 헬퍼 (104) 와 같은 머신의 지각 임계값 위에 있는 시각적 자극 (108) 또는 청각적 자극 (106) 중 어느 하나의 근처에 있을 수도 있다. 공생 헬퍼 (104) 는, 시각적 및 오디오적 자극을 검출하도록 구성된 프로세서에 연결된 카메라 및 마이크를 활용함으로써, 시각적 자극 (108) 및 청각적 자극 (106) 을 검출할 수 있다. 공생 헬퍼 (104) 는 마찬가지로 모션 센셔들, 열 센서들, 광 센서들 등을 활용할 수도 있다.
공생 헬퍼 (104) 는 유저에 대한 시각적 자극 (108) 및 청각적 자극 (106) 의 통지들을 생성할 수 있다. 예시적인 통지는, 공생 헬퍼 (104) 가 유저 (102) 에게 자극을 통지하기 위해 자연 언어 또는 코드를 사용하여 유저 (102) 에게 말하게 되는 오디오 통지, 또는 환경 (110) 의 표현과 중첩된 시각적인 통지와 같은 경고일 수도 있다. 예를 들면, 시각적인 통지는 유저가 읽게 되는 언어 메시지일 수 있거나, 또는 예를 들면, 자극을 밝게 채색하거나 또는 주의를 끄는 박스 또는 형상으로 자극을 둘러싸는 것에 의해, 또는 자극을 상대적으로 밝게 비추면서 환경 (110) 의 나머지를 희미하게 함으로써, 특정 자극이 강조된 환경 (110) 의 표현일 수 있다. 종래 기술에서 통상의 지식을 가진 자라면, 공생 헬퍼 (104) 는 시각적 수단 또는 청각적 수단 중 어느 하나에 의해 유저의 주의를 특정 자극으로 돌리기 위한 방법들의 임의의 하나 또는 조합을 활용할 수 있음에 주목해야 한다.
도 2는 중앙 시스템 (202) 과 통신하도록 활용된 공생 헬퍼 (204) 의 예시적인 구체예 (200) 의 블록도이다. 중앙 시스템 (202) 은 지식 베이스 (208) 로부터의 정보를 교환함으로써 공생 헬퍼 (204) 와 통신하도록 연결된 무선 통신들 모듈 (206), 하나 이상의 마스터 저장소들 (210), 다른 팀 멤버들 모듈 (212), 및 추가적 입력들 모듈 (214) 을 포함한다. 또한, 무선 통신들 모듈 (206) 은, 공생 헬퍼 (204) 로부터, 환경으로부터의 검출된 정보, 예컨대 시각적 정보, 청각적 정보, 후각적 정보, 또는 공생 헬퍼 (204) 가 기록 또는 수집하도록 구성된 임의의 다른 정보를 수신하도록 구성된다.
지식 베이스 (208) 는 공생 헬퍼 (204) 가 그 사용자를 보조하도록 구성된 여러 활동들의 지식을 포함한다. 예를 들면, 지식 베이스 (208) 는 여러 자극에 대응하는 데이터를 포함할 수 있다. 지식 베이스 (208) 는 공생 헬퍼 (204) 가 자신의 환경에서 검출할 수 있는 여러 청각적 또는 시각적 정보의 모델들을 포함할 수 있고 자극의 존재를 유저에게 통지할 수 있다.
마스터 저장소 (들) (210) 는 언어 또는 문화에 고유한 지식 베이스 (들) 이다. 일 구체예에서, 마스터 저장소들 (210) 은 언어들 및 문화들의 지식의 가교역할을 수 있다. 마스터 저장소들 (210) 은 컨텐츠와 관계들을 포함한다.
본원에서 설명된 것과 같은 컨셉은 여러 형태들의 오브젝트들 (예컨대, 제품들, 컴퓨터들, 병들, 회사들, 툴들) 및 여러 형태들의 활동들 (예컨대, 발톱을 깎는 것, 여행을 하는 것, 진단 절차를 실행하는 것, 의약품을 제조하는 것) 을 포함한다.
관계들은, 본원에서 설명되는 바와 같이, 컨셉들을 서로 연결한다. 관계는 분류학적 관계 (예를 들면, 컨셉의 인스턴스, 서브타입 또는 서브클래스), 파토노믹 (partonomic) 관계 (예를 들면, 디바이스의 일부, 조직의 일부, 또는 이벤트인 컨셉), 특정지역과 관련된 관계 (예를 들면, 컨셉들의 근접, 컨셉들의 인스턴스들의 접촉, 컨셉들의 인접, 또는 컨셉들의 상대적 로케이션), 툴 및/또는 리소스 관계 (예를 들면, 2.5인치 내지 3.5인치용의 볼 베어링 추출기를 구비하는 슬라이드해머에 연결된 3인치 볼 베어링), 및 시간적 관계 (예를 들면, 이전, 이후, 동시, 같은 시간에 존재) 일 수 있다.
마스터 저장소들 (210) 은 많은 기본적이고 복잡한 컨셉들 및 관계들의 집합체이다. 컨셉들 및 관계들은 각각의 도메인 특유의 교육적 의도에 의해 풍부하게 된다. 마스터 저장소들 (210) 는 두 개의 목표를 갖는다. 첫째, 마스터 저장소들 (210) 는 특정 문화 및 언어에서 일반적으로 보이는 것을 "상식"으로서 다룬다. 둘때, 마스터 저장소들 (210) 는 특정 도메인의 새로운 훈련용 3D 경험의 교육적 의도에 고유한 새롭게 관련된 컨셉들 및 관계들을 추가한다.
도메인 특유의 훈련을 마스터 저장소들 (210) 에 추가하면, 도메인 특유의 훈련의 컨셉들과 관련된 3D (및 2D) 표현들이 마스터 저장소들 (210) 에 추가된다. 병행하여, 도메인 특유의 훈련이 작성되고 있는 환경 (및 그 컴포넌트 피쳐들) 은 마스터 저장소들 (210) 에 추가된다. 마스터 저장소들 (210) 은 추가적인 사실들 및 정의들을 포함하는 외부 저장소들 (예를 들면, 위키피디아) 을 프로세싱, 검색, 및/또는 인덱싱하는 것에 의해 확장될 수 있다.
공생 헬퍼 (104) 는,임의의 많은 수의 주장들 (사실들 및 규칙들) 에 관한 불린 결론을 결정하기 위한 공식 로직과 함께, 컨셉들 및 관계들에 관해 만들어진 마스터 저장소를 사용한다. 마스터 저장소들 (210) 를 활용하는 공생 헬퍼 (104) 는 상황에 독립적인 또는 상황에 의존적인 주장들을 해결할 수 있다. 예를 들면, 특정 유저인 톰에 의해 보이는 태형 (frustrum) 에서, 마스터 저장소를 활용하는 공생 헬퍼 (104) 는 "대략 2시 방향에서 오렌지색 생성기의 좌측에 대해 제 1의 수직 적색 파이프"를 결정할 수 있다.
공생 헬퍼 (104) 는, 공생 헬퍼 (104)가 설계해 온 훈련 환경, 및 공생 헬퍼 (104) 가 감지하고 훈련생과 상호작용하는 훈련 환경을 액세스할 수 있기 때문에 이러한 주장들을 해결할 수 있다. 공생 헬퍼 (104) 는 어떤 구체예들에서 이미지 인식 기술들을 활용할 수도 있다. 공생 헬퍼 (104) 는 톰에 의해 감지된 태평에 포함된 생성기들의 콜렉션을 훈련 환경의 모델로부터 대응하는 볼륨을 추출하고 모델의 그 부분에 포함된 생성기들을 선택함으로써 선택하고, 오렌지색의 생성기들을 필터링하고, 수직 2시 방향 평면을 가상적으로 추적하고, 적절한 생성기 (예를 들면, 2시 방향 평면의 오렌지색 생성기) 를 선택하고, 적절한 생성기의 위치 (예를 들면, 그 현재 위치) 의 좌측에 대한 환경을, 그것이 제 1의 수직 레드 파이프와 교차할 때까지 증분적으로 프로세싱하고, 레드 파이프를 선택하고/하거나 하일라이트할 수 있다.
또한, 공생 헬퍼 (104) 는 특정 도메인에 대한 훈련 동안 거동 관점으로부터 포지티브의 그리고 네가티브의 추론을 하기 위해 마스터 저장소들 (210) 를 사용한다. 다시 말하면, 마스터 저장소를 활용하는 공생 헬퍼 (104) 는 주어진 세트의 입력들 및 조건들로부터의 거동이 실제적인지 또는 관측된 거동인지의 여부를 결정한다. 거동을 생성하는 본질적 변수들 및 식들을 모델링할 필요 없이 특유의 복잡한 거동을 표현하기 위해 특정 도메인들과 관련된 다변량의 룩업 테이블들 또는 보다 복잡한 모델들이 마스터 저장소들 (210) 에 추가될 수 있다.
다른 팀 멤버들 모듈 (212) 은 다른 공생 헬퍼들에 의해 활용되는 팀 멤버들에 관한 정보, 예컨대 다른 팀 멤버들의 로케이션, 다른 팀 멤버들의 상태, 다른 팀 멤버들에 할당된 작업(들), 또는 다른 팀 멤버들 또는 팀 리더에 의해 할당되는 것과 같은 다른 정보를 저장하도록 구성된다.
마스터 저장소들 (210) 는 팀 내의 각 개인의 개별적인 저장소 (또는 그 복제물) 을 추출하고 저장할 수 있다. 다른 팀 멤버들 모듈 (212) 은 팀 멤버들의 개별적인 저장소들을 전부 또는 일부 포함할 수 있다.
추가적 입력들 모듈 (214) 은 공생 헬퍼 (204) 로부터 임의의 다른 추가적 입력을 무선 통신들 모듈 (206) 을 경유하여 수신하도록, 그리고 무선 통신들 모듈 (206) 을 경유하여 필요에 따라 분석을 공생 헬퍼 (204) 에 리턴하도록 구성된다.
공생 헬퍼 (204) 는 분석 모듈 (216) 및 입/출력 모듈 (218) 을 포함한다. 분석 모듈은 중앙 시스템 (202) 의 무선 통신들 모듈 (206) 과 통신하도록 구성된 무선 통신들 모듈 (220) 을 포함한다. 분석 모듈 (216) 은 비전 분석 모듈 (222) 을 더 포함한다. 비전 분석 모듈 (222) 은 시각적인 정보를, 예를 들면, 카메라, 촬상 디바이스, 또는 다른 포토 캡쳐 디바이스 또는 모듈로부터 수신하고, 획득된 데이터의 피쳐들 (예를 들면, 자극, 이상물들 (abnormalities), 환경) 을 분석하도록 구성된다. 비전 분석 모듈 (222) 은, 중앙 시스템 (202) 의 추가적 입력들 모듈 (214), 다른 팀 멤버들 모듈 (212), 마스터 저장소들 (210) 및/또는 지식 베이스 (208) 에서 정보를 획득하도록 무선 통신들 모듈 (220) 을 활용함으로써 이것을 달성한다. 마찬가지로, 사운드 분석 모듈 (224) 은 마이크, 디지털 사운드 수신 모듈로부터, 또는 네트워크를 통해 디지털적으로 사운드를 수신하고, 수신된 오디오 (예를 들면, 오디오 정보) 를 분석한다. 사운드 분석 모듈 (224) 은 지식 베이스 (208), 마스터 저장소들 (210), 다른 팀 멤버들 모듈 (212), 및/또는 추가적 입력들 모듈 (214) 로부터 무선 통신들 모듈 (220) 을 통해 획득된 정보를 활용한다.
분석 모듈 (216) 은 음성 합성 모듈 (226) 을 더 포함한다. 음성 합성 모듈 (226) 은, 예를 들면, 무선 통신들 모듈 (220) 로부터 정보를 수신하고, 그 정보를 공생 헬퍼 (204) 의 유저에게 말로 표현될 수 있는 음성으로 합성한다.
추적 및 이벤트 캡쳐 모듈 (228) 은 공생 헬퍼 (204) 에 의해 분석되고 인식된 이벤트들을 추적하도록 구성된다. 공생 헬퍼 (204) 는 그들을 추적함으로써 이벤트들 내의 패턴들을 인식할 수 있다. 이벤트들의 추적을 계속 유지함으로써, 공생 헬퍼 (204) 의 추적 및 이벤트 캡쳐 모듈 (228) 은 활동에 관한 포지티브 및 네가티브의 추론들을 인식할 수 있고 유저에게 이들 추론들을 경고할 수 있다. 예를 들면, 압력 게이지와 연결된 타이어 펌프를 동작하는 유저는, 유저가 타이어에 바람을 넣을 때 (압력이 증가하고 있어야 할 때) 타이어의 압력이 증가하고 있지 않는 것을 알아차리지 못할 수도 있다. 공생 헬퍼 (204) 는 (추적 및 이벤트 캡쳐 모듈 (228) 을 통해) 압력 게이지 수치가 증가하지 않는 네가티브적인 추론을 감지 할 수 있다. 다음에, 공생 헬퍼 (204) 는 타이어에 바람을 넣는 유저에게 압력이 일정하고 압력이 증가하고 있어야 한다는 것을 통지한다.
개인의 저장소들 모듈 (230) 은 유저 (그 또는 그녀) 가 훈련하고 있을 때 유저 (즉, 개인) 의 과거 상호작용적 경험들의 결과를 포함하는데, 과거의 상호작용적 경험들은 특정 도메인에 대한 하나 또는 여러 학습 방법 (들) 에 기초한다. 개인의 저장소들 모듈 (230) 은 훈련 경험 내에서의 언어적 표현들, 표정적 표현들 및 제스쳐들에 관련되는 특정 언어 및/또는 문화에 얽매일 수 있다.
훈련 및 관련 3D 경험들은 도메인 특정적이며 훈련생이 학습해야 하는 지식 및 경험들과 일치하는 교유적 의도를 반영한다. 도메인 특유의 경험들의 실시형태들은 (i) 오일 및 가스 플랫폼 상의 가스 관련 안전, (ii) 윈도우7에서의 컴퓨터 보안, (iii) 동작 환경에서의 커맨드 및 제어, (iv) 채광 환경 (mining environment) 에서의 방향, 또는 (v) 디젤 엔진 수리이다.
훈련은 통상 3 단계들을 사용하여 수행된다: (1) 데모, (2) 상호작용적 학습, 및 (3) 테스트.
(1) 데모 페이즈 동안, 공생 헬퍼 (104) 는 통상적으로 비디오 및/또는 오디오를 사용하여 훈련생에게 컨셉들을 제시한다. 훈련생은 데모를 재시작/리플레이할 것을 결정하거나 또는 그 특정 데모에서 제시된 개념들을 이해하면 훈련의 다음 아이템으로 진행할 것을 결정한다.
(2) 훈련의 상호작용적 학습 페이즈 동안, 공생 헬퍼는 데모에서 제시된 문제점 (들) 과 동일한 또는 유사한 해결해야 할 문제를 훈련생에게 제시한다. 훈련의 레벨 및/또는 유저 스킬에 따라 학습에 대한 힌트들이 이용 가능하거나 또는 가능하지 않을 수도 있다.
(3) 훈련의 테스트 페이즈 동안, 공생 헬퍼는, 상호작용적 학습 페이즈와 데모 페이즈로부터의 문제점 (들) 과 유사한 해결해야 할 문제를 훈련생에게 제시한다.
일 구체예에서, 공생 헬퍼 (104) 는 훈련의 3 페이즈들에 대해 코칭을 부가한다. 여기서, 공생 헬퍼 (104) 는 전통적인 코칭을 보충 또는 대체할 수 있다.
공생 헬퍼 (104) 는 훈련의 모든 페이즈들 동안 훈련생의 디지털 풋프린트들을 캡쳐한다. 예를 들면, 데모 페이즈에서, 디지털 풋프린트는 소비된 시간, 훈련생이 데모를 본 횟수, 또는 훈련생이 본 데모일 수 있다.
다른 실시형태로서, 상호작용적 학습 페이즈에서의 디지털 풋프린트는 시간 소모적인 학습, 훈련생의 초기 실수들, 훈련생이 본 힌트들의 사용, 훈련생의 경로들 상에서의 머뭇거림들, 훈련생에 의한 오브젝트의 상태 또는 이벤트의 성질의 오식별, 훈련생에 의한 올바른 응답들, 또는 훈련생이 문제에 성공적으로 답하거나 또는 해결하는데 걸린 시간일 수 있다.
또 다른 실시형태로서, 테스트 페이즈에서의 디지털 풋프린트는 올바른 응답들, 응답 마다 소비된 시간, 또는 오류의 종류일 수 있다.
공생 헬퍼 (104) 는 특정 훈련 동안 상이한 학습 방법들을 활용할 수 있다. 이들 방법들은 서로 배타적이지 않으며 결합될 수 있다. 5종류의 학습 방법들이 일반적으로 활용된다: (1) 각인, 문화화, 및 습관화 (수동적 모드들), (2) 시행착오, 및 플레이, (3) 시뮬레이션, 및 미러 응답들, (4) 흉내, 및 관찰, 및/또는 (5) 기계적 암기, 오디오 또는 시각적 입력들, 언어적 또는 지시적 응답들 및 조합들. 개인의 저장소들 모듈 (230) 은 도메인 특유의 경험들에 관련된 훈련과 관련된 방법들 또는 그룹들을 식별한다.
입력 출력 모듈 (218) 은 비전 보충 모듈 (240), 오디오 보충 모듈 (242), 음성 모듈 (244), 및 유저 모델 모듈 (246) 을 포함한다.
비전 보충 모듈 (240) 은 환경의 가상 현실의 표현, 증강 현실의 표현, 또는 성긴 증강 현실의 표현에 의한 유저의 비전을 보충하도록 구성된다. 마찬가지로, 오디오 보충 모듈 (242) 은 비전 보충 모듈 (240) 과 동일한 가상 현실, 증강 현실, 또는 성긴 증강 현실의 표현들을 유저에게 제공하도록 구성된다. 그러나, 오디오 보충 모듈 (242) 은 비디오 대신 오디오를 유저에게 제공함으로써 가상 현실, 증강 현실, 또는 성긴 증강 현실의 표현들을 유저에게 제공한다. 오디오 보충 모듈 (242) 은 유저에게 플레이되는 사운드 경고들 (234) 을 분석 모듈 (216) 로부터 수신한다. 마찬가지로, 비전 보충 모듈 (240) 은 분석 모듈 (216) 로부터 디스플레이 이미지들 (232) 을 수신하여 유저에게 디스플레이한다.
음성 모듈 (244) 은 유저로부터 음성 커맨드들을 수신한다. 음성 모듈 (244) 은 음성 명령들 (236) 을 분석 모듈 (216) 에 전송한다. 분석 모듈 (216) 은 사운드 분석 모듈 (224) 을 사용하여 음성 커맨드들을 분석한다.
유저 모델 모듈 (246) 은 분석 모듈 (216) 로부터 유저 모델 정보 (238) 를 수신한다. 유저 모델 모듈 (246) 은 공생 헬퍼 (204) 를 사용하는 동안 유저의 액션들에 기초하여 유저 모델 정보 (238) 을 수정하고, 그리고 유저 모델 정보 (238) 를 분석 모듈 (216) 로 리턴하도록 더 구성된다.
도 3은 공생 파트너 시스템 (304) 및 네트워크 (306) 와 함께 환경 (110) 에서 활용된 공생 헬퍼 (104) 의 예시적인 구체예의 블록도 (300) 이다. 공생 헬퍼 (104) 는 카메라 (308), 마이크 (310), 후각적 검출기 (312), 및 다른 센서들 (314) 를 포함한다. 카메라 (308) 는 환경 (110) 의 시각적 자극 (324) 을 검출하도록 구성된다. 마이크 (310) 는 환경 (110) 의 청각적 자극 (326) 을 검출하도록 구성된다. 후각적 검출기 (312) 는 환경 (110) 으로부터 후각적 자극 (328), 예를 들면, 향기들을 검출하도록 구성된다. 다른 센서 모듈 (314) 은 환경 (110) 으로부터의 다른 자극 (330) 을 검출하도록 구성된다. 다른 센서 모듈 (314) 은 임의의 다른 형태의 자극, 예를 들면, 온도, 전자기 자극, 바이탈 사인과 같은 생물학적 자극, 또는 GPS 자극을 검출하도록 구성된다. 종래 기술에서 통상의 지식을 가진 자라면, 다른 센서는 종래 기술에서 알려진 임의의 자극을 검출할 수 있음을 주목해야 한다.
프로세서 (316) 는 카메라 (308), 마이크 (310), 후각적 검출기 (312), 및 다른 센서 (314) 로부터의 시각적 자극 (324), 오디오 자극 (326), 후각적 자극 (328) 및 다른 자극 (330) 을 나타내는 데이터 (325, 327, 329, 331) 를 수신하도록 구성된다. 프로세서 (316) 는, 도 2를 참조로 설명된 바와 같이, 각각의 검출 모듈들 (308, 310, 312, 314) 에 의해 생성된 각각의 자극 데이터 (325, 327, 329, 331) 를 분석하고, 스피커 (320) 를 통해 그리고 디스플레이 모듈 (318) 에서 렌더링될 사운드들 (334) 및 가상 현실 이미지들 (332) 을 생성하도록 구성된다. 프로세서 (316) 는 공생 파트너 시스템 (304) 및 네트워크 (306), 예를 들면, 인터넷과 연결된 접속 인터페이스 (322) 를 또한 활용할 수 있다. 프로세서 (316) 는 분석 프로세싱의 일부를 아웃소싱하거나, 또는 환경 (110) 의 자극 (324, 326, 328, 330) 의 분석 (프로세싱) 을 보조하기 위한 추가적 정보 (데이터) 를 다운로드하기 위해 네트워크 (316) 를 활용할 수 있다.
또한, 프로세서 (316) 는 공생 파트너 시스템 (304) 과 통신하도록 구성된다. 예를 들면, 공생 파트너 시스템 (304) 은 프로세서 (316) 에 그 자신의 상태를 통지할 수 있다. 예를 들면, 공생 파트너 시스템 (304) 이 자동차인 경우, 공생 파트너 시스템은 그 자신의 상태에 관한 추가적 정보를 프로세서 (316) 에 전달할 수 있다. 추가적 정보의 실시형태는 연료 상태, 타이어 압력 상태, 근접 오브젝트 검출, 또는 자동차 또는 임의의 특정 공생 파트너 시스템 (304) 이 검출하는 임의의 다른 정보를 포함할 수 있다.
도 4는 공생 헬퍼 시스템 (104) 에 의해 활용되며 프로세서 (316) 에 의해 실행되는 훈련 프로세스의 예시적인 구체예 (400) 의 흐름도이다. 공생 헬퍼 시스템 (104) 은 훈련을 시작한다 (402). 그 다음, 공생 헬퍼 (104) 는 자신의 훈련생을 공생 헬퍼로 향하게 한다 (404). 그 다음, 공생 헬퍼 (104) 는 개인 안전 훈련을 훈련생에게 제공한다 (406). 예를 들면, 공생 헬퍼 (104) 는 특정 훈련 활동에서의 개인 안전 위험들을 유저에게 통지하고 유저가 실세계에서 이들 위험들을 회피할 수 있도록 하는 활동들을 제공한다. 유저는, 예를 들면, 지식 임계치가 초과할 때가지 필요한 만큼 안전 훈련을 반복할 수 있다. 이것은 유저가 답한 질문들에 관한 포인트들에 의해 또는 임의의 다른 적절한 측정 방법에 의해 측정될 수도 있다. 또한, 안전 훈련의 반복은 자동적이거나 또는 유저의 재량일 수도 있다. 다음으로, 공생 헬퍼는 상황 특정 훈련을 훈련생에게 제공한다 (408). 예를 들면, 공생 헬퍼 (104) 는 특정 작업에 대한 훈련을 제공할 수 있다. 안전 훈련과 마찬가지로, 유저는 지식 임계치가 초과할 때까지 필요한 만큼 상황 특정 훈련을 반복할 수 있다. 상황 특정 훈련의 반복은 자동적이거나 또는 유저의 재량일 수도 있다.
다음으로, 공생 헬퍼 (104) 는 유저에게 훈련 서비스를 제공할 수 있다 (410). 예를 들면, 공생 헬퍼 (104) 는 유저에게, 특정 머신 또는 시스템의 사용법에 관한 훈련뿐만 아니라, 시스템 설치, 시스템에서의 문제점들 진단, 시스템 보수, 또는 시스템 유지관리에서의 훈련도 제공할 수 있다. 유저는, 상술한 바와 같이, 자동적으로 또는 유저 재량으로, 훈련 서비스를 필요한 만큼 반복할 수 있다.
그 다음, 공생 헬퍼 (104) 는 유저에게 팀 훈련을 제공할 수 있다 (412). 팀 훈련은 훈련의 목적과 공생 헬퍼를 이용하여 팀의 다른 멤버들과 협력하도록 훈련생을 적응시킨다. 그 다음, 공생 헬퍼 (104) 는 원격 조작 지원 또는 지원 기능 훈련을 제공한다 (414). 원격 조작 지원은 특정 상황에서 어떻게 진행해 나가는지에 관한 명령들을 유저에게 제공하는 원격지의 사람 또는 머신의 실시형태이다. 다음에, 공생 헬퍼 (104) 는 훈련생에게 우발사건 (contingency) 훈련을 제공할 수 있다 (416). 우발사건 훈련은 계획되지 않은 상황들에 대한 훈련을 제공하는 것을 포함한다. 또한, 유저는 팀 훈련, 원격 조작 지원 또는 지원 기능 훈련, 및/또는 우발사건 훈련을 필요한 만큼 단독으로 또는 그룹 세팅으로 반복할 수 있다. 다음에, 공생 헬퍼 (104) 는 조작 상황에서 훈련생이 공생 헬퍼 (104) 를 사용하는 것을 허용함으로써 훈련을 종료한다 (418). 조작 상황은, 상기 설명된 훈련 방법에 의해, 유저가 훈련을 받는 주제에서 유저가 훈련해 왔던 상황이다.
도 5는 공생 헬퍼 시스템 (104) 에 의해 활용되며 프로세서 (316) 에 의해 실행되는 프로세스의 흐름도이다. 프로세스 (500) 는 훈련을 시작함으로써 시작한다 (502). 그 다음, 공생 헬퍼 (104) 는 비디오 이미지 데이터 (332) 의 시각적 디스플레이 (318) 에 의해 그리고 스피커들 (320) 를 통한 생성된 사운드들/오디오 (334) 에 의해 훈련생을 가상 환경 내에 몰두시킨다 (504). 가상 환경은 훈련생이 통상적으로 특정 활동을 학습할 수도 있는 환경일 수 있다. 예를 들면, 훈련생은, 특정 차량을 운전하는 법을, 그 특정 차량이 구동될 수도 있는 상황에서 그 특정 차량의 가상 환경에 위치됨으로써 학습할 수 있다. 종래 기술에서 통상의 지식을 가진 자라면, 다른 훈련 상황들 및 가상 환경들이 공생 헬퍼에서 구현될 수 있음을 알 수 있을 것이다.
그 다음 시스템은 훈련생에게 훈련 활동을 제공한다 (506). 훈련 활동은, 예를 들면, 가상 환경 내의 특정 활동으로 지시될 수 있다. 예를 들면, 특정 차량을 운전하도록 훈련생을 훈련시키는 경우, 훈련 활동은 가상으로 그 차량의 시동을 걸고, 가상으로 그 차량의 시동을 끄고, 또는 가상으로 그 차량을 운전하는 것을 포함할 수 있다.
그 다음, 공생 헬퍼 (104) 는 훈련 활동을 수행함에 있어서의 훈련생의 액션들의 디지털 풋프린트들을 캡쳐한다 (508). 예를 들면, 디지털 풋프린트는 특정 액션들을 수행함에 있어서의 훈련생의 활동들의 로그를 포함할 수 있다. 디지털 풋프린트들은 가상 환경에서 수행된 디지털 액션들, 예를 들면, 가상 환경 내에서의 차량의 눌려진 버튼을 포함할 수 있다. 디지털 풋프린트들은 광의의 카테고리들, 예컨대, 훈련생이 한 말들, 또는 훈련생에 의한 이동들을 또한 포함할 수 있다. 다른 구체예에서, 유저 프로파일은 디지털 풋프린트들 (예를 들면, 누적 디지털 풋스텝들) 및 가상 환경과의 유저의 상호작용으로부터 기록된 다른 유저 특성들 (예를 들면 3D 경험들) 을 저장한다.
훈련생의 액션들의 디지털 풋프린트들을 캡쳐한 (508) 후, 공생 헬퍼는 캡쳐된 디지털 풋프린트들을 리뷰한다 (510). 공생 헬퍼 (104) 는 디지털 풋프린트들을 리뷰하여 훈련생이 훈련 활동에서 획득한 숙련도의 레벨을 결정한다. 예를 들면, 훈련생이 (가상의 관점에서) 아주 빨리 차량의 시동을 정확하게 걸었음을 디지털 풋프린트가 나타내면, 공생 헬퍼는 유저가 훈련 활동에서 능숙하다고 결정할 수 있다. 한편, 훈련 활동, 예컨대 차량 시동 거는 것을 정확하게 실행하기 이전에 유저가 많은 잘못된 버튼들을 눌렀고 여러 오류들을 범했음을 디지털 풋프린트들이 나타내면, 시스템 (104) 은 유저가 그 훈련 활동에서 낮은 숙련도를 가지고 있다고 결정할 수 있다.
마찬가지로, 공생 헬퍼 (104) 는 훈련생의 숙련도의 레벨에 의해 훈련이 더 필요한지의 여부를 결정할 수 있다 (512). 훈련생이 임의의 훈련을 더 필요로 하지 않으면, 훈련 활동은 종료한다 (514). 훈련이 더 요구되면, 공생 헬퍼는 디지털 풋프린트들에 기초하여 훈련이 수정되여야 하는지의 여부를 결정한다 (516).
시스템은, 디지털 풋프린트들을 통해, 훈련생이 훈련 활동에 어려움을 갖기 시작한 훈련의 포인트들을 결정하는 것에 의해 디지털 풋프린트들에 기초하여 훈련이 수정되어야 하는지의 여부를 결정한다 (516). 훈련 활동에서의 어려움은 유저가 통상의 훈련 단계들의 코스로부터 방향을 전환했다는 것을 결정하는 것에 의해 또는 소망하는 결과 또는 체크포인트 결과를 달성하지 못하는 것에 의해 판정될 수 있다. 디지털 풋프린트들에 기초하여 훈련이 수정되어야 한다고 공생 헬퍼 (104) 가 결정하면, 시스템은 디지털 풋프린트들에 기초하여 훈련을 수정한다 (518). 시스템은 상이한 훈련 기술들의 데이터베이스를 사용하거나 또는 디지털 풋프린트 경로에서 유저의 약점 (hangup) 을 회피하거나 다르게는 방지하는 훈련 활동에 대해 상이한 경로를 제공하도록 훈련 단계들을 동적으로 변경함으로써 디지털 풋프린트들에 기초하여 훈련을 수정한다. 한편, 디지털 풋프린트들에 기초하여 훈련이 수정되지 않아야 한다면, 공생 헬퍼 (104) 는 훈련생에게 훈련 활동을 제공한다 (506). 또한, 디지털 풋프린트들에 기초하여 훈련을 수정한 (518) 후, 시스템은 훈련생에게 훈련 활동들을 또한 제공한다 (506).
도 6은 프로세서 (316) 에 의해 실행되며 공생 헬퍼 (104) 에 의해 활용되는 프로세스 (600) 의 예시적인 구체예의 흐름도이다. 프로세스 (600) 는 공생 헬퍼를 시작하는 것에 의해 시작한다 (602). 그 다음, 공생 헬퍼는 서버들 (314) 등을 사용하여 유저 상태를 검출한다 (604). 유저 상태는 공생 헬퍼가 사용하고 있는 유저의 임의의 속성일 수 있다. 예를 들면, 유저 상태는 유저가 보고 있는 방향, 유저의 GPS 로케이션, 유저의 바이탈 사인들, 또는 유저의 훈련 레벨일 수 있다. 그 다음, 공생 헬퍼는 카메라 (308), 마이크 (310), 검출기들/센서들 (312, 314) 을 사용하여 환경 자극을 검출한다 (606). 환경 자극은 유저의 환경의 임의의 자극일 수 있다. 환경 자극의 실시형태들은 시각적 자극 (324), 청각적 자극 (326), 또는 후각적 자극 (328), 전자기적 자극, 물리적 자극, 또는 디지털 통신 자극 (일반적으로 다른 자극 (330)) 이다.
선택사항적으로 (optionally), 시스템 (104) 또는 프로세스 (600) 는 유저의 스킬 레벨을 결정한다 (608). 또한, 선택사항적으로, 공생 헬퍼 (104) 는 유저에게 제공할 가변적인 보조 레벨을 조정할 수 있다 (610). 공생 헬퍼 (104) 는, 이 선택사항적 구체예에서, 결정된 유저의 스킬 레벨에 기초하여 유저에게 제공할 보조 레벨을 조정한다.
다음에, 공생 헬퍼 (104) 는 가변적인 레벨의 보조를 유저에게 제공한다 (612). 선택사항적으로, 시스템 (104) 또는 프로세스 (600) 는 가변적인 레벨의 보조 중 어떤 레벨을 유저에게 제공할 것인지를 결정한다 (614). 가변적인 보조의 레벨이 몰입형임을 시스템이 결정하면, 시스템은 디스플레이 (318) 와 스피커 (320) (도 3) 를 통해 몰입형 가상 현실 디스플레이를 유저에게 제공한다 (616). 몰입형 가상 현실 디스플레이는 환경 자극에 책임이 없지만, 유저 또는 훈련생이 활동을 안전하고 효율적으로 학습할 수 있는 제어된 훈련 환경을 제공하는 가상 현실이다. 몰입형 가상 현실 디스플레이는 (332에서) 프로세서 (316) 에 의해 생성된 훈련 환경의 3D 모델을 포함할 수도 있다. 일반적인 3D 모델링 기술들이 활용된다.
가변적 보조의 레벨이 증강됨을 시스템 (104) 또는 프로세스 (600) 가 결정하면, 시스템은 디스플레이 (318) 와 스피커 (320) 를 통해 유저에게 증강 현실을 제공한다 (618). 증강 현실은 환경 자극을 입력하고 그들을 유저에게 디스플레이하지만, 당면 작업에 대해 유저를 돕는데 필요한 보조 레벨에 기초하여 환경 상으로 가상 현실을 또한 중첩시킨다. 예를 들면, 증강 현실은 버튼들 및 특정 머신들의 기능들 (예를 들면, 캡션들) 을 각각의 버튼들 및 머신들 상에 중첩할 수 있다.
가상 보조의 레벨이 성기다면, 공생 헬퍼 (104) 는 성긴 증강 현실을 디스플레이 (318) 와 스피커 (320) 를 통해 제공한다 (620). 성긴 증강 현실은 시작 지점으로서 환경을 단지 도시하는 것에 의해 디스플레이를 제공한다. 공생 헬퍼는 꼭 필요한 때 꼭 필요한 것만 알려주는 방식으로 검출된 자극을 중첩함으로써 환경의 뷰에 의지한다. 예를 들면, 성긴 증강 현실은 유저와 환경을 도시할 수 있지만, 그러나 유저에게 위험한 상황, 예컨대 총성, 또는 보조를 요청하는 외침을 경고할 수 있다. 성긴 증강 현실은, 가상 현실 및 증강된 가상 현실과 함께, 유저에게 환경에서 발견된 추론들을 또한 경고할 수 있다. 예를 들면, 이미지 분석을 이용하여, 성긴 증강 현실 모드에 있는 공생 헬퍼 (104) 는 잘못된 방향으로 이동하거나 또는 움직여야할 때 움직이지 않고 있는 머신의 특정 게이지로 유저의 주의를 돌릴 수 있다.
다음에, 공생 헬퍼 (104) 는 보조를 계속 제공해야 하는지의 여부를 결정한다 (622). 보조 제공을 계속하지 않아야 한다고 공생 헬퍼가 결정하면, 예를 들면, 유저가 공생 헬퍼를 오프시키기를 희망한다면, 공생 헬퍼는 종료한다 (624). 그러나, 공생 헬퍼가 보조 제공을 계속해야 한다는 것을 시스템이 결정하면, 시스템은 유저 상태를 검출하고 (604) 단계들 (606 내지 622) 을 반복한다.
도 7은 공생 헬퍼 시스템 (104) 및 프로세서 (316) 에 의해 활용된 프로세스의 예시적인 구체예의 흐름도 (700) 이다. 프로세스 (700) 는 공생 헬퍼를 시작하는 것에 의해 시작한다 (702). 공생 헬퍼는 자극을 분석하기 위한 규칙들의 세트 또는 세트들을 로딩한다 (704). 예를 들면, 규칙들의 세트 또는 세트들은 이미지 프로세싱, 또는 오디오 프로세싱, 또는 공생 헬퍼 (104) 의 카메라 (308), 마이크 (310), 다른 검출기들 (312) /센서들 (314) 에 의해 검출된 자극의 다른 프로세싱에 관한 규칙들을 포함할 수 있다. 그 다음 공생 헬퍼는 검출된 자극에서의 이상에 대해 검출된 환경을 분석한다 (706). 예를 들면, 카메라 (308) 를 사용하여 연속적인 사진을 찍음으로써 유저를 둘러싸는 시각적인 풍경을 공생 헬퍼가 쉽게 검출할 수 있지만, 유저는 일반적으로 시각적인 환경으로부터의 특정 자극을 경고 받기를 희망할 수도 있다. 따라서, 공생 헬퍼 (104) 는 검출된 자극 (324, 326, 328, 330) (도 3), 본 실시형태에서는 시각적 풍경으로부터의 이상들을 검출하고, 특정 이상들을 (스피커 (320) 와 디스플레이 (318) 출력을 통해) 유저에게 경고한다. 다르게는, 유저는 유저 (그 또는 그녀) 가 공생 헬퍼 없이 결정할 수 있는 유저의 (그의 또는 그녀의) 환경에 관한 불필요한 정보에 파묻힐 수 있다. 따라서, 공생 헬퍼는 시각적 풍경이 이상, 예컨대 폭발 또는 다른 이상에 대해 분석될 때 최대 유용성을 가지며, 이상들만이 유저의 주의를 끌게 된다. 종래 기술에서 통상의 지식을 가진 자라면, 시각적 풍경들 및 이상들의 컨셉이 임의의 다른 형태의 자극, 예컨대 청각적, 후각적, 전자기적 또는 다른 자극물들에 적용될 수 있음을 알 수 있을 것이다.
그 다음 공생 헬퍼 (104) 는 이상에 관한 보충 정보를 결정한다 (708). 예를 들면, 환경에 이상이 있다는 것을 결정하면, 공생 헬퍼는 이상에 관한 보충 정보를 계산할 수 있다. 보충 정보의 실시형태들은 이상이 무엇인지, 이상의 거리, 이상 (예를 들면, 폭발) 의 온도, 또는 이상을 처리하는 것에 의해 결정될 수 있는 임의의 다른 정보를 포함한다. 그 다음, 선택사항적으로, 공생 헬퍼는 유저에 대해 경고가 생성되어야 하는 것을 이상이 요구하는지의 여부를 결정한다 (710). 유저에 대해 경고가 생성되어야 하는 것을 이상이 요구하면, 공생 헬퍼는 경고를 생성하여 유저에게 경고를 출력한다 (712). 유저에 대해 경고가 생성되어야 하는 것을 이상이 요구하지 않으면, 공생 헬퍼는 검출된 자극에서의 이상에 대해 보호 환경을 다시 분석하고 (706) 처리 단계들 (708, 710) 을 반복한다. 마찬가지로, 유저에게 경고를 생성한 이후, 공생 헬퍼는 검출된 자극에서의 이상에 대해 검출된 환경을 또한 분석하고 (706) 처리 단계들 (708, 710) 을 반복한다. 종래 기술에서 통상의 지식을 가진 자라면, 공생 헬퍼가 새로운 자극을 검출하자 마자 이상에 대한 검출된 자극을 분석할 수 있음을 알 수 있을 것이다 (706). 마찬가지로, 공생 헬퍼 시스템이 턴오프되거나 디스에이블될 때까지, 공생 헬퍼 시스템은 검출된 자극에서의 임의의 이상에 대해 검출된 환경을 계속해서 분석한다.
도 8은 유저 (102) 와 상호작용하도록 구성된 공생 헬퍼 (104) 의 블록도 (800) 이다. 공생 헬퍼 (104) 는 유저 상태 검출 모듈 (802), 환경 자극 검출 모듈 (804), 및 보조 모듈 (806) 을 포함한다. 유저 상태 검출 모듈은 유저 (102) 로부터 유저의 상태 (808) 를 검출하도록 구성된다. 유저의 상태 (808) 는 예를 들면 유저가 말하는 자연 언어에 의해 전달될 수 있다. 유저 상태 검출 모듈 (802) 은 유저의 상태 (808) 의 표시를 보조 모듈 (806) 로 리턴한다.
환경 자극 검출 모듈 (804) 은 환경 (110) 으로부터의 환경 판독 (812) 을 검출하도록 구성된다. 환경 자극 검출 모듈 (804) 은 환경 판독 (812) 을 분석하고 검출된 자극 (810) 을 보조 모듈 (806) 로 리턴한다.
보조 모듈 (806) 은 유저 상태 검출 모듈 (802) 로부터의 유저의 상태 표시 (809) 와 환경 자극 검출 모듈 (804) 로부터의 검출된 자극 (810) 을 수신하도록 구성된다. 보조 모듈 (806) 은 유저의 상태 표시 (809) 와 검출된 자극 (810) 양자를 분석한다. 보조 모듈은 가변적인 레벨의 보조 (814) 를 시각적 디스플레이 (318) 및 스피커들 (320) (도 3) 을 통해 유저 (102) 에게 출력한다. 일 구체예에서, 보조 모듈 (806) 은 가변적인 레벨의 보조 (814) 를 공생 헬퍼 (104) 의 선택사항적 웨어러블 디바이스 (816) 에 출력하고, 그 다음 가변적인 레벨의 보조 (814) 를 유저 (102) 에게 제공한다. 가변적인 레벨의 보조 (814) 는 프로세서 (316) 에 의해 생성된 유저와 상호작용하는 3D 모델들 (332) 을 포함할 수도 있다. 일반적인 3D 모델 생성 기술들 및/또는 기술이 활용된다.
도 9는 몰입형 가상 현실에서 실세계에 대한 증강 현실 세계로의 멘탈 모델의 이전 (transfer) 의 프로세스의 예시적인 구체예의 흐름도 (900) 이다.
멘탈 모델은 사물이 실세계에서 어떻게 작용하는지에 관한 사고의 과정 (thought process) 이다. 멘탈 모델은 사물의 거동의 이해 (또는 지배 규칙들의 세트), 예컨대 자동차 운전법의 이해, 또는 자동차를 구성하는 시스템 및 실제 부품들 및 원리들을 정비공이 이해하는 것과 같은, 자동차가 어떻게 동작하는지의 이해일 수 있다. 많은 활동들은 복잡하고 활동들에 관련된 멘탈 모델들은 개발될 필요가 있다. 몰입형 가상 현실 환경들 및 증강 현실 환경들은 악영향 없이 이러한 개발을 용이하게 한다. 일반적으로, 활동들은, 활동이 적절히 수행될 때까지 멘탈 모델의 연속적인 조정들을 필요로 한다. 이원 학습 프로세스 (double-loop learning process) 는 몰입형 가상 현실들 및 증강된 실세계의 피드백으로부터 멘탈 모델의 조정을 가능하게 한다.
일 구체예에서, 멘탈 모델 (902) 은 몰입형 가상 현실에서 사용하기 위해 먼저 개발된다 (900). 연속적인 상이한 환경들 (예컨대 테스트 환경들) 에서의 그 이상의 개발들 및 개선들 이후, 멘탈 모델 (902) 은 실세계 (930) 에서 사용될 수 있다. 멘탈 모델 (902) 은 각각의 연속적인 환경에서 다음 환경으로 (예를 들면, 몰입형 가상 현실 (910) 에서 실세계 (930) 에 대한 증강된 실세계 (920) 로) 이전된다.
공생 헬퍼 (104) 는 멘탈 모델 (902) 에 기초하여 의사결정 규칙들 (decision-making rules; 904) 을 생성하거나, 명확하게 하거나, 갱신하거나, 또는 향상시킨다. 그 다음, 공생 헬퍼 (104) 는, 의사결정 규칙들 (904) 에 기초한 결정 (906) 을 몰입형 가상 현실 (910) 로 전송한다. 몰입형 가상 현실 (910) 은 멘탈 모델 (902) 및 몰입형 가상 현실 (910) 에서의 결정 (906) 의 영향들에 기초하여 정보 피드백 (908) 을 생성한다. 그러면, 미래의 결정들 (906) 은 의사결정 규칙들 (904) 에 더하여 정보 피드백 (908) 에 기초하게 된다. 또한, 정보 피드백 (908) 은 몰입형 가상 현실 (910) 에서의 결정 (906) 의 영향들에 기초하여 멘탈 모델 (902) 을 조정한다.
공생 헬퍼 (104) 는, 예를 들면, 멘탈 모델 훈련 기간이 완료된 이후, 증강된 실세계 (920) 와 함께 사용될 멘탈 모델 (912) 로 멘탈 모델 (902) 을 복제할 수 있다. 공생 헬퍼 (104) 는 멘탈 모델 (912) 에 기초하여 의사결정 규칙들 (914) 을 생성하거나, 명확하게 하거나, 갱신하거나, 또는 향상시킨다. 그 다음, 공생 헬퍼 (104) 는, 의사결정 규칙들 (914) 에 기초한 결정 (916) 을 증강된 실세계 (920) 로 전송한다. 증강된 실세계 (920) 는 멘탈 모델 (912) 및 증강된 실세계 (920) 에서의 결정 (916) 의 영향들에 기초하여 정보 피드백 (918) 을 생성한다. 그러면, 미래의 결정들 (916) 은 의사결정 규칙들 (914) 에 더하여 정보 피드백 (918) 에 기초하게 된다. 또한, 정보 피드백 (918) 은 증강된 실세계 (920) 에서의 결정 (916) 의 영향들에 기초하여 멘탈 모델 (912) 을 조정한다.
공생 헬퍼 (104) 는, 예를 들면, 멘탈 모델 훈련 기간이 완료된 이후, 실세계 (930) 와 함께 사용될 멘탈 모델 (922) 로 멘탈 모델 (912) 을 복제할 수 있다. 공생 헬퍼 (104) 는 멘탈 모델 (922) 에 기초하여 의사결정 규칙들 (924) 을 생성하거나, 명확하게 하거나, 갱신하거나, 또는 향상시킨다. 그 다음, 공생 헬퍼 (104) 는, 의사결정 규칙들 (924) 에 기초한 결정 (926) 을 실세계 (930) 로 전송한다. 실세계 (930) 는 멘탈 모델 (922) 및 실세계 (930) 에서의 결정 (926) 의 영향들에 기초하여 정보 피드백 (928) 을 생성한다. 그러면, 미래의 결정들 (926) 은 의사결정 규칙들 (924) 에 더하여 정보 피드백 (928) 에 기초하게 된다. 또한, 정보 피드백 (928) 은 실세계 (930) 에서의 결정 (926) 의 영향들에 기초하여 멘탈 모델 (922) 을 조정한다.
다른 구체예에서, 공생 헬퍼 (104) 는 몰입형 가상 현실 내에 컨텐츠를 생성할 수 있다. 그 다음, 공생 헬퍼 (104) 는 생성된, 또는 저작된 컨텐츠를 적어도 몰입형 가상 현실 (910), 또는 증강된 실세계 (920) 에 제공할 수 있다.
도 10은 훈련생으로부터 사전상호작용 (pre-interaction) 을 동작시키는 공생 헬퍼에 의해 활용되는 예시적 프로세스의 흐름도 (1000) 이다. 사전상호작용 역할에서, 공생 헬퍼 (104) 는 '경고 또는 오버라이드 (override) (1020)'를 생성하고 정보 피드백 (1008) 을 제공하는데 활용될 수 있는데, 정보 피드백 (1008) 은 결정들 (1006) 에 영향을 끼치며 멘탈 모델 (1002) 을 생성하거나, 명확하게 하거나, 갱신하거나, 또는 향상시키기 위해 사용된다. 예를 들면, 멘탈 모델 (1002) 은 의사결정 규칙들 (1004) 에 기초하여 결정 (1006) 을 생성할 수 있다. 결정은 공생 헬퍼 (104) 에 의해 해석된다. 경고 임계치 또는 오브라이드 임계치의 충족시, 공생 헬퍼 (104) 는 경고 또는 오버라이드 (1020) 를 생성한다. 경고 또는 오버라이드 (1020) 는 전체 상호작용 (world interaction; 1010) (예를 들면, 몰입형 가상 현실 (910), 증강된 실세계 (920), 및 실세계 (930)) 으로 전송되어 유저에게 경고를 생성하거나 또는 결정 (1006) 을 오버라이드한다. 경고 또는 오버라이드 (1020) 는 정보 피드백 (1008) 을 또한 수정하고, 멘탈 모델 (1002) 및 결정 (1006) 을 더 수정한다.
그러나, 경고 임계치 또는 오버라이드 임계치가 충족되었다고 공생 헬퍼 (104) 가 결정하지 않으면, 결정 (1006) 은 임의의 경고나 오버라이드 (1020) 없이 전체 상호작용 (1010) 으로 바로 전송된다.
도 11은 훈련생으로부터 사후상호작용 (post-interaction) 을 동작시키는 공생 헬퍼에 의해 활용되는 예시적 프로세스의 흐름도 (1100) 이다. 사후상호작용 역할에서, 공생 헬퍼 (104) 는 경고 또는 오버라이드 (예를 들면, 경고 또는 오버라이드 (1020)) 를 발하지 않는다. 대신, 훈련생과의 상호작용에 기초하여, 공생 헬퍼 (104) 는 멘탈 모델 (1102) 을 수정한다. 예를 들면, 멘탈 모델 (1102) 은 의사결정 규칙들 (1104) 에 기초하여 결정 (1106) 을 생성할 수 있다. 결정 (1106) 은 전체 상호작용 (world interaction; 1110) (예를 들면, 몰입형 가상 현실 (910), 증강된 실세계 (920), 및 실세계 (930)) 으로 전송된다. 그 다음, 전체 상호작용은 정보 피드백 (1108) 과 공생 헬퍼 (104) 를 갱신한다. 이것에 의해 정보 피드백 (1108) 은 멘탈 모델 (1102) 을 갱신하고, 공생 헬퍼 (104) 는 자신의 다음 결정을 갱신된 전체 상호작용 (1110) 에 기초하게 된다.
사후상호작용 피드백은 실세계 상황들에서 통상 사용되는데, 그 이유는 가상 세계에서의 오류들이 악영향을 덜 갖기 때문이다. 사후상호작용 모드에서, 공생 헬퍼 (104) 는 훈련생이 수정해야 할 실수들 및 가능한 향상들에 관한 설명을 포함하는 추가적인 피드백을 훈련생에게 제공한다.
공생 헬퍼 (104) 는, 훈련생에 관한 데이터를 축적하는 것에 의해 시간이 지남에 따라 진화하는 훈련생의 유저 멘탈 모델 (예를 들면, 902, 912, 922, 1002, 1102) 을 생성하거나, 명확하게 하거나, 갱신하거나, 또는 향상시킨다. 유저 멘탈 모델 (예를 들면, 902, 912, 922, 1002, 1102) 은 물리적인 특성들 및 멘탈 특성들을 갖는다. 멘탈 특성들은, 가상 환경에서 훈련생이 수행한 또는 수행하고 있는 도메인 특유의 훈련 동안 훈련생의 거동으로부터 도출된다. 물리적 특성들은 유저 엔트리, 유저 움직임들의 검출, 또는 자동화된 물리적 특성 검출 프로세스로부터 도출된다.
개인들은 동일한 실수를 반복적으로 할 수 있다. 예를 들면, 한 개인은 그의 또는 그녀의 환경을 완전히 관측하기 이전에, 또는 해결해야 할 문제의 성질을 완전히 이해하기 이전에 행동할 수도 있다. 이 경향은 데모 페이즈에서 짧은 소비 시간, 상호작용 학습 페이즈에서 더 긴 시간, 및/또는 테스트 모드에서 최저-평균 점수들 (low-to-average scores) 에 의해 검출될 수 있다. 이러한 경향은 도메인 특유의 훈련에 대한 유경험의 또는 유능한 개인들이 데모 및 상호작용 학습 페이즈들 양자에서 짧은 소비 시간과 높은 점수들로 통과하는 것을 방지하지 못한다. 학습 페이즈 동안 수정된 실수들은 훈련생에게 높은 그리고 항구적인 기억력을 제공하는 경향이 있다. 상이한 학습 방법들의 테스트 점수들은, 훈련생이 어떤 학습 방법들에 가장 효과적으로 응답하는지를 또한 결정할 수 있고 훈련 프로세스에서의 말의 (verbal), 시각적 및 다른 자극들의 유효성을 또한 추적할 수 있다.
본 발명의 구체예들 또는 양태들은 하드웨어, 소프트웨어, 또는 펌웨어의 형태로 구현될 수도 있다. 소프트웨어로 구현되면, 소프트웨어는 본원에서 개시된 예시적인 구체예들과 일치하는 동작들을 수행할 수 있는 임의의 형태의 소프트웨어일 수도 있다. 소프트웨어는 임의의 비일시적 컴퓨터 판독가능 매체, 예컨대 RAM, ROM, 자기 디스크 또는 광학 디스크에 저장될 수도 있다. 프로세서 (들) 에 의해 로딩되어 실행될 때, 프로세서 (들) 은 본원에서 개시된 예시적인 구체예들과 일치하는 동작들을 수행하도록 구성된다. 프로세서 (들) 은 본원에서 개시된 동작들을 실행하도록 구성될 수 있는 임의의 형태의 프로세서 (들) 일 수도 있다. 모듈들은 다른 하드웨어 엘리먼트들과 결합된 프로세서 (들) 을 구비하는 하드웨어의 형태로 구현될 수도 있다.
본 발명이 본 발명의 예시적인 구체예들을 참조로 특별히 도시되고 설명되었지만, 종래 기술에서 통상의 지식을 가진자라면, 첨부된 특허청구범위에 의해 포괄되는 본 발명의 범위를 벗어나지 않으면서 형태 및 상세들에서의 여러 변형들이 이루어질 수도 있음을 이해할 것이다.

Claims (27)

  1. 유저의 상태를 검출하는 단계;
    상기 유저의 환경에서 자극을 검출하는 단계; 및
    검출된 상기 유저의 상태와 상기 환경에서의 검출된 상기 자극에 기초하여 가변적인 레벨의 보조를 상기 유저에게 제공하는 단계를 포함하는, 컴퓨터 기반 방법.
  2. 제 1항에 있어서,
    상기 유저의 상기 환경에서 상기 자극을 검출하는 단계는 시각적 자극, 청각적 자극, 물리적 자극, 진동성 자극, 전자기 자극, 후각적 자극, 온도 자극, 및 이동 자극 중 적어도 하나를 검출하는 단계를 포함하는, 컴퓨터 기반 방법.
  3. 제 1항에 있어서,
    상기 유저의 상기 상태를 검출하는 단계는 상기 유저가 말한 자연 언어를 검출하는 단계를 포함하는, 컴퓨터 기반 방법.
  4. 제 1항에 있어서,
    상기 유저의 스킬의 레벨을 결정하는 단계; 및
    결정된 상기 스킬의 레벨에 기초하여 상기 가변적인 레벨의 보조를 조정하는 단계를 더 포함하는, 컴퓨터 기반 방법.
  5. 제 1항에 있어서,
    상기 가변적인 레벨의 보조를 제공하는 단계는:
    제 1의 레벨의 보조를 위해 디스플레이에 몰입형 (immersive) 가상 현실을 제공하는 단계;
    제 2의 레벨의 보조를 위해 증강된 가상 현실을 제공하는 단계; 및
    제 3의 레벨의 보조를 위해 성긴 증강 현실 (sparsely augmented reality) 을 제공하는 단계를 포함하는, 컴퓨터 기반 방법.
  6. 제 5항에 있어서,
    상기 몰입형 가상 현실, 증강된 가상 현실, 또는 성긴 증강 현실의 상기 환경에서 상기 검출된 자극을 상기 유저에게 경고하는 단계를 더 포함하는, 컴퓨터 기반 방법.
  7. 제 5항에 있어서,
    상기 몰입형 가상 현실 내에서 컨텐츠를 저작하는 단계를 더 포함하고,
    상기 가변적인 레벨의 보조를 제공하는 단계는 저작된 상기 컨텐츠를 더 제공하는, 컴퓨터 기반 방법.
  8. 제 1항에 있어서,
    상기 가변적인 레벨의 보조를 제공하는 단계는 낮은 레벨의 보조를 필요로 하도록 상기 유저를 훈련시키는 단계를 포함하는, 컴퓨터 기반 방법.
  9. 제 1항에 있어서,
    상기 가변적인 레벨의 보조를 상기 유저에게 제공하는 단계는 개인의 안전 훈련 또는 팀의 안전 훈련을 제공하는 단계를 포함하는, 컴퓨터 기반 방법.
  10. 제 1항에 있어서,
    상기 가변적인 레벨의 보조를 상기 유저에게 제공하는 단계는 숙련도의 레벨을 결정하기 위해 상기 유저의 디지털 풋프린트들을 분석하는 단계 및 제공된 상기 가변적인 레벨의 보조를 결정된 상기 숙련도의 레벨에 기초하여 수정하는 단계를 포함하는, 컴퓨터 기반 방법.
  11. 제 1항에 있어서,
    상기 검출된 자극으로부터 결정되는 포지티브의 그리고 네가티브의 추론들을 상기 유저에게 경고하는 단계를 더 포함하는, 컴퓨터 기반 방법.
  12. 제 1항에 있어서,
    상기 검출된 환경의 위험 평가에 기초하여 상기 유저에게 명령들을 제공하는 단계를 더 포함하는, 컴퓨터 기반 방법.
  13. 제 1항에 있어서,
    상기 검출된 자극에서 이상을 식별하는 단계;
    상기 이상에 관한 보충 정보를 결정하는 단계; 및
    결정된 상기 보충 정보 및 상기 이상의 존재를 상기 유저에게 경고하는 단계를 더 포함하는, 컴퓨터 기반 방법.
  14. 유저의 상태를 검출하도록 구성된 유저 상태 검출 모듈;
    상기 유저의 환경에서 자극을 검출하도록 구성된 환경 자극 검출 모듈; 및
    검출된 상기 유저의 상태와 상기 환경에서의 검출된 상기 자극에 기초하여 가변적인 레벨의 보조를 상기 유저에게 제공하도록 구성된 보조 모듈을 포함하는, 시스템.
  15. 제 14항에 있어서,
    상기 환경 자극 검출 모듈은 시각적 자극, 청각적 자극, 물리적 자극, 진동성 자극, 전자기 자극, 후각적 자극, 온도 자극, 및 이동 자극 중 적어도 하나를 검출하도록 더 구성되는, 시스템.
  16. 제 14항에 있어서,
    상기 유저 상태 검출 모듈은 상기 유저가 말한 자연 언어를 검출하도록 더 구성되는, 시스템.
  17. 제 14항에 있어서,
    상기 유저의 스킬의 레벨을 결정하도록 구성된 스킬 결정 모듈; 및
    결정된 상기 스킬의 레벨에 기초하여 상기 가변적인 레벨의 보조를 조정하도록 구성된 조정 모듈을 더 포함하는, 시스템.
  18. 제 14항에 있어서,
    상기 보조 모듈은:
    제 1의 레벨의 보조를 위해 디스플레이에 몰입형 가상 현실을 제공하고;
    제 2의 레벨의 보조를 위해 증강된 가상 현실을 제공하며;
    제 3의 레벨의 보조를 위해 성긴 증강 현실 (sparsely augmented reality) 을 제공하도록 더 구성되는, 시스템.
  19. 제 18항에 있어서,
    상기 몰입형 가상 현실, 증강된 가상 현실, 또는 성긴 증강 현실의 상기 환경에서 상기 검출된 자극을 상기 유저에게 경고하도록 구성된 경고 모듈을 더 포함하는, 시스템.
  20. 제 18항에 있어서,
    상기 보조 모듈은 상기 몰입형 가상 현실 내에서 컨텐츠를 저작하도록 더 구성되고,
    상기 보조 모듈은 저작된 상기 컨텐츠를 제공하도록 더 구성되는, 시스템.
  21. 제 14항에 있어서,
    상기 보조 모듈은 낮은 레벨의 보조를 필요로 하게 상기 유저를 훈련시키도록 더 구성되는, 시스템.
  22. 제 14항에 있어서,
    상기 보조 모듈은 개인의 안전 훈련 또는 팀의 안전 훈련을 제공하도록 더 구성되는, 시스템.
  23. 제 14항에 있어서,
    상기 가변적인 레벨의 보조를 상기 유저에게 제공하는 것은 숙련도의 레벨을 결정하기 위해 상기 유저의 디지털 풋프린트들을 분석하는 것 및 제공된 상기 가변적인 레벨의 보조를 결정된 상기 숙련도의 레벨에 기초하여 수정하는 것을 포함하는, 컴퓨터 기반 방법.
  24. 제 14항에 있어서,
    상기 검출된 자극으로부터 결정되는 포지티브의 그리고 네가티브의 추론들을 상기 유저에게 경고하도록 구성되는 경고 모듈을 더 포함하는, 시스템.
  25. 제 14항에 있어서,
    상기 검출된 환경의 위험 평가에 기초하여 상기 유저에게 명령들을 제공하도록 구성된 위험 기반 명령 모듈을 더 포함하는, 시스템.
  26. 제 14항에 있어서,
    상기 검출된 자극에서 이상을 식별하도록 구성된 이상 식별 모듈;
    상기 이상에 관한 보충 정보를 결정하도록 구성된 보충 정보 결정 모듈; 및
    결정된 상기 보충 정보 및 상기 이상의 존재를 상기 유저에게 경고하도록 구성된 경고 모듈을 더 포함하는, 시스템.
  27. 유저에 대한 보조의 프리셋 레벨들을 저장하도록 구성된 메모리 영역;
    상기 메모리 영역에 연결된 프로세서로서,
    유저의 상태를 검출하고;
    상기 유저의 환경에서 자극을 검출하며; 그리고
    상기 환경에서의 검출된 상기 자극 및 상기 유저의 검출된 상기 상태에 기초하여 상기 유저에게 상기 보조의 상기 프리셋 레벨들 중 적어도 하나를 제공하도록 구성된, 상기 프로세서; 및
    상기 보조의 상기 프리셋 레벨들 중 상기 적어도 하나를 상기 유저에게 제공하도록 구성된 디스플레이 및 스피커 중 적어도 하나를 포함하는 웨어러블 모듈 (wearable module) 을 포함하는, 장치.
KR1020130066813A 2012-06-12 2013-06-11 공생 헬퍼 Withdrawn KR20130139190A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/494,223 US9824601B2 (en) 2012-06-12 2012-06-12 Symbiotic helper
US13/494,223 2012-06-12

Publications (1)

Publication Number Publication Date
KR20130139190A true KR20130139190A (ko) 2013-12-20

Family

ID=48670372

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130066813A Withdrawn KR20130139190A (ko) 2012-06-12 2013-06-11 공생 헬퍼

Country Status (6)

Country Link
US (1) US9824601B2 (ko)
EP (1) EP2674927A1 (ko)
JP (1) JP6382490B2 (ko)
KR (1) KR20130139190A (ko)
CN (1) CN103488994B (ko)
CA (1) CA2820428A1 (ko)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11043135B2 (en) * 2013-01-22 2021-06-22 D2L Corporation Systems and methods for monitoring learner engagement during a learning event
US20140204115A1 (en) * 2013-01-23 2014-07-24 Honeywell International Inc. System and method for automatically and dynamically varying the feedback to any operator by an automated system
EP3317872A1 (en) * 2015-06-30 2018-05-09 Thomson Licensing Method and apparatus using augmented reality with physical objects to change user states
CN106371572B (zh) * 2015-11-30 2019-10-15 北京智谷睿拓技术服务有限公司 信息处理方法、信息处理装置及用户设备
EP3185535A1 (en) 2015-12-22 2017-06-28 Thomson Licensing Method and apparatus for controlling a discrepant aiming direction of a camera
CN106997235B (zh) * 2016-01-25 2018-07-13 亮风台（上海）信息科技有限公司 用于实现增强现实交互和展示的方法、设备
US12149591B2 (en) 2016-01-25 2024-11-19 Hiscene Information Technology Co., Ltd Method and apparatus for augmented reality interaction and presentation
CN110446996A (zh) * 2017-03-21 2019-11-12 华为技术有限公司 一种控制方法、终端及系统
DE102017208728B4 (de) * 2017-05-23 2024-10-24 Audi Ag Verfahren zur Ermittlung einer Fahranweisung
US10747300B2 (en) 2017-08-17 2020-08-18 International Business Machines Corporation Dynamic content generation for augmented reality assisted technology support
CN109660418A (zh) * 2018-07-19 2019-04-19 中国人民解放军32125部队 基于神经网络的机动通信台站通信保障能力评估方法、系统及电子设备
KR102833070B1 (ko) * 2019-12-16 2025-07-14 삼성전자 주식회사 사용자 맞춤형 매뉴얼을 지원하기 위한 전자 장치
US12118773B2 (en) * 2019-12-23 2024-10-15 Sri International Machine learning system for technical knowledge capture
US11320897B2 (en) 2020-09-28 2022-05-03 Bank Of America Corporation Adjustable user preference settings using a virtual reality device
CN114327049B (zh) * 2021-12-07 2023-07-25 北京五八信息技术有限公司 基于ar应用的提示方法、装置、电子设备及可读介质
IL300028A (en) * 2023-01-18 2024-08-01 Joytunes Ltd Standards, systems and methods for guiding the creation of an object in visual arts

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7042345B2 (en) * 1996-09-25 2006-05-09 Christ G Ellis Intelligent vehicle apparatus and method for using the apparatus
JP2913624B1 (ja) 1998-03-23 1999-06-28 川崎重工業株式会社 災害体験模擬装置
US6070149A (en) 1998-07-02 2000-05-30 Activepoint Ltd. Virtual sales personnel
US6175803B1 (en) * 1998-08-04 2001-01-16 Ford Global Technologies, Inc. Vehicle navigation route generation with user selectable risk avoidance
JP2001117046A (ja) 1999-10-22 2001-04-27 Shimadzu Corp 視線検出機能付ヘッドマウントディスプレイシステム
JP2001331216A (ja) 2000-05-18 2001-11-30 Central Res Inst Of Electric Power Ind 現場業務支援システム
JP2001344352A (ja) 2000-05-31 2001-12-14 Toshiba Corp 生活支援装置および生活支援方法および広告情報提供方法
US20020044152A1 (en) 2000-10-16 2002-04-18 Abbott Kenneth H. Dynamic integration of computer generated and real world images
US7343328B1 (en) 2000-12-08 2008-03-11 Black & Decker Inc. Networked product selection system and method for its use
US7827055B1 (en) 2001-06-07 2010-11-02 Amazon.Com, Inc. Identifying and providing targeted content to users having common interests
JP3715219B2 (ja) 2001-06-13 2005-11-09 川崎重工業株式会社 バーチャル現場訓練装置
JP2003178131A (ja) 2001-12-11 2003-06-27 Tadashi Goino 危機管理方法及び危機管理システム
US20050096933A1 (en) * 2003-09-22 2005-05-05 Offshore Safety Lp Offshore environment computer-based safety training system and methods
US7680694B2 (en) 2004-03-11 2010-03-16 American Express Travel Related Services Company, Inc. Method and apparatus for a user to shop online in a three dimensional virtual reality setting
JP2005315802A (ja) 2004-04-30 2005-11-10 Olympus Corp ユーザ支援装置
US7583272B2 (en) 2004-11-29 2009-09-01 Purdue Research Foundation Methods for retrieving shapes and drawings
US7249708B2 (en) 2005-02-04 2007-07-31 The Procter & Gamble Company Household management systems and methods
CA2603432A1 (en) 2005-04-04 2006-10-12 Revolver Ltd. Rendering 3d computer graphics using 2d computer graphics capabilities
US20100171826A1 (en) 2006-04-12 2010-07-08 Store Eyes, Inc. Method for measuring retail display and compliance
US20090138113A1 (en) 2006-11-27 2009-05-28 Designin Corporation Systems, methods, and computer program products for home and landscape design
US8630924B2 (en) 2007-08-31 2014-01-14 Accenture Global Services Limited Detection of stock out conditions based on image processing
US7685023B1 (en) 2008-12-24 2010-03-23 International Business Machines Corporation Method, system, and computer program product for virtualizing a physical storefront
JP2010197153A (ja) 2009-02-24 2010-09-09 Konica Minolta Holdings Inc 作業支援装置及び作業支援システム
US8049621B1 (en) 2009-05-28 2011-11-01 Walgreen Co. Method and apparatus for remote merchandise planogram auditing and reporting
US20110029382A1 (en) 2009-07-30 2011-02-03 Runu, Inc. Automated Targeting of Information to a Website Visitor
US20110115909A1 (en) 2009-11-13 2011-05-19 Sternberg Stanley R Method for tracking an object through an environment across multiple cameras
US20110214082A1 (en) 2010-02-28 2011-09-01 Osterhout Group, Inc. Projection triggering through an external marker in an augmented reality eyepiece
US8762226B2 (en) 2011-05-04 2014-06-24 Etsy, Inc. Item discovery tools and methods for shopping in an electronic commerce environment
US9058612B2 (en) 2011-05-27 2015-06-16 AVG Netherlands B.V. Systems and methods for recommending software applications
US9836747B2 (en) 2011-06-21 2017-12-05 Simon Borrero System and method for shopping goods, virtualizing a personalized storefront
US20130041778A1 (en) 2011-08-13 2013-02-14 The Owl Wizard Ltd. Method and system for improving a product recommendation made for matching a consumer wish list
US9256902B2 (en) 2012-04-09 2016-02-09 Sears Brands, L.L.C. Non-transitory computer-readable media for presenting product recommendations
US8941645B2 (en) 2012-05-11 2015-01-27 Dassault Systemes Comparing virtual and real images in a shopping experience
US9152226B2 (en) 2012-06-15 2015-10-06 Qualcomm Incorporated Input method designed for augmented reality goggles
US10074121B2 (en) 2013-06-20 2018-09-11 Dassault Systemes Shopper helper

Also Published As

Publication number Publication date
US20130330705A1 (en) 2013-12-12
CN103488994A (zh) 2014-01-01
JP6382490B2 (ja) 2018-08-29
CN103488994B (zh) 2018-10-12
CA2820428A1 (en) 2013-12-12
JP2013257565A (ja) 2013-12-26
EP2674927A1 (en) 2013-12-18
US9824601B2 (en) 2017-11-21

Similar Documents

Publication Publication Date Title
KR20130139190A (ko) 공생 헬퍼
Ochoa et al. Multimodal learning analytics-Rationale, process, examples, and direction
JP7265667B2 (ja) 作業支援システムおよび作業支援方法
KR102383458B1 (ko) 학습결과에 대한 관리를 지원하는 능동형 인공지능 튜터링 시스템
Lin et al. Employing textual and facial emotion recognition to design an affective tutoring system.
Mehta et al. Human-centered intelligent training for emergency responders
CN117995035A (zh) 核电厂抢修作业培训系统
Daza et al. SMARTe-VR: Student monitoring and adaptive response technology for e-learning in virtual reality
Okawa et al. Proposal of learning support model for teacher-type robot supporting learning according to learner’s perplexed facial expressions
Ahmad et al. Towards a Low‐Cost Teacher Orchestration Using Ubiquitous Computing Devices for Detecting Student’s Engagement
KR20200056760A (ko) 인공지능을 이용하여 교육자를 평가하고 피교육자의 교육 성취를 향상하는 시스템 및 방법
El Arbaoui et al. Enhancing communication for people with autism through the design of a context-aware mobile application for PECS
US20250356769A1 (en) Virtual reality enhanced police training system for school security preparedness
KR102383457B1 (ko) 교수와 학습을 지원하는 능동형 인공지능 튜터링 시스템 및 이의 제어방법
CN117649470A (zh) 一种基于驾培行业的ai数智人构建方法和系统
KR20250033448A (ko) 메타버스에서의 상호작용에 기반한 교육 평가 시스템 및 방법
Angel Explorations of an ai infused paradigm for education: tippae
Lawrence et al. Utilizing wearable technologies to foster outcome-based education in learning factories
Shahbaz et al. Smart and Advanced E-learning Methodology with IoT Device Integration
Nirudeeswar et al. ERAnet: Emotion Recognition based Assistive learning network for Autistic children
JP7825010B2 (ja) システム
Pielka et al. [Vision Paper] PRObot: Enhancing Patient-Reported Outcome Measures for Diabetic Retinopathy using Chatbots and Generative AI
CN116682304B (zh) 一种虚拟现实环境下的示教方法、系统、存储介质及设备
JP2026074847A (ja) システム
JP2026027990A (ja) システム

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20130611

PG1501 Laying open of application
PC1203 Withdrawal of no request for examination
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid