KR20200079748A - 발달장애인의 언어 훈련을 위한 가상현실 교육 시스템 및 방법 - Google Patents

발달장애인의 언어 훈련을 위한 가상현실 교육 시스템 및 방법 Download PDF

Info

Publication number
KR20200079748A
KR20200079748A KR1020180169239A KR20180169239A KR20200079748A KR 20200079748 A KR20200079748 A KR 20200079748A KR 1020180169239 A KR1020180169239 A KR 1020180169239A KR 20180169239 A KR20180169239 A KR 20180169239A KR 20200079748 A KR20200079748 A KR 20200079748A
Authority
KR
South Korea
Prior art keywords
image
recognition result
hmd device
user
virtual reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
KR1020180169239A
Other languages
English (en)
Inventor
김연표
Original Assignee
(주)소프트젠
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)소프트젠 filed Critical (주)소프트젠
Priority to KR1020180169239A priority Critical patent/KR20200079748A/ko
Publication of KR20200079748A publication Critical patent/KR20200079748A/ko
Priority to KR1020200147532A priority patent/KR102330218B1/ko
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G06Q50/2057—Career enhancement or continuing education service
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Human Resources & Organizations (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 발달장애인의 언어 훈련을 위한 가상현실 교육 시스템에 관한 것으로서, 2차원 영상을 360° VR 영상으로 변환하고 VR 영상을 복수의 영역들로 분할하며 분할된 각각의 영역에 위치 좌표를 설정하는 제어 장치와, 제어 장치로부터 VR 영상을 제공받아 표시하고 사용자의 음성을 감지하여 음성인식결과에 대응하여 VR 영상의 표시를 변경하는 HMD 장치를 포함한다.

Description

발달장애인의 언어 훈련을 위한 가상현실 교육 시스템 및 방법{VIRTUAL REALITY EDUCATION SYSTEM AND METHOD FOR LANGUAGE TRAINING OF DISABLED PERSON}
본 발명은 발달장애인의 언어 훈련을 위한 가상현실 교육 시스템 및 방법에 관한 것으로서, 더 상세하게는 가상현실 영상을 이용하여 언어 훈련과 함께 시각 교육을 함께 수행할 수 있는 가상현실 교육 시스템 및 방법에 관한 것이다.
머리 착용 디스플레이(Head Mounted Display, 이하 "HMD"라 함) 기기가 보급화됨에 따라 가상현실(Virtual Reality, 이하 "VR"이라 함) 영상에 대한 관심도 높아지고 있다. HMD 기기는 마치 실제 주변 환경과 상호 작용을 하는 것처럼 느낄 수 있는 VR 영상을 사용자에게 제공할 수 있다.
360° VR 영상을 이용하면 사용자의 움직임에 따라 시점이 변화하여 다양한 시점의 영상이 제공될 수 있다. 이러한 특징을 활용하여 게임, 교육 등 다양한 분야에 적용하려는 시도가 활발하게 진행중에 있다.
하지만, 발달장애인과 같은 인지 능력이 부족한 사용자들은 VR 영상 시청에 따른 적절한 응답을 기대할 수 없으며, 특정 시점의 영상을 시청하도록 유도하는데 어려움이 있다. 따라서, 이러한 사용자들에게 제공되는 VR 영상을 이용한 시청각 교육 방법은 효율성이 떨어지는 문제가 있다.
본 발명은 전술한 문제점을 해결하고자 하는 것으로서, 사용자의 음성을 감지하여 해당 사용자가 VR 영상 내의 어떤 오브젝트(object)를 인지하려고 하는지를 판단하고, 음성인식결과에 대응하는 오브젝트를 사용자가 정확하게 인지하는지 여부를 판단하는 발달장애인의 언어 훈련을 위한 가상현실 교육 시스템 및 방법을 제공함에 목적이 있다.
전술한 목적을 달성하기 위하여, 본 발명은 2차원 영상을 360° 가상현실(VR) 영상으로 변환하고, 상기 VR 영상을 복수의 영역들로 분할하며, 분할된 각각의 영역에 위치 좌표를 설정하는 제어 장치와, 상기 제어 장치로부터 상기 VR 영상을 제공받아 표시하고, 사용자의 음성을 감지하여 음성인식결과에 대응하여 상기 VR 영상의 표시를 변경하는 HMD 장치를 포함하는 발달장애인의 언어 훈련을 위한 가상현실 교육 시스템을 제공한다.
실시 예에 따라, 상기 HMD 장치는, 상기 VR 영상을 표시하는 표시부와, 상기 사용자의 머리 움직임을 감지하여 동작 정보를 생성하는 센서부와, 상기 사용자의 음성을 감지하여 음성인식결과를 생성하는 음성 감지부와, 상기 동작 정보를 기초로 상기 사용자가 바라보는 중심 영역의 위치 좌표를 판단하고, 상기 음성인식결과에 대응하여 상기 표시부의 영상 표시를 제어하는 프로세서를 포함할 수 있다.
실시 예에 따라, 상기 제어 장치는, 상기 HMD 장치로부터 상기 중심 영역의 위치 좌표를 수신하고, 상기 중심 영역의 위치 좌표를 기초로 상기 HMD 장치와 동일한 시점의 VR 영상을 표시할 수 있다.
실시 예에 따라, 상기 프로세서는 VR 영상에 포함된 복수의 오브젝트들 각각의 오브젝트 정보와 상기 음성인식결과를 비교하고, 상기 음성인식결과와 대응하는 오브젝트가 강조되어 표시되도록 상기 표시부를 제어할 수 있다.
실시 예에 따라, 상기 프로세서는, 상기 음성인식결과와 대응하는 오브젝트의 외곽선이 밝은 휘도로 강조되어 표시되도록 상기 표시부를 제어할 수 있다.
실시 예에 따라, 상기 프로세서는, 상기 음성인식결과와 대응하는 오브젝트를 포함한 영역의 휘도가 다른 영역의 휘도보다 증가되어 표시되도록 상기 표시부를 제어할 수 있다.
실시 예에 따라, 상기 프로세서는, 상기 음성인식결과와 대응하는 오브젝트를 포함된 영역 이외의 영역의 휘도가 감소되어 표시되도록 상기 표시부를 제어할 수 있다.
실시 예에 따라, 상기 오브젝트 정보는 오브젝트의 위치 좌표와 오브젝트를 지시하는 텍스트 정보를 포함하고, 상기 오브젝트 정보는 상기 제어 장치에 의해 생성될 수 있다.
실시 예에 따라, 상기 제어 장치는, 상기 HMD 장치로부터 상기 음성인식결과를 수신하여 VR 영상에 포함된 복수의 오브젝트들 각각의 오브젝트 정보와 상기 음성인식결과를 비교하고, 상기 음성인식결과와 대응하는 오브젝트를 강조하여 표시할 수 있다.
또한, 전술한 목적을 달성하기 위하여, 본 발명은 가상현실(VR) 영상을 사용자에게 표시하는 HMD 장치와, 2차원 영상을 상기 VR 영상으로 변환하여 상기 HMD 장치에 제공하는 제어 장치를 이용한 발달장애인의 언어 훈련을 위한 가상현실 교육 방법에 있어서, 상기 HMD 장치가 사용자의 음성을 감지하여 음성인식결과를 생성하는 단계와, 상기 HMD 장치가, 상기 사용자에게 표시되는 VR 영상에 포함된 오브젝트들 중 상기 음성인식결과에 대응하는 오브젝트를 선별하는 단계와, 상기 HMD 장치가, 선별된 오브젝트를 상기 사용자에게 집중시키기 위해 상기 오브젝트를 강조하여 표시하는 단계와, 상기 HMD 장치가, 상기 사용자의 중심 시점의 위치 좌표를 판단하는 단계와, 상기 HMD 장치가, 상기 사용자의 중심 시점의 위치 좌표가 기 설정된 시간 동안 상기 선별된 오브젝트가 배치된 영역에 위치한 경우 교육 완료 메시지를 표시 화면상에 표시하는 단계를 포함하는 발달장애인의 언어 훈련을 위한 가상현실 교육 방법을 제공한다.
실시 예에 따라, 상기 발달장애인의 언어 훈련을 위한 가상현실 교육 방법은, 상기 제어 장치가, 상기 HMD 장치로부터 상기 중심 시점의 위치 좌표를 수신하는 단계와, 상기 제어 장치가, 상기 중심 시점의 위치 좌표를 기초로 상기 HMD 장치가 표시하는 시점의 VR 영상과 동일한 VR 영상을 표시하는 단계를 더 포함할 수 있다.
실시 예에 따라, 상기 발달장애인의 언어 훈련을 위한 가상현실 교육 방법은, 상기 제어 장치가, 상기 HMD 장치로부터 상기 음성인식결과를 수신하는 단계와, 상기 제어 장치가, 상기 VR 영상에 포함된 오브젝트들 중 상기 음성인식결과에 대응하는 오브젝트를 선별하는 단계와, 상기 제어 장치가, 선별된 오브젝트를 상기 오브젝트를 강조하여 표시하는 단계를 더 포함할 수 있다.
실시 예에 따라, 상기 제어 장치가, 상기 HMD 장치로부터 교육 완료 신호를 수신하여 상기 교육 완료 메시지를 표시하는 단계를 더 포함할 수 있다.
본 발명의 발달장애인의 언어 훈련을 위한 가상현실 교육 시스템 및 방법에 따르면, 사용자의 음성을 감지하여 해당 사용자가 VR 영상 내의 어떤 오브젝트를 인지하려고 하는지를 판단할 수 있으며, 음성인식결과에 대응하는 오브젝트를 강조하여 표시함으로써 사용자의 오브젝트 인식을 도울 수 있다.
또한, 본 발명의 발달장애인의 언어 훈련을 위한 가상현실 교육 시스템 및 방법에 따르면, 사용자의 중심 시점의 위치 좌표를 판단함으로써 사용자가 오브젝트를 효과적으로 인식하고 있는지를 정확하게 판단할 수 있다.
도 1은 본 발명의 실시 예에 따른 발달장애인의 언어훈련을 위한 가상현실 교육 시스템의 개략적인 블록도이다.
도 2는 본 발명의 실시 예에 따른 HMD 장치의 개략적인 블록도이다.
도 3a와 도 3b는 본 발명의 실시 예에 따른 360°VR 영상을 설명하기 위한 도면이다.
도 4는 본 발명의 실시 예에 따른 발달장애인의 언어훈련을 위한 가상현실 교육 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 실시 예에 따른 발달장애인의 언어훈련을 위한 가상현실 교육 방법을 설명하기 위한 흐름도이다.
도 6은 본 발명의 다른 실시 예에 따른 발달장애인의 언어훈련을 위한 가상현실 교육 방법을 설명하기 위한 흐름도이다.
이하에서는 본 발명의 실시 예에 관하여 첨부도면을 참조하여 상세하게 설명하기로 한다. 다만, 이하에서 설명되는 실시 예는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 발명을 쉽게 실시할 수 있을 정도로 상세하게 설명하기 위한 것에 불과하며, 이로 인해 본 발명의 보호범위가 한정되는 것을 의미하지는 않는다. 그리고 본 발명의 여러 실시 예를 설명함에 있어서, 동일한 기술적 특징을 갖는 구성요소에 대하여는 동일한 도면부호를 사용하기로 한다.
도 1은 본 발명의 실시 예에 따른 발달장애인의 언어 훈련을 위한 가상현실 교육 시스템의 도면이고, 도 2는 본 발명의 실시 예에 따른 HMD 장치의 개략적인 블록도이다.
도 1과 도 2를 참조하면, 본 발명의 실시 예에 따른 발달장애인 언어 훈련을 위한 가상현실 교육 시스템(10)은 HMD(head mounted display) 장치(100)와 제어 장치(200)를 포함할 수 있다.
HMD 장치(100)는 웨어러블 표시장치, 예컨대 두부 장착형 표시 장치로 구현될 수 있으나, 이에 한정되는 것은 아니다. HMD 장치(100)는 프로세서(110), 표시부(120), 저장부(130), 센서부(140), 및 음성 감지부(150)를 포함할 수 있다.
프로세서(110)는 특정한 계산들 또는 태스크들을 수행할 수 있다. 예컨대, 프로세서(110)는 집적 회로(integrated circuit(IC)), 애플리케이션 프로세서(application processor(AP)), 모바일(mobile) AP를 제어할 수 있는 프로세서로 구현될 수 있으나 이에 한정되는 것은 아니다.
프로세서(110)는 사용자의 음성에 기초하여 표시부(120)의 표시 동작을 제어할 수 있다. 예컨대, 프로세서(110)는 사용자의 음성이 영상의 특정 영역에 포함된 오브젝트와 관련이 있는 경우, 해당 오브젝트를 강조하여 표시하도록 표시부(120)를 제어할 수 있다.
또한, 프로세서(110)는 센서부(140)에서 측정된 사용자의 동작 정보를 기초로 사용자가 VR 영상을 바라보는 중심 영역의 위치 좌표를 판단할 수 있다.
표시부(120)는 복수의 화소들을 포함하고, 입력된 영상 데이터를 이용하여 VR(virtual reality) 영상을 표시할 수 있다. 예컨대, 표시부(120)는 유기전계발광 표시 패널(Organic Light Emitting Display Panel), 액정 표시 패널(Liquid Crystal Display Panel), 플라즈마 표시 패널(Plasma Display Panel) 등으로 구현될 수 있으나, 이에 한정되는 것은 아니다.
저장부(130)는 제어 장치(200)로부터 제공된 VR 영상을 저장할 수 있다. 실시 예에 따라, 저장부(130)는 플래시(flash) 메모리 등과 같은 비휘발성 메모리 또는 DRAM(dynamic RAM) 등과 같은 휘발성 메모리로 구현될 수 있으나 이에 한정되는 것은 아니다.
센서부(140)는 사용자의 머리 움직임을 감지하는 센서, 예컨대 자이로 센서를 포함할 수 있다. 상기 자이로 센서는 사용자의 움직임에 따라 자이로 센서의 x축, y축, 및 z축의 동작 정보를 생성하여 프로세서(110)에 제공할 수 있다.
음성 감지부(150)는 HMD 장치(100) 주변에서 발생하는 사운드 중에서 사용자의 음성만을 추출하여 음성 데이터를 생성할 수 있으며, 상기 음성 데이터를 분석하여 사용자가 발화한 단어를 포함하는 음성인식결과를 프로세서(110)에 제공할 수 있다.
제어 장치(200)는 무선 또는 유선으로 데이터를 주거나 받을 수 있는 무선 통신 장치기, 이동 장치기, 및 컴퓨팅 장치를 의미할 수 있다.
예컨대, 제어 장치(200)는 서버, PC, 스마트폰(smart phone), 태블릿 (tablet) PC, 모바일 인터넷 장치(mobile internet device(MID)), 인터넷 태블릿, IoT(internet of things) 장치, IoE(internet of everything) 장치, 데스크 탑 컴퓨터(desktop computer), 랩탑(laptop) 컴퓨터, 워크스테이션 컴퓨터, 또는 PDA (personal digital assistant)를 의미할 수 있으나, 이에 한정되는 것은 아니다.
제어 장치(200)는 2차원 영상을 변환하여 360° VR 영상을 생성할 수 있고, 360° VR 영상을 HMD 장치(100)에 제공할 수 있다. 제어 장치(200)는 VR 영상을 복수의 영역들로 분할할 수 있고, 제어 장치(200)는 복수의 영역들 각각에 위치 좌표를 설정할 수 있다.
또한, 제어 장치(200)는 HMD 장치(100)와의 무선 통신을 통해 HMD 장치(100)에서 표시되는 VR 영상과 동일한 VR 영상을 표시할 수 있다. HMD 장치(100)를 착용한 사용자는 발달장애인과 같이 의사소통이 원활하지 않은 자일 수 있기 때문에 교육자의 지도에 응답하여 피드백을 적절하게 제공하지 못할 수 있다. 따라서, 제어 장치(200)의 사용자는 HMD 장치(100)에서 표시되는 VR 영상과 동일한 VR 영상을 시청함으로써, HMD 장치(100)의 사용자가 교육자의 지도에 적절하게 반응하는지 여부를 판단할 수 있다.
제어 장치(200)는 HMD 장치(100)의 사용자 움직임에 따른 시점 변화를 반영하여 표시되는 VR 영상의 시점을 변화시킬 수 있기 때문에, 교육자는 제어 장치(200)에서 표시되는 VR 영상을 확인하여 HMD 장치(100)의 사용자의 시점변화 추이를 관찰할 수 있다.
이를 위해, 제어 장치(200)는 HMD 장치(100)로부터 사용자의 현재 중심 시점, 즉 사용자가 바라보고 있는 중심 영역의 위치 좌표를 실시간으로 제공받을 수 있다. 제어 장치(200)는 중심 영역의 위치 좌표를 기초로 사용자가 바라보고 있는 중심 영역이 제어 장치(200)가 표시하는 화면 중심에 위치하도록 제어 장치(200)에서 표시되는 VR 영상을 제어할 수 있다.
도 3a와 도 3b는 본 발명의 실시 예에 따른 360°VR 영상을 설명하기 위한 도면이다.
도 3a를 참조하면, 제어 장치(200)는 2차원 영상을 이용하여 구 형태의 360° VR 영상을 생성할 수 있다. 제어 장치(200)는 360° VR 영상을 복수의 영역(AR)들로 분할한 후, 각각의 영역(AR)에 위치 좌표를 설정할 수 있다. 이때, 영역(AR)들 각각의 크기는 관리자의 설정에 따라 다양하게 변경될 수 있다.
도 3b를 참조하면, HMD 장치(100)의 사용자는 360° 전방위에서 표시되는 VR 영상을 시청할 수 있다. HMD 장치(100)는 자이로 센서에서 측정된 정보를 이용하여 사용자가 어느 영역을 바라보고 있는지, 즉 중심 영역(ARM)을 판단할 수 있다.
사용자의 움직임에 따라 자이로 센서의 x축, y축, 및 z축의 정보는 변경될 수 있으며, HMD 장치(100)는 변경된 x축, y축, 및 z축의 정보를 기초로 사용자가 바라보는 VR 영상의 중심 영역(ARM)을 판단할 수 있다. 그리고 HMD 장치(100)는 중심 영역(ARM)의 위치 좌표를 제어 장치(200)에 제공할 수 있다.
도 4는 본 발명의 실시 예에 따른 발달장애인의 언어훈련을 위한 가상현실 교육 방법을 설명하기 위한 도면이다.
도 4를 참조하면, HMD 장치(100)는 제어장치로부터 VR 영상(IM)을 제공받거나 저장부(130)에 저장된 VR 영상(IM)을 재생하여 표시부(120)에 표시할 수 있다. VR 영상(IM)에는 사용자의 언어 교육을 위한 복수의 오브젝트들이 포함될 수 있다.
VR 영상은 360° 전방위에 대한 표시 화면을 포함하고 있다. HMD 장치(100)에서 VR 영상은 가상현실을 제공하는 것으로서, 실제와 마찬가지로 전방위에 배치된 영상을 동시에 시청할 수는 없다. HMD 장치(100)의 사용자가 시청할 수 있는 영역은 사용자의 안구의 전방에 위치한 영역들이며, 사용자의 움직임에 따라 표시 영역은 변경될 수 있다. 각 표시 영역에는 오브젝트들이 배치될 수 있으며, 표시 화면이 변경되게 되면 인지할 수 있는 오브젝트들의 배치도 변경되게 된다.
예컨대, HMD 장치(100)의 중심 시점이 제1 중심 영역(ARM)을 바라보게 되면 표시 화면상에는 제1 내지 제3 오브젝트들(OB1 내지 OB3)이 표시될 수 있지만, 사용자의 중심 시점이 제1 중심 영역(ARM)이 아닌 다른 영역을 바라보게 되면 표시 화면이 변경되게 되어 오브젝트들의 배치도 달라지게 된다.
HMD 장치(100)는 오브젝트들 각각의 위치를 구분하기 위해, 오브젝트가 포함된 영역의 위치 좌표를 오브젝트 정보에 저장할 수 있다. 예컨대, 제1 오브젝트(OB1)에 대한 제1 오브젝트 정보는 제1 영역들(ARG1)의 위치 좌표를 포함할 수 있고, 제2 오브젝트(OB2)에 대한 제2 오브젝트 정보는 제2 영역들(ARG2)의 위치 좌표를 포함할 수 있고, 제3 오브젝트(OB3)에 대한 제3 오브젝트 정보는 제3 영역들(ARG3)의 위치 좌표를 포함할 수 있다.
한편, 제어 장치(200)는 HMD 장치(100)로부터 실시간으로 또는 기설정 주기마다 제공된 제 중심 영역(ARM)의 위치 좌표를 수신받아 HMD 장치(100)에서 표시되는 VR 영상(IM)과 동일한 시점의 VR 영상을 표시할 수 있다. 제어 장치(200)의 사용자는 HMD 장치(100)의 사용자와 동일한 화면을 시청함으로써 HMD 장치(100)의 사용자가 언어 훈련을 정상적으로 수행하고 있는지를 판단할 수 있다.
예컨대, HMD 장치(100)의 중심 시점이 제1 중심 영역(ARM)을 바라보고 있는 경우, HMD 장치(100)는 제1 중심 영역(ARM)의 위치 좌표(PC)를 제어 장치(200)에 제공할 수 있다. 그리고 제어 장치(200)는 위치 좌표(PC)를 기초로 제1 중심 영역(ARM)이 표시 화면의 정중앙에 위치하도록 VR 영상(IM)을 표시할 수 있다.
HMD 장치(100)는 사용자의 음성을 인식하고, 해당 음성에 대응하는 영상을 강조하여 표시할 수 있다. HMD 장치(100)의 사용자는 언어 사용이 미숙한 발달장애를 가진자이기 때문에, HMD 장치(100)는 이러한 사용자를 위해 사물을 구분하는 훈련과 함께 언어 발달을 촉진하는 훈련을 제공할 수 있다.
먼저, HMD 장치(100)는 사용자의 음성을 감지하여 음성을 분석할 수 있다. 언어 사용이 미숙한 자들의 발음은 부정확할 수 있기 때문에, HMD 장치(100)의 음성 감지부(150)는 HMM(Hidden Markov Model) 알고리즘 등의 음성인식 알고리즘을 이용하여 인식 대상 후보 단어와 감지된 단어를 비교하여 가장 유력한 후보 단어를 음성인식결과로 결정할 수 있다. 그리고 HMD 장치(100)는 결정된 음성인식결과를 제어 장치(200)에 제공할 수 있다.
HMD 장치(100)는 음성인식결과와 대응하는 오브젝트를 선별하여, 해당 오브젝트를 화면상에서 강조하여 표시할 수 있다.
구체적으로, HMD 장치(100)는 음성인식결과에 포함된 정보와 대응하는 오브젝트 정보를 비교하여 오브젝트들 중 음성인식결과에 대응하는 오브젝트를 선별할 수 있다.
예컨대, 음성인식결과에 '거울'이라는 텍스트 정보가 포함된 경우, HMD 장치(100)는 표시 화면상에 배치된 제1 내지 제3 오브젝트 정보들(OB1 내지 OB3)에 '거울'과 대응하는 정보가 포함되어 있는지 판단할 수 있다. 만약, 제1 오브젝트 정보에 '거울'에 관련된 정보가 포함되어 있는 경우, HMD 장치(100)는 제1 오브젝트(OB1)를 음성인식결과와 대응하는 것으로 판단할 수 있다.
HMD 장치(100)는 선별된 오브젝트가 위치한 영역의 위치 좌표를 기초로 해당 영역의 오브젝트를 다른 영역의 오브젝트보다 강조하여 표시할 수 있다.
실시 예에 따라, HMD 장치(100)는 음성인식결과와 대응하는 오브젝트의 외곽선을 하이라이트 표시할 수 있다.
예컨대, 제1 오브젝트(OB1)가 음성인식결과와 대응하는 것으로 판단된 경우, HMD 장치(100)는 제1 오브젝트(OB1)인 '거울 이미지'의 외곽선을 밝은 휘도로 강조하여 표시할 수 있다.
다른 실시 예에 따라, HMD 장치(100)는 음성인식결과와 대응하는 오브젝트가 포함된 영역의 휘도를 다른 영역의 휘도보다 증가시켜서 높은 휘도로 표시된 오브젝트를 사용자에게 집중시킬 수 있다.
예컨대, 제1 오브젝트(OB1)가 음성인식결과와 대응하는 것으로 판단된 경우, HMD 장치(100)는 제1 오브젝트(OB1)가 포함된 제1 영역들(ARG1)의 휘도만을 증가시키고, 나머지 영역들의 휘도를 유지하여 제1 영역들(ARG1)에 포함된 제1 오브젝트(OB1)를 강조할 수 있다.
또 다른 실시 예에 따라, HMD 장치(100)는 음성인식결과와 대응하는 오브젝트가 포함된 영역 이외의 영역의 휘도를 감소시켜서 높은 휘도로 표시된 오브젝트를 사용자에게 집중시킬 수 있다.
예컨대, 제1 오브젝트(OB1)가 음성인식결과와 대응하는 것으로 판단된 경우, HMD 장치(100)는 제1 오브젝트(OB1)가 포함된 제1 영역들(ARG1) 이외의 영역들의 휘도를 감소시키고, 제1 영역들(ARG1)의 휘도를 유지하여 제1 영역들(ARG1)에 포함된 제1 오브젝트(OB1)를 강조할 수 있다.
이후, 사용자의 중심 시점의 위치 좌표가 기 설정된 시간 동안 선별된 오브젝트가 배치된 영역에 위치한 경우, HMD 장치(100)는 교육 완료 메시지를 표시화면 상에 표시하거나 교육 완료 음성을 외부에 송출할 수 있다.
예컨대, 사용자의 중심 시점의 위치 좌표가 제1 오브젝트(OB1)가 배치된 제1 영역들(ARG1) 상에 3초 이상 위치한 경우, HMD 장치(100)는 교육 완료 메시지를 표시화면상에 표시하거나 교육 완료 음성을 외부에 송출하여 교육과정을 종료할 수 있다.
한편, 제어 장치(200)는 HMD 장치(100)로부터 음성인식결과를 수신하여 HMD 장치(100)가 강조하여 표시하는 오브젝트를 동일하게 강조하여 표시할 수 있다.
예컨대, 제어 장치(200)가 HMD 장치(100)로부터 수신한 음성인식결과에 '거울'이라는 텍스트 정보가 포함된 경우, 제어 장치(200)는 표시 화면상에 배치된 제1 내지 제3 오브젝트 정보들(OB1 내지 OB3)에 '거울'과 대응하는 정보가 포함되어 있는지 판단할 수 있다. 그리고 제1 오브젝트(OB1)에 '거울'에 관련된 정보가 포함되어 있는 경우, 제어 장치(200)는 제1 오브젝트(OB1)를 음성인식결과와 대응하는 것으로 판단하여 제1 오브젝트(OB1)를 제2 및 제3 오브젝트들(OB2 및 OB3)보다 강조하여 표시할 수 있다.
이와 같이, 본 발명의 실시 예에 따른 발달장애인 언어 훈련을 위한 가상현실 교육 시스템은 HMD 장치(100)의 사용자의 언어 사용과 사물 인지 능력을 강화시키기 위해 사용자의 음성을 감지하여 음성과 대응하는 오브젝트를 사용자에게 집중적으로 인지시킬 수 있다.
도 5는 본 발명의 실시 예에 따른 발달장애인의 언어훈련을 위한 가상현실 교육 방법을 설명하기 위한 흐름도이다.
도 5를 참조하면, HMD 장치(100)는 사용자의 음성을 감지하여 음성인식결과를 생성할 수 있다(S100).
그리고 HMD 장치(100)는 사용자에게 표시되는 VR 영상(IM)에 포함된 오브젝트들 중 음성인식결과에 대응하는 오브젝트를 선별할 수 있다(S110).
그리고 HMD 장치(100)는 선별된 오브젝트를 사용자에게 집중시키기 위해 오브젝트를 강조하여 표시할 수 있다(S120).
그리고 HMD 장치(100)는 사용자의 중심 시점의 위치 좌표(PC)를 판단할 수 있다(S130).
그리고 사용자의 중심 시점의 위치 좌표(PC)가 기 설정된 시간 동안 선별된 오브젝트가 배치된 영역에 위치한 경우, HMD 장치(100)는 교육 완료 메시지를 표시 화면상에 표시하여 언어 교육을 종료할 수 있다(S140).
도 6은 본 발명의 다른 실시 예에 따른 발달장애인의 언어훈련을 위한 가상현실 교육 방법을 설명하기 위한 흐름도이다.
도 6을 참조하면, 제어 장치(200)는 HMD 장치(100)로부터 중심 시점의 위치 좌표(PC)를 수신할 수 있다(S200).
그리고 제어 장치(200)는 중심 시점의 위치 좌표(PC)를 기초로 HMD 장치(100)가 표시하는 시점의 VR 영상(IM)과 동일한 VR 영상을 표시할 수 있다(S210).
그리고 제어 장치(200)는 HMD 장치(100)로부터 음성인식결과를 수신할 수 있다(S220).
그리고 제어 장치(200)는 VR 영상에 포함된 오브젝트들 중 음성인식결과에 대응하는 오브젝트를 선별할 수 있다(S230).
그리고 제어 장치(200)는 선별된 오브젝트를 오브젝트를 강조하여 표시할 수 있다(S240).
그리고 제어 장치(200)는 HMD 장치(100)로부터 교육 완료 신호를 수신하여 상기 교육 완료 메시지를 표시할 수 있다(S250).
이상에서 본 발명의 실시 예에 관하여 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 특허청구범위를 벗어남이 없이 다양하게 변형 실시할 수 있을 것으로 이해된다.
100: HMD 장치
110: 프로세서
120: 표시부
130: 저장부
140: 센서부
150: 음성 감지부
200: 제어 장치

Claims (13)

  1. 2차원 영상을 360° 가상현실(VR) 영상으로 변환하고, 상기 VR 영상을 복수의 영역들로 분할하며, 분할된 각각의 영역에 위치 좌표를 설정하는 제어 장치; 및
    상기 제어 장치로부터 상기 VR 영상을 제공받아 표시하고, 사용자의 음성을 감지하여 음성인식결과에 대응하여 상기 VR 영상의 표시를 변경하는 HMD 장치를 포함하는 발달장애인의 언어 훈련을 위한 가상현실 교육 시스템.
  2. 제1항에 있어서,
    상기 HMD 장치는, 상기 VR 영상을 표시하는 표시부와, 상기 사용자의 머리 움직임을 감지하여 동작 정보를 생성하는 센서부와, 상기 사용자의 음성을 감지하여 음성인식결과를 생성하는 음성 감지부와, 상기 동작 정보를 기초로 상기 사용자가 바라보는 중심 영역의 위치 좌표를 판단하고 상기 음성인식결과에 대응하여 상기 표시부의 영상 표시를 제어하는 프로세서를 포함하는 발달장애인의 언어 훈련을 위한 가상현실 교육 시스템.
  3. 제2항에 있어서,
    상기 제어 장치는, 상기 HMD 장치로부터 상기 중심 영역의 위치 좌표를 수신하고, 상기 중심 영역의 위치 좌표를 기초로 상기 HMD 장치와 동일한 시점의 VR 영상을 표시하는 가상현실 교육 시스템.
  4. 제2항에 있어서,
    상기 프로세서는 VR 영상에 포함된 복수의 오브젝트들 각각의 오브젝트 정보와 상기 음성인식결과를 비교하고, 상기 음성인식결과와 대응하는 오브젝트가 강조되어 표시되도록 상기 표시부를 제어하는 발달장애인의 언어 훈련을 위한 가상현실 교육 시스템.
  5. 제4항에 있어서,
    상기 프로세서는, 상기 음성인식결과와 대응하는 오브젝트의 외곽선이 밝은 휘도로 강조되어 표시되도록 상기 표시부를 제어하는 발달장애인의 언어 훈련을 위한 가상현실 교육 시스템.
  6. 제4항에 있어서,
    상기 프로세서는, 상기 음성인식결과와 대응하는 오브젝트를 포함한 영역의 휘도가 다른 영역의 휘도보다 증가되어 표시되도록 상기 표시부를 제어하는 발달장애인의 언어 훈련을 위한 가상현실 교육 시스템.
  7. 제4항에 있어서,
    상기 프로세서는, 상기 음성인식결과와 대응하는 오브젝트를 포함된 영역 이외의 영역의 휘도가 감소되어 표시되도록 상기 표시부를 제어하는 발달장애인의 언어 훈련을 위한 가상현실 교육 시스템.
  8. 제4항에 있어서,
    상기 오브젝트 정보는 오브젝트의 위치 좌표와 오브젝트를 지시하는 텍스트 정보를 포함하고, 상기 오브젝트 정보는 상기 제어 장치에 의해 생성되는 발달장애인의 언어 훈련을 위한 가상현실 교육 시스템.
  9. 제2항에 있어서,
    상기 제어 장치는, 상기 HMD 장치로부터 상기 음성인식결과를 수신하여 VR 영상에 포함된 복수의 오브젝트들 각각의 오브젝트 정보와 상기 음성인식결과를 비교하고, 상기 음성인식결과와 대응하는 오브젝트를 강조하여 표시하는 발달장애인의 언어 훈련을 위한 가상현실 교육 시스템.
  10. 가상현실(VR) 영상을 사용자에게 표시하는 HMD 장치와, 2차원 영상을 상기 VR 영상으로 변환하여 상기 HMD 장치에 제공하는 제어 장치를 이용한 발달장애인의 언어 훈련을 위한 가상현실 교육 방법에 있어서,
    상기 HMD 장치가 사용자의 음성을 감지하여 음성인식결과를 생성하는 단계;
    상기 HMD 장치가, 상기 사용자에게 표시되는 VR 영상에 포함된 오브젝트들 중 상기 음성인식결과에 대응하는 오브젝트를 선별하는 단계;
    상기 HMD 장치가, 선별된 오브젝트를 상기 사용자에게 집중시키기 위해 상기 오브젝트를 강조하여 표시하는 단계;
    상기 HMD 장치가, 상기 사용자의 중심 시점의 위치 좌표를 판단하는 단계; 및
    상기 HMD 장치가, 상기 사용자의 중심 시점의 위치 좌표가 기 설정된 시간 동안 상기 선별된 오브젝트가 배치된 영역에 위치한 경우 교육 완료 메시지를 표시 화면상에 표시하는 단계를 포함하는 발달장애인의 언어 훈련을 위한 가상현실 교육 방법.
  11. 제10항에 있어서,
    상기 제어 장치가, 상기 HMD 장치로부터 상기 중심 시점의 위치 좌표를 수신하는 단계와, 상기 제어 장치가, 상기 중심 시점의 위치 좌표를 기초로 상기 HMD 장치가 표시하는 시점의 VR 영상과 동일한 VR 영상을 표시하는 단계를 더 포함하는 발달장애인의 언어 훈련을 위한 가상현실 교육 방법.
  12. 제11항에 있어서,
    상기 제어 장치가, 상기 HMD 장치로부터 상기 음성인식결과를 수신하는 단계와, 상기 제어 장치가, 상기 VR 영상에 포함된 오브젝트들 중 상기 음성인식결과에 대응하는 오브젝트를 선별하는 단계와, 상기 제어 장치가, 선별된 오브젝트를 상기 오브젝트를 강조하여 표시하는 단계를 더 포함하는 발달장애인의 언어 훈련을 위한 가상현실 교육 방법.
  13. 제12항에 있어서,
    상기 제어 장치가, 상기 HMD 장치로부터 교육 완료 신호를 수신하여 상기 교육 완료 메시지를 표시하는 단계를 더 포함하는 발달장애인의 언어 훈련을 위한 가상현실 교육 방법.
KR1020180169239A 2018-12-26 2018-12-26 발달장애인의 언어 훈련을 위한 가상현실 교육 시스템 및 방법 Ceased KR20200079748A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180169239A KR20200079748A (ko) 2018-12-26 2018-12-26 발달장애인의 언어 훈련을 위한 가상현실 교육 시스템 및 방법
KR1020200147532A KR102330218B1 (ko) 2018-12-26 2020-11-06 발달장애인의 언어 훈련을 위한 가상현실 교육 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180169239A KR20200079748A (ko) 2018-12-26 2018-12-26 발달장애인의 언어 훈련을 위한 가상현실 교육 시스템 및 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020200147532A Division KR102330218B1 (ko) 2018-12-26 2020-11-06 발달장애인의 언어 훈련을 위한 가상현실 교육 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20200079748A true KR20200079748A (ko) 2020-07-06

Family

ID=71571507

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180169239A Ceased KR20200079748A (ko) 2018-12-26 2018-12-26 발달장애인의 언어 훈련을 위한 가상현실 교육 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR20200079748A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111882543A (zh) * 2020-07-29 2020-11-03 南通大学 一种基于AA R2Unet和HMM的香烟滤棒计数方法
KR20230028700A (ko) 2021-08-22 2023-03-02 주식회사 비추다 유물 체험관

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111882543A (zh) * 2020-07-29 2020-11-03 南通大学 一种基于AA R2Unet和HMM的香烟滤棒计数方法
CN111882543B (zh) * 2020-07-29 2023-12-26 南通大学 一种基于AA R2Unet和HMM的香烟滤棒计数方法
KR20230028700A (ko) 2021-08-22 2023-03-02 주식회사 비추다 유물 체험관

Similar Documents

Publication Publication Date Title
US11403757B2 (en) Sight line detection method and sight line detection device
JP7339386B2 (ja) 視線追跡方法、視線追跡装置、端末デバイス、コンピュータ可読記憶媒体及びコンピュータプログラム
US6345111B1 (en) Multi-modal interface apparatus and method
US11087538B2 (en) Presentation of augmented reality images at display locations that do not obstruct user's view
KR102257181B1 (ko) 감각 안경류
CN112634459A (zh) 解析关于模拟现实布景的自然语言歧义
US10788902B2 (en) Information processing device and information processing method
WO2021046065A1 (en) Intelligent stylus beam and assisted probabilistic input to element mapping in 2d and 3d graphical use interfaces
CN109313812A (zh) 具有上下文增强的共享体验
CN109219955A (zh) 视频按入
KR102330218B1 (ko) 발달장애인의 언어 훈련을 위한 가상현실 교육 시스템 및 방법
KR102923824B1 (ko) 전자 장치 및 그의 제어 방법
US10488918B2 (en) Analysis of user interface interactions within a virtual reality environment
JP2018005663A (ja) 情報処理装置、表示システム、プログラム
US20200125398A1 (en) Information processing apparatus, method for processing information, and program
US20240050831A1 (en) Instructor avatars for augmented reality experiences
CN114296627A (zh) 内容显示方法、装置、设备及存储介质
JP2006350705A (ja) 情報提供装置および方法並びにプログラム
US20240353921A1 (en) Graphical user interface-based eye tracking calibration
CN113409770B (zh) 发音特征处理方法、装置、服务器及介质
JP2009194697A (ja) 指示システム、指示プログラム及び指示装置
US20210217412A1 (en) Information processing apparatus, information processing system, information processing method, and program
CN119856141A (zh) 基于注视的命令消歧
CN116956943A (zh) 基于翻译场景的词对齐方法、装置、设备及介质
JP2018005660A (ja) 情報処理装置、プログラム、位置情報作成方法、情報処理システム

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

E601 Decision to refuse application
PE0601 Decision on rejection of patent

St.27 status event code: N-2-6-B10-B15-exm-PE0601

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E601 Decision to refuse application
E801 Decision on dismissal of amendment
PE0601 Decision on rejection of patent

St.27 status event code: N-2-6-B10-B15-exm-PE0601

PE0801 Dismissal of amendment

St.27 status event code: A-2-2-P10-P12-nap-PE0801

A107 Divisional application of patent
PA0107 Divisional application

St.27 status event code: A-0-1-A10-A18-div-PA0107

St.27 status event code: A-0-1-A10-A16-div-PA0107

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

R11 Change to the name of applicant or owner or transfer of ownership requested

Free format text: ST27 STATUS EVENT CODE: A-3-3-R10-R11-ASN-PN2301 (AS PROVIDED BY THE NATIONAL OFFICE)

R13 Change to the name of applicant or owner recorded

Free format text: ST27 STATUS EVENT CODE: A-3-3-R10-R13-ASN-PN2301 (AS PROVIDED BY THE NATIONAL OFFICE)