WO2010143872A2 - 모션캡쳐와 3차원 그래픽을 이용한 동작 학습 시스템 및 그 방법 - Google Patents

모션캡쳐와 3차원 그래픽을 이용한 동작 학습 시스템 및 그 방법 Download PDF

Info

Publication number
WO2010143872A2
WO2010143872A2 PCT/KR2010/003676 KR2010003676W WO2010143872A2 WO 2010143872 A2 WO2010143872 A2 WO 2010143872A2 KR 2010003676 W KR2010003676 W KR 2010003676W WO 2010143872 A2 WO2010143872 A2 WO 2010143872A2
Authority
WO
WIPO (PCT)
Prior art keywords
motion
image information
graphic
virtual character
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2010/003676
Other languages
English (en)
French (fr)
Other versions
WO2010143872A3 (ko
Inventor
고영준
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of WO2010143872A2 publication Critical patent/WO2010143872A2/ko
Publication of WO2010143872A3 publication Critical patent/WO2010143872A3/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—Three-dimensional [3D] animation
    • G06T13/40—Three-dimensional [3D] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/0015—Dancing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen

Definitions

  • the present invention relates to a motion learning system for observing motion image information of a body generated at one or more viewpoints and motion image information of a foot generated at one viewpoint using motion capture and three-dimensional graphic technology. will be.
  • step information to help the understanding and learning of the motion is provided in a simple manner of transmitting a plane image indicating the position of the foot through the dance textbook, as shown in Figure 2, it was difficult to deliver accurate information with low understanding.
  • the user is primarily provided with image information of a short time point so that the user can learn according to the motion.
  • image information of a short time point so that the user can learn according to the motion.
  • this method it is possible to accurately observe the motion of a person in a three-dimensional space. It lacks the ability to continuously visualize information about the exact movements of the foot, particularly important in motion learning.
  • the present invention by applying the three-dimensional motion information obtained through the motion capture to the virtual character to render 'three-dimensional graphics motion image information' from one or more viewpoints and at the same time 'three-dimensional graphics step image information' Because it renders and outputs, it is faster and more accurate to understand motions than existing systems that deliver images at a single point of view, so that difficult motions can be learned more effectively. For example, in the case of dance, the movement of the foot is continuously observed through '3D graphic step image information' while the speed, direction and position are continuously observed. Since this process can be confirmed in real time, it is possible to identify and learn complex dance movements accurately and effectively in a shorter time.
  • '3D graphic step image information' of the present invention refers to a 3D graphic image using a motion capture that can continuously check the area corresponding to the foot or the sole that was not represented by the existing image information, and the existing media Unlike other parts of the body, which are not visible because they are not covered by other parts of the body, it is effective for the delivery of visual information about the movement of a person's foot, and the user can view the 3D graphic motion image information at the same time. By understanding the movement of the foot, you can be provided with a motion learning environment that can check the motion of the body.
  • '3D graphic motion image information' of the present invention refers to a 3D graphic image rendered from one or more 3D cameras facing a virtual character to which predetermined 3D motion data is applied, and the 3D graphic motion image information is a 3D camera.
  • the 3D graphic motion image information is a 3D camera.
  • the image recorded at one viewpoint should turn the head to the display direction in order to see the motion image.
  • the motion image of the corresponding viewpoint is displayed on a plurality of displays during the rotation. This real-time output is very quick and effective to confirm the operation of the case.
  • the user can confirm the motion of the virtual character at the appropriate time and the position and direction of the foot accurately, so that the human motion can be accurately understood and followed.
  • the motion can be effectively followed only by '3D graphic step image information' using motion capture, and the operation of considerable difficulty is possible even when outputting a sufficient number of '3D graphic motion image information' to multiple displays. To learn for yourself.
  • the 3D graphic character is output in real time, the effect is greater when the desired part is repeatedly checked and learned using the remote controller.
  • FIG. 1 is a block diagram illustrating a motion learning system according to the spirit of the present invention.
  • the present invention relates to a motion learning system using motion capture and 3D graphics and a method of implementing the same.
  • An operation database unit 102 stores 3D motion data generated by motion capturing a predetermined human motion.
  • a sound source database unit 101 for storing a sound source corresponding to the motion data
  • an motion information database unit 103 for storing data describing the motion data, and one installed toward the virtual character to which the 3D motion data is applied.
  • the motion image information rendering unit 111 generating one or more motion images from the 3D graphics camera, the 3D motion data, or a part corresponding to the foot of the cyber character to which the 3D motion data is applied, is not covered by other body parts.
  • the image display unit 140 for simultaneously outputting the images transmitted from the rendering unit through one or more display devices, the reproduction, stop, repeat, interval repeat, speed control, screen of the plurality of rendering units and the sound source playback unit It is configured to include a remote control unit 130 to control the remote control at the same time.
  • the existing step information used in the dance book as shown in FIG. 2 is utilized to make a three-dimensional graphic step image information by applying motion capture and three-dimensional graphics technology.
  • This type of step information cannot convey the feeling of operation because there is no information about the position or direction of successive step. Therefore, in order to utilize the existing step information, the present invention uses the rendered 3D step image information by applying real-time motion capture and 3D graphic technology to the virtual character as shown in FIG. 3.
  • the 3D step image information can accurately transmit the movement of the foot because the image of the foot or the sole portion is continuously displayed using a virtual character applied with motion capture and 3D graphics.
  • 3D graphic motion image information 601 rendered at one viewpoint and 3D graphic step image information rendered from a camera facing the bottom surface 602. ) Can be confirmed through one display apparatus 600.
  • the three-dimensional graphic motion image information 601 rendered at one viewpoint and the three-dimensional graphic step image information 611 rendered from the camera facing the bottom surface may be confirmed through the two display apparatuses 600 and 610.
  • the three-dimensional graphic motion image information 601 and 701 rendered at two viewpoints can be checked simultaneously through the two display devices 600 and 700, and the three-dimensional graphic step image information 611 rendered from the camera facing the bottom surface is one.
  • the display device 610 can be checked at the same time.
  • the user can understand and learn the motion of a complex person by understanding the motion of a person through the three-dimensional graphic step image while at the same time understanding the motion of the person through a separate three-dimensional graphic step image.
  • the operation may be repeatedly observed through a plurality of image information through a remote control device.
  • the left foot and the right foot of the 3D graphic step image information can be identified by color, shape, symbol, etc., and when the foot touches the floor, the color or brightness of the touched part is changed, and the contact duration time is reached. By identifying the, the user can effectively understand and learn the foot motion through the 3D graphic step image.
  • the present invention can be configured on-offline, it is preferable to provide a motion capture data of the expert to provide offline or service as content on-line. In addition, it is desirable to have a remote control and the like on-line and off-line so that the user can freely search for a desired operation.
  • the present invention is transmitted through a three-dimensional image, at least one display is required.
  • the system of the present invention provides a method of training a movement of ballet, dance, gymnastics, etc. through online and offline without incurring a high cost by pioneering a new area in the educational contents market.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Human Computer Interaction (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 모션캡쳐와 3차원 그래픽을 사용한 동작 학습 시스템과 그 구현방법에 관한 것이다. 본 발명에 따르면, 모션캡쳐와 3차원 그래픽을 적용한 가상 캐릭터를 사용하여 하나 이상의 3차원 그래픽 카메라로 부터 동시에 렌더링되는 '3차원 그래픽 동작 영상 정보'와 바닥면을 향하는 3차원 그래픽 카메라로 부터 렌더링 되는 '3차원 그래픽 스텝 영상 정보'를 디스플레이 장치를 통해 동시에 출력함으로써, 사람의 동작을 정확하고 쉽게 습득할 수 있는 동작 학습 시스템을 제공할 수 있다. 본 발명에 따르면 학습자가 가상 캐릭터의 동작을 하나 이상의 시점(視點)에서 확인함과 동시에 발의 위치와 방향, 이동속도를 정확하게 확인할 수 있으므로 사람의 동작을 정확히 이해하고 따라할 수 있게 된다. 또한 모션캡쳐를 이용한 3차원 그래픽 가상 캐릭터를 사용하기 때문에 리모컨을 이용하여 원하는 부분에 대한 정확한 동작을 반복적으로 학습하는것이 가능하다.

Description

모션캡쳐와 3차원 그래픽을 이용한 동작 학습 시스템 및 그 방법
본 발명은 모션캡쳐와 3차원 그래픽기술을 사용하여 하나 이상의 시점(視點)에서 생성된 신체의 동작 영상 정보와 하나의 시점에서 생성된 발의 동작 영상 정보를 동시에 관찰할 수 있게 하는 동작 학습 시스템에 관한 것이다.
영상 정보를 이용한 종래의 동작 학습 시스템은 동작 숙련자의 동작을 녹화한 동영상이나 모션캡쳐 기술을 통해 구현한 가상 캐릭터의 동작을 하나의 화면상에 표시하고, 사용자가 이를 따라서 몸을 움직임으로써 동작을 학습하는 방식이었다.
특히, 동작의 이해 및 학습에 도움을 주는 스텝 정보는 도 2와 같이 발의 위치를 나타내는 평면 이미지를 댄스 교본등을 통하여 전달하는 단순한 방식으로 제공되어 이해도가 낮고 정확한 정보의 전달이 힘들었다.
종래 기술에 의한 동작 교육 매체 및 프로그램에 있어서는 주로 단시점(單視點)의 영상 정보를 제공하여 사용자가 동작을 따라 배우도록 하였으나, 이러한 방법으로는 3차원 공간에서 이루어지는 사람의 동작을 정확히 관찰할 수 없고, 특히 동작 학습에 있어서 중요한 발의 정확한 움직임에 대한 정보를 연속적으로 시각화하는 기능은 구비되어 있지 않았다.
본 발명에 따르면, 모션캡쳐를 통해 획득된 3차원 동작정보를 가상 캐릭터에 적용하여 하나 이상의 시점(視點)으로 부터 '3차원 그래픽 동작 영상 정보'를 렌더링하고 동시에 '3차원 그래픽 스텝 영상 정보'를 렌더링하여 출력하기 때문에 하나의 시점(視點)으로 영상을 전달하는 기존의 시스템에 비해 동작의 이해가 빠르고 정확하므로 어려운 동작을 보다 효과적으로 학습할 수 있게 된다. 예를 들어 무용의 경우, 발의 움직임을 '3차원 그래픽 스텝 영상 정보'를 통해 그 빠르기와 방향, 위치등을 연속적으로 관찰하면서 동시에 '3차원 그래픽 동작 영상 정보'를 통해 스텝에 따른 몸의 동작을 실시간으로 확인할 수 있으므로 이러한 과정을 반복함으로써 복잡한 무용동작을 보다 짧은 시간에 정확하고 효과적으로 파악하고 학습 할 수 있게 된다.
본 발명의 '3차원 그래픽 스텝 영상 정보'는 기존의 영상정보로는 표현하지 못했던 발 또는 발바닥에 해당하는 부위를 연속적으로 확인 할 수 있는 모션캡쳐를 사용한 3차원 그래픽 영상을 말하며 기존의 매체와는 달리 발 또는 발바닥에 해당하는 부위가 신체의 다른부위에 가려서 보이지 않는 경우가 없으므로 사람의 발의 동작에 대한 시각적인 정보의 전달에 효과적이고, 3차원 그래픽 동작 영상 정보와 동시에 볼 수 있기 때문에 사용자는 실시간으로 발의 움직임을 이해하면서 몸의 동작도 확인할 수 있는 동작 학습 환경을 제공받을수 있다.
본 발명의 '3차원 그래픽 동작 영상 정보'는 소정의 3차원 동작 데이터가 적용된 가상 캐릭터를 향하는 하나 이상의 3차원 카메라로부터 렌더링된 3차원 그래픽 영상을 말하며, 상기 3차원 그래픽 동작 영상 정보가 3차원 카메라에 해당되는 방향에 설치된 하나 이상의 디스플레이 장치를 통하여 출력되게 되면 사용자는 시선의 방향에 위치한 디스플레이로부터 그 시점(視點)에 해당하는 동작 영상을 연속적으로 볼 수 있게 된다.
예를 들어 회전하는 동작의 경우 하나의 시점(視點)으로 기록된 영상은 동작영상을 보기위해 머리를 디스플레이 방향으로 돌려야하지만 본 발명에 따르면 회전하는 동안에 다수의 디스플레이에 해당 시점(視點)의 동작 영상이 실시간으로 출력는 경우 동작의 확인이 매우 빠르고 효과적으로 이루어지게 된다.
또한 본 발명에 따르면, 원격제어장치를 통해 복수의 디스플레이를 동시에 콘트롤 할 수 있으므로 동작의 학습이 이루어질때까지 구간반복이나 저속재생등을 통해 3차원 동작 정보를 학습함으로써 짧은 시간에 효과적인 학습이 이루어지는 효과가 있다.
본 동작 학습 시스템의 방식에 따르면 사용자가 가상 캐릭터의 동작을 적절한 시점에서 확인함과 동시에 발의 위치와 방향을 정확하게 확인할 수 있으므로 사람의 동작을 정확히 이해하고 따라할 수 있다. 실제로 간단한 동작의 경우는 모션캡쳐를 이용한 '3차원 그래픽 스텝 영상 정보'만으로도 효과적으로 동작을 따라할 수 있으며 충분한 수의 '3차원 그래픽 동작 영상 정보'를 다수의 디스플레이에 출력하는 경우 혼자서도 상당한 난이도의 동작을 스스로 배울 수 있다. 또한 실시간으로 출력되는 3차원 그래픽 가상 캐릭터를 사용하기 때문에 리모컨을 이용하여 원하는 부분을 반복적으로 확인하여 학습하는 경우 그 효과는 더 커진다.
도 1 : 그래픽을 이용한 댄스 학습 시스템 구성도
도 2 : 기존의 스텝 정보
도 3 : 3차원 그래픽 스텝 영상 정보
도 4 : 동작 학습 시스템의 예 1
도 5 : 동작 학습 시스템의 예 2
도 6 : 동작 학습 시스템의 예 3
이하 본 발명에 따른 시스템 및 방법의 바람직한 실시예를 첨부 도면을 참조하여 설명한다.
도 1은 본 발명의 사상에 따른 동작 학습 시스템을 설명하는 블록도이다.
도 1을 참조하면, 본 발명은 모션캡쳐와 3차원 그래픽을 사용한 동작 학습 시스템과 그 구현방법에 관한 것으로서, 소정의 사람 동작을 모션캡쳐하여 생성한 3차원 동작 데이터를 저장하는 동작 데이터베이스부(102), 상기 동작 데이터에 해당하는 음원을 저장하는 음원 데이터베이스부(101), 상기 동작 데이터를 설명하는 자료를 저장한 동작 정보 데이터베이스부(103), 상기 3차원 동작 데이터가 적용된 가상 캐릭터를 향해 설치된 하나 이상의 3차원 그래픽 카메라로부터 하나 이상의 동작 영상을 생성하는 동작 영상 정보 렌더링부(111), 상기 3차원 동작 데이터 또는 이 3차원 동작 데이터가 적용된 사이버캐릭터의 발에 해당하는 부위가 다른 신체 부위등에 가려지지 않고 연속적으로 보일 수 있도록 하나 이상의 3차원 그래픽 카메라를 통해 하나 이상의 3차원 그래픽 스텝 영상 정보를 렌더링하는 스텝 영상 정보 렌더링부(112), 재생중인 동작에 대한 설명을 출력하는 동작 정보 표시부(113), 재생중인 동작에 해당하는 음원을 데이터베이스로부터 출력하는 음원재생부(120), 상기의 렌더링부로부터 전송된 영상들을 하나 이상의 디스플레이 장치를 통해 동시에 출력하는 영상 디스플레이부(140), 상기의 복수의 렌더링부와 음원재생부의 재생, 정지, 반복, 구간반복, 속도조절, 화면전환등을 원격으로 동시에 제어할 수 있게 하는 원격 제어부(130)를 포함하여 구성된다.
본 발명에서는 도 2와 같은 댄스교본등에서 쓰이는 기존의 스텝 정보를 모션캡쳐와 3차원 그래픽 기술을 적용하여 3차원 그래픽 스텝 영상 정보로 만들어 활용하고 있다. 이러한 형식의 스텝 정보는 연속적인 스텝의 위치나 방향에 대한 정보가 없으므로 동작의 느낌을 전달할 수 없다. 따라서 본 발명에서는 이러한 기존의 스텝 정보를 활용하기 위해 도 3에서 보여지는 바와 같이 실시간 모션캡쳐와 3차원 그래픽 기술을 가상 캐릭터에 적용하여 렌더링된 3차원 스텝 영상 정보를 사용한다. 이러한 3차원 스텝 영상 정보는 모션캡쳐와 3차원 그래픽을 적용한 가상 캐릭터를 이용하여 발 또는 발바닥부위의 영상을 끊김없이 연속적으로 보여주므로 발의 움직임을 정확히 전달할 수 있다.
도 4는 이러한 동작 학습 시스템의 바람직한 제 1 실시예이다. 모션캡쳐와 3차원 그래픽 기술을 이용하면 도 4에서 보여지는 바와 같이 하나의 시점에서 렌더링된 3차원 그래픽 동작 영상 정보(601)와 바닥면을 향하는 카메라로 부터 렌더링된 3차원 그래픽 스텝 영상 정보(602)를 하나의 디스플레이 장치(600)를 통해 확인할 수 있다.
도 5는 동작 학습 시스템의 바람직한 제 2 실시예이다. 하나의 시점에서 렌더링된 3차원 그래픽 동작 영상 정보(601)와 바닥면을 향하는 카메라로 부터 렌더링된 3차원 그래픽 스텝 영상 정보(611)를 두 개의 디스플레이 장치(600,610)를 통해 확인할 수 있다.
도 6은 동작 학습 시스템의 바람직한 제 3 실시예이다. 두 개의 시점에서 렌더링된 3차원 그래픽 동작 영상 정보(601,701)를 두 개의 디스플레이 장치(600,700)를 통해 동시에 확인할 수 있고, 바닥면을 향하는 카메라로 부터 렌더링된 3차원 그래픽 스텝 영상 정보(611)를 하나의 디스플레이 장치(610)를 통해 동시에 확인할 수 있다.
사용자는 이러한 3차원 그래픽 동작 영상 정보를 통해서 사람의 동작을 이해하면서 동시에 별도의 3차원 그래픽 스텝 영상을 통해서 보다 정확한 발의 움직임을 이해함으로써 복잡한 사람의 동작을 효과적으로 이해하고 학습하게 된다. 또한, 원격 제어 장치를 통해 해당 동작을 복수의 영상 정보를 통해서 반복 관찰할 수 있다.
본 발명에서는 상기의 3차원 그래픽 스텝 영상정보의 왼발과 오른발을 색깔, 모양, 기호등으로 식별할 수 있도록 하였고, 발이 바닥에 닿는 경우 닿는 부위의 색깔 또는 밝기 등에 변화를 주어 접촉 부위와 접촉 지속 시간을 식별할 수 있게 함으로써 사용자가 3차원 그래픽 스텝 영상을 통하여 발 동작을 효과적으로 이해하고 학습할 수 있도록 하였다.
본 발명은 온오프라인으로 구성이 가능하며, 전문가의 모션캡쳐 데이터를 구비하여 오프라인상에서 서비스 하거나 온라인상에서 콘텐츠로서 제공하는것이 바람직하다. 또한 온라인과 오프라인상에서 동일하게 리모컨등을 구비하여 사용자가 원하는 동작을 자유로이 검색할 수 있도록 하는것이 바람직하다.
본 발명은 3차원영상을 통하여 전달되므로 하나 이상의 디스플레이가 필요하며 이를 위하여 가정에서는 하나의 모니터에 두개의 영상을 출력하거나 두개 이상의 모니터에 영상을 출력하는것이 바람직하고 사용자가 리모컨등으로 영상을 콘트롤 하는 형태로 작동된다. 오프라인상에서는 보다 많은 수의 디스플레이를 이용하여 다양한 시점에서의 '3차원 그래픽 동작 영상'을 출력하여 작동하는것이 가능하 다.
본 발명의 시스템은 교육 컨텐츠시장에서 새로운 영역을 개척함으로써 비용을 많이 들이지 않고 온오프라인을 통해 발레,댄스,체조등의 동작을 교육받을 수 있는 방법을 제공한다.

Claims (10)

  1. (a) 소정의 사람의 동작을 모션캡쳐하여 생성한 3차원 동작 데이터를 저장하는 동작 데이터베이스부;
    (b) 상기의 동작 데이터에 해당하는 음원 정보를 저장하는 음원 정보 데이터베이스부;
    (c) 상기 (a)의 3차원 동작 데이터가 적용된 가상 캐릭터를 향해 임의의 방향에 설치된 하나 이상의 3차원 그래픽 카메라를 통해 가상 캐릭터의 동작 영상 정보를 실시간 렌더링하는 동작 영상 정보 렌더링부;
    (d) 바닥을 향하는 3차원 그래픽 카메라를 통해 상기 (c)의 가상 캐릭터의 발 또는 발바닥에 해당하는 부위만을 연속적으로 관찰할 수 있는 3차원 그래픽 스텝 영상 정보를 실시간 렌더링하는 스텝 영상 정보 렌더링부;
    (e) 상기 (b)의 3차원 그래픽 동작 영상 정보와 (c)의 3차원 그래픽 스텝 영상 정보를 하나 이상의 디스플레이 장치를 통해 실시간으로 동시에 출력하는 영상 디스플레이부;및
    (f) 상기 (e)의 영상 정보의 디스플레이와 동시에 이에 해당하는 음원을 상기의 음원 정보 데이터베이스로 부터 전송 받아 실시간으로 출력하는 음원 재생부를 포함하는것을 특징으로하는 동작 학습 시스템;
  2. 제 1항에 있어서,
    상기 영상 정보와 음원 정보의 재생, 정지, 일시정지, 반복, 구간반복, 속도조절 및 상기 영상정보의 화면전환등을 원격으로 제어할 수 있는 원격 제어 장치를 포함하는 것을 특징으로 하는 동작 학습 시스템
  3. 제 1항에 있어서,
    상기의 3차원 동작 데이터를 설명하는 자료를 저장한 동작 정보 데이터베이스부와, 재생중인 동작에 대한 설명을 출력하는 동작 정보 디스플레이부를 포함하는 것을 특징으로 하는 동작 학습 시스템
  4. 제 1항에 있어서,
    상기의 3차원 그래픽 스텝 영상 정보는 왼발과 오른발을 색깔, 모양, 기호등으로 식별할 수 있도록 하는것을 특징으로 하는 동작 학습 시스템
  5. 제 1항에 있어서,
    상기의 3차원 그래픽 스텝 영상 정보는 발이 바닥에 닿는 경우 닿는 부위의 색깔 또는 밝기등에 변화를 주어 접촉 부위와 접촉 지속 시간을 식별할 수 있게 하는것을 특징으로 하는 동작 학습 시스템
  6. (a) 소정의 사람의 동작을 모션캡쳐하여 3차원 동작 데이터를 생성하는 단계;
    (b) 상기 (a)단계의 3차원 동작 데이터가 적용된 가상 캐릭터를 향해 임의의 방향에 설치된 하나 이상의 3차원 그래픽 카메라를 통해 가상 캐릭터의 3차원 그래픽 동작 영상 정보를 실시간 렌더링하는 단계;
    (c) 바닥을 향하는 3차원 그래픽 카메라를 통해 상기 (b)단계의 가상 캐릭터의 발 또는 발바닥에 해당하는 부위만을 연속적으로 관찰할 수 있는 3차원 그래픽 스텝 영상 정보를 실시간 렌더링하는 단계;
    (d) 상기의 동작 데이터에 해당하는 음원 정보를 실시간 재생하는 단계; 및
    (e) 상기 (b)의 3차원 그래픽 동작 영상 정보와 (c)의 3차원 그래픽 스텝 영상 정보와 (d)의 음원 정보를 하나 이상의 디스플레이 장치와 사운드 장치를 통해 실시간으로 동시에 출력하는 단계;
    를 포함하는 동작 학습 방법.
  7. 제 6항에 있어서,
    상기 영상 정보와 음원 정보의 재생, 정지, 일시정지, 반복, 구간반복,속도조절 및 상기 영상 정보의 화면전환등을 원격으로 제어하는 단계를 포함하는 것을 특징으로 하는 동작 학습 방법.
  8. 제 6항에 있어서,
    상기의 동작 학습 시스템는 동작에 대한 설명을 디스플레이하는 동작 설명 단계를 포함하는 것을 특징으로 하는 동작 학습 방법.
  9. 제 6항에 있어서,
    상기의 3차원 그래픽 스텝 영상 정보는 왼발과 오른발을 색깔, 모양, 기호등으로 식별할 수 있도록 하는것을 특징으로 하는 동작 학습 방법.
  10. 제 6항에 있어서,
    상기의 3차원 그래픽 스텝 영상 정보는 발이 바닥에 닿는 경우 닿는 부위의 색깔 또는 밝기등에 변화를 주어 접촉 부위와 접촉 지속 시간을 식별할 수 있게 하는것을 특징으로 하는 동작 학습 방법.
PCT/KR2010/003676 2009-06-09 2010-06-09 모션캡쳐와 3차원 그래픽을 이용한 동작 학습 시스템 및 그 방법 Ceased WO2010143872A2 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020090051086A KR20100132322A (ko) 2009-06-09 2009-06-09 모션캡쳐와 3차원 그래픽을 이용한 동작 학습 시스템 및 그 방법
KR10-2009-0051086 2009-06-09

Publications (2)

Publication Number Publication Date
WO2010143872A2 true WO2010143872A2 (ko) 2010-12-16
WO2010143872A3 WO2010143872A3 (ko) 2011-03-31

Family

ID=43309356

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2010/003676 Ceased WO2010143872A2 (ko) 2009-06-09 2010-06-09 모션캡쳐와 3차원 그래픽을 이용한 동작 학습 시스템 및 그 방법

Country Status (2)

Country Link
KR (1) KR20100132322A (ko)
WO (1) WO2010143872A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140118522A1 (en) * 2012-11-01 2014-05-01 Josh Heath Zuniga Dance learning system using a computer

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10748444B2 (en) 2016-06-13 2020-08-18 Electronics And Telecommunications Research Institute Apparatus for writing motion script, apparatus for self-teaching of motion and method for using the same
CN109887380A (zh) * 2019-03-04 2019-06-14 郑州大学体育学院 一种智能体育舞蹈脚步学习装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010081193A (ko) * 2000-02-10 2001-08-29 이수원 모션 캡쳐 기능을 활용한 3차원 가상 현실 기법의 댄스게임 장치
KR20000054349A (ko) * 2000-06-02 2000-09-05 김용환 자유 스텝이 가능한 3차원 댄스 시뮬레이터
KR20050082559A (ko) * 2004-02-19 2005-08-24 주식회사 소니컴퓨터 엔터테인먼트 코리아 댄스 학습 시스템, 이를 이용한 인터넷 커뮤니티 서비스시스템과 인터넷 커뮤니티 서비스 방법, 댄스 학습 방법및 상기 방법들을 실행하는 프로그램을 기록한 컴퓨터로읽을 수 있는 기록매체
KR20070121916A (ko) * 2006-06-23 2007-12-28 주식회사 골든오일 댄스교실 운용 방법과 이를 위한 프로그램 기록매체

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140118522A1 (en) * 2012-11-01 2014-05-01 Josh Heath Zuniga Dance learning system using a computer

Also Published As

Publication number Publication date
KR20100132322A (ko) 2010-12-17
WO2010143872A3 (ko) 2011-03-31

Similar Documents

Publication Publication Date Title
CA2484586C (en) A surgical training simulator
Suma et al. Leveraging change blindness for redirection in virtual environments
CA2941146C (en) Systems and methods for teaching and instructing in a virtual world including multiple views
Hachimura et al. A prototype dance training support system with motion capture and mixed reality technologies
Kim et al. VR-MOOCs: A learning management system for VR education
US20170316714A1 (en) Education system using virtual robots
KR101241120B1 (ko) 증강 현실을 이용한 배선 교육 시스템 및 그 교육 방법
CN210091423U (zh) 一种基于全息投影的远程教学互动系统
US20030031358A1 (en) Method and system for developing consistency of motion
US20170092223A1 (en) Three-dimensional simulation system for generating a virtual environment involving a plurality of users and associated method
KR101757420B1 (ko) 투명 디스플레이를 이용한 상호작용 기반의 원격 화상 통신 및 강의 시스템
CN110491226A (zh) 学习支持系统和计算机可读记录介质
KR20170143264A (ko) 가상현실 다중접속 모니터링 시스템 및 방법
KR20160005841A (ko) 모션인식과 증강현실을 기반으로 하는 실시간 반응형 인체학습시스템
CN106920451A (zh) 一种基于虚拟现实技术的手术教学展示系统
WO2010143872A2 (ko) 모션캡쳐와 3차원 그래픽을 이용한 동작 학습 시스템 및 그 방법
Caluya et al. Transferability of spatial maps: Augmented versus virtual reality training
Perez et al. Developing a virtual environment for safety training
JP6733027B1 (ja) コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム
KR200489627Y1 (ko) 증강현실을 이용한 멀티플레이 교육 시스템
Christensen et al. Depth cues in augmented reality for training of robot-assisted minimally invasive surgery
TWI687904B (zh) 互動式訓練及檢測裝置
CN111402651B (zh) 一种基于vr技术的智能教学系统
CN107909864A (zh) 一种图像化教学方法及系统
Soga et al. Proposal and development of motion navigator enabling learners to observe expert’s motion from expert’s viewpoint by augmented reality

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10786355

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10786355

Country of ref document: EP

Kind code of ref document: A2