KR20200065499A

KR20200065499A - 음악과 춤의 상관관계를 학습하여 춤을 추는 로봇

Info

Publication number: KR20200065499A
Application number: KR1020180152027A
Authority: KR
Inventors: 김태희; 서기호
Original assignee: 주식회사지능디자인
Priority date: 2018-11-30
Filing date: 2018-11-30
Publication date: 2020-06-09
Anticipated expiration: 2038-11-30
Also published as: KR102171428B1

Abstract

본 발명에 따른 음악과 춤의 상관관계를 학습하여 춤을 추는 로봇은, 사람형상을 하여 사람의 각 관절에 해당하는 부위를 모터(10)로 제어하여 춤을 추도록 할 수 있는 로봇(1)에 있어서, 음악을 입력받는 마이크(100); 음악과 춤의 상관관계를 학습한 데이터가 저장된 데이터저장부(200); 상기 데이터저장부(200)와 유, 무선 통신하여 음악이나 춤 영상 데이터를 입력하여 상기 데이터저장부(200)에 저장될 수 있도록 하는 데이터입력부(300) 및 상기 모터(10), 상기 마이크(100) 및 상기 데이터저장부(200)와 연결되어 상기 마이크(100)로부터 입력받은 음악에 맞추어 춤을 추도록 제어하는 제어부(400)를 포함하는 것을 특징으로 한다.

Description

음악과 춤의 상관관계를 학습하여 춤을 추는 로봇 {Dancing Robot that learns the relationship between dance and music}

본 발명은 음악과 춤의 특징을 추출하여 그에 대한 상관관계를 학습하여 춤을 추는 로봇에 관한 것이다.

최근 들어 기술 발전과 더불어 로봇에 대한 관심이 집중되면서 여러 가지 용도의 로봇이 개발되고 있다. 지능형로봇으로의 진보화 되면서 다양한 발전이 있었는데, 예를 들어, 애완견 로봇이라든지, 휴머노이드형으로 걷기 및 춤추는 로봇등이 개발되고 있다.

일반적으로 종래의 로봇 장난감, 특히 음악 및 소리에 춤추는 로봇 경향은 단순표현에 주력하는편이다.

상기 종래의 로봇 장난감은 단순히 몸동작이 좌우상하로 움직이거나 몸이 고정 되어 있거나 끈으로 묶여서 흔들이는 단순동작에 그쳤기 때문에 로봇완구로서의 감정 표출이 이루어지지 않아 생동감이 미흡한 감이 있었다.

이러한 로봇 장난감의 수요계층인 아동 및 성인의 장식 품류들의 경우 의식수준이 높아지면서 상기 종래의 로봇 장난감은 놀이효과의 한계성 및 작동 상의 단조로움에 일소하였다.

또한, 종래의 춤추는 로봇은 단순히 외부의 자극(예; 소리, 터치등)을 감지하여 미리 설정된 춤 동작으로 춤을 추도록 하는 정도이다. 즉, 춤 동작을 미리 설정하여 두고 음원과는 상관없이 미리 세팅된 동작으로 춤을 추도록 하고 있다.

예를 들면, 공개특허 10-2008-0075269 댄스(dance) 음원의 곡을 메모리(memory)에 기억하고, 내장하는 음원에 따라서 댄스(dance) 음원을 흘리면서, 곡에 합쳐서 로봇(robot) 완구가 춤추는 것이다. 그렇지만, 이와 같은 로봇(robot) 완구는,손이나 발을 요동하고, 또는 개폐하는 것 같은 비교적 단순한 움직임의 반복이기 때문에 사용자가 쉽게 실증을 느끼게 되는 문제가 있다.

KR 10-2013-0044430 A KR 10-2014-0071588 A KR 10-2008-0075269 A

따라서 본 발명은 상기와 같은 문제점을 해결하기 위한 것으로 음악의 주파수 특성과 영상에서의 안무 데이터를 학습하여 들려주는 음악에 어울리는 춤을 추는 음악과 춤의 상관관계를 학습하여 춤을 추는 로봇을 제공함에 있다.

상기의 목적을 이루기 위한 본 발명에 따른 음악과 춤의 상관관계를 학습하여 춤을 추는 로봇은, 사람형상을 하여 사람의 각 관절에 해당하는 부위를 모터(10)로 제어하여 춤을 추도록 할 수 있는 로봇(1)에 있어서, 음악을 입력받는 마이크(100); 음악과 춤의 상관관계를 학습한 데이터가 저장된 데이터저장부(200); 상기 데이터저장부(200)와 유, 무선 통신하여 음악이나 춤 영상 데이터를 입력하여 상기 데이터저장부(200)에 저장될 수 있도록 하는 데이터입력부(300) 및 상기 모터(10), 상기 마이크(100) 및 상기 데이터저장부(200)와 연결되어 상기 마이크(100)로부터 입력받은 음악에 맞추어 춤을 추도록 제어하는 제어부(400)를 포함하는 것을 특징으로 한다.

본 발명에 따른 음악과 춤의 상관관계를 학습하여 춤을 추는 로봇은 음악과 신체동작 안무의 상관관계를 학습하여 새로운 음악을 들려주어도 그에 알맞은 춤을 출 수있는 효과를 갖고 있다.

도 1은 본 발명에 따른 음악과 춤의 상관관계를 학습하여 춤을 추는 로봇의 구성도이다.
도 2는 본 발명에 따른 음악과 춤의 상관관계를 학습하여 춤을 추는 로봇의 음악과 춤의 상관관계를 학습하는 강화학습과 GAN을 접목한 딥러닝 기계학습의 구조이다.
도 3은 본 발명에 따른 음악과 춤의 상관관계를 학습하여 춤을 추는 로봇의 추출 성분 중 하나인 템포 그래프이다.
도 4는 본 발명에 따른 음악과 춤의 상관관계를 학습하여 춤을 추는 로봇의 추출 성분 중 하나인 음색 그래프이다.
도 5는 본 발명에 따른 음악과 춤의 상관관계를 학습하여 춤을 추는 로봇의 추출 성분 중 하나인 박자 그래프이다.
도 6은 본 발명에 따른 음악과 춤의 상관관계를 학습하여 춤을 추는 로봇의 실시 예로 관절에 따른 좌표를 지정하는 것을 보여주는 그래프이다.

이하에서는, 본 발명의 실시 예에 따른 도면을 참조하여 설명하지만, 이는 본 발명의 더욱 용이한 이해를 위한 것으로, 본 발명의 범주가 그것에 의해 한정되는 것은 아니다.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "... 부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다.

본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터 또는 신호를 '전송'하는 경우에는 구성요소는 다른 구성요소로 직접 상기 데이터 또는 신호를 전송할 수 있고, 적어도 하나의 또 다른 구성요소를 통하여 데이터 또는 신호를 다른 구성요소로 전송할 수 있음을 의미한다.

설명에 앞서 본 명세서에는 다수의 양태 및 실시양태가 기술되며, 이들은 단순히 예시적인 것으로서 한정하는 것이 아니다.

본 명세서를 읽은 후에, 숙련자는 다른 양태 및 실시예가 본 발명의 범주로부터 벗어남이 없이 가능함을 이해할 것이다.

이하에서 설명되는 실시양태의 상세 사항을 다루기 전에, 몇몇 용어를 정의하거나 또는 명확히 하기로 한다.

GAN이란 Generative Adversarial Network의 약자로 생성적 적대 신경망이라고도 한다. 또한, 비 지도 학습에 사용되는 인공 지능 알고리즘으로, 제로섬 게임 틀 안에서 서로 경쟁하는 두 개의 신경 네트워크 시스템에 의해 구현된다.

도 1은 본 발명에 따른 음악과 춤의 상관관계를 학습하여 춤을 추는 로봇의 구성도이고, 도 2는 본 발명에 따른 음악과 춤의 상관관계를 학습하여 춤을 추는 로봇의 음악과 춤의 상관관계를 학습하는 강화학습과 GAN을 접목한 딥러닝 기계학습의 구조이고, 도 3은 본 발명에 따른 음악과 춤의 상관관계를 학습하여 춤을 추는 로봇의 추출 성분 중 하나인 템포 그래프이고, 도 4는 본 발명에 따른 음악과 춤의 상관관계를 학습하여 춤을 추는 로봇의 추출 성분 중 하나인 음색 그래프이고, 도 5는 본 발명에 따른 음악과 춤의 상관관계를 학습하여 춤을 추는 로봇의 추출 성분 중 하나인 박자 그래프이고, 도 6은 본 발명에 따른 음악과 춤의 상관관계를 학습하여 춤을 추는 로봇의 실시 예로 관절에 따른 좌표를 지정하는 것을 보여주는 그래프이다.

또한, 상기 마이크(100) 및 상기 데이터입력부(300)를 통해 입력받은 음악으로부터 음악의 특징을 추출하는 음악특징추출부(500)를 더 포함하고, 상기 음악특징추출부(500)는 추출한 음악의 특징을 상기 데이터저장부(200)로 전송하는 것을 특징으로 한다.

또한, 상기 제어부(400)와 연결되어 상기 제어부(400)가 제어할 수 있는 카메라(700)를 더 포함하고, 상기 데이터입력부(300)를 통해 입력받은 춤 영상 또는 상기 카메라(700)를 통해 촬영한 무용수의 춤으로부터 춤의 특징을 추출하는 춤특징추출부(600)를 더 포함하고, 상기 춤특징추출부(600)는 추출한 음악의 특징을 상기 데이터저장부(200)로 전송하는 것을 특징으로 한다.

다음은 도 1 내지 도 6을 참조하여 본 발명에 따른 음악과 춤의 상관관계를 학습하여 춤을 추는 로봇에 대해 상세히 설명하도록 한다.

도 2는 음악과 춤의 상관관계를 학습하는 강화학습과 GAN을 접목한 딥러닝 기계학습의 구조로, 데이터입력부(300)를 통해 춤 안무 영상을 입력하는 경우에 학습 데이터는 Youtube와 같은 인터넷 스트리밍사이트의 춤 동영상으로부터 음악특징추출부(500)에서 음악의 특징, 춤특징추출부(600)에서 춤의 특징을 추출한다. 상기 음악에서는 템포, 박자 및 음색 등을 특징으로써 추출한다.

다음은 로봇이 춤을 출 때에 대해 상세히 설명하자면, 로봇이 춤을 추는 것을 제어부(400)가 관절의 움직임으로 춤을 추게 할 수 있다. 이때, 로봇의 각 관절마다 번호를 붙이고, 각 관절의 각도가 xyz축에 대해 얼마만큼 회전했는지를 통해 관절의 움직임을 설명할 수 있다. 또는 기준 위치를 정하고 그 기준위치에 대해 각 관절이 어디로 위치하는지를 통해 관절의 움직임을 표현할 수 있다.

또한, 영상에서 3D Pose Estimation 기법을 이용하여 인체 관절 정보(skeleton data)를 추출한 것을 딥러닝 훈련용 동작 데이터로 활용한다. 이때 오픈소스 도구를 사용할 수 있으며, 상기 오픈소스 도구 또한 딥러닝 기법을 활용하여 이미지로 부터 인체를 분리하고 분리된 인체의 각 뼈대가 3차원 공간 상에 어떻게 위치하고 있는지를 추정하여 각 관절의 위치값을 (벡터)데이터로 출력한다. 이러한 관절의 위치 값은 도 6에서 확인할 수 있듯, 17개의 관절을 (x,y,z) 좌표로 표현하여 움직일 수 있다.

다음은 도 3 내지 도 5를 참조하여 본 발명에 따른 음악과 춤의 상관관계를 학습하여 춤을 추는 로봇이 추출하는 음악 성분에 대해 상세히 설명하도록 한다.

음악의 3가지 종류의 추출 성분을 사용한다. 첫번째는 전체적인 흐름에서 얼마나 빨리 춤을 춰야 하는지 알려주는 템포이고, 두번째는 어떤 유형의 춤을 춰야하는지 알려주는 박자이고, 마지막으로 춤의 세부적인 부분을 묘사하는 MFCC (음색), Spectral Centroid (소리의 밝기), STFT (각 프레임에서의 푸리에 변환), Chroma (각 음에서의 에너지), Constant Q-transform, Mel-spectrogram이 있다.

이상 본 발명의 실시 예에 따른 도면을 참조하여 설명하였지만, 본 발명이 속한 분야에서 통상의 지식을 가진 자라면 상기 내용을 바탕으로 본 발명의 범주 내에서 다양한 응용 및 변형을 행하는 것이 가능할 것이다.

1 : 로봇
10 : 모터
100 : 마이크
200 : 데이터저장부
300 : 데이터입력부
400 : 제어부
500 : 음악특징추출부
600 : 춤특징추출부
700 : 카메라

Claims

사람형상을 하여 사람의 각 관절에 해당하는 부위를 모터(10)로 제어하여 춤을 추도록 할 수 있는 로봇(1)에 있어서,
음악을 입력받는 마이크(100);
음악과 춤의 상관관계를 학습한 데이터가 저장된 데이터저장부(200);
상기 데이터저장부(200)와 유, 무선 통신하여 음악이나 춤 영상 데이터를 입력하여 상기 데이터저장부(200)에 저장될 수 있도록 하는 데이터입력부(300) 및
상기 모터(10), 상기 마이크(100) 및 상기 데이터저장부(200)와 연결되어 상기 마이크(100)로부터 입력받은 음악에 맞추어 춤을 추도록 제어하는 제어부(400)를 포함하는 것을 특징으로 하는 음악과 춤의 상관관계를 학습하여 춤을 추는 로봇.
청구항 1에 있어서,
상기 마이크(100) 및 상기 데이터입력부(300)를 통해 입력받은 음악으로부터 음악의 특징을 추출하는 음악특징추출부(500)를 더 포함하고,
상기 음악특징추출부(500)는 추출한 음악의 특징을 상기 데이터저장부(200)로 전송하는 것을 특징으로 하는 음악과 춤의 상관관계를 학습하여 춤을 추는 로봇.
청구항 1에 있어서,
상기 제어부(400)와 연결되어 상기 제어부(400)가 제어할 수 있는 카메라(700)를 더 포함하고,
상기 데이터입력부(300)를 통해 입력받은 춤 영상 또는 상기 카메라(700)를 통해 촬영한 무용수의 춤으로부터 춤의 특징을 추출하는 춤특징추출부(600)를 더 포함하고,
상기 춤특징추출부(600)는 추출한 음악의 특징을 상기 데이터저장부(200)로 전송하는 것을 특징으로 하는 음악과 춤의 상관관계를 학습하여 춤을 추는 로봇.