KR20160062665A - 동작 인식 장치 및 방법 - Google Patents

동작 인식 장치 및 방법 Download PDF

Info

Publication number
KR20160062665A
KR20160062665A KR1020150093754A KR20150093754A KR20160062665A KR 20160062665 A KR20160062665 A KR 20160062665A KR 1020150093754 A KR1020150093754 A KR 1020150093754A KR 20150093754 A KR20150093754 A KR 20150093754A KR 20160062665 A KR20160062665 A KR 20160062665A
Authority
KR
South Korea
Prior art keywords
image
analysis data
mode
analysis
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020150093754A
Other languages
English (en)
Other versions
KR102126370B1 (ko
Inventor
박순찬
김진서
김희권
박지영
심광현
유문욱
장주용
장호욱
정혁
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to CN201510977030.2A priority Critical patent/CN105654506A/zh
Publication of KR20160062665A publication Critical patent/KR20160062665A/ko
Application granted granted Critical
Publication of KR102126370B1 publication Critical patent/KR102126370B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06K9/00342—
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • A63B69/36—Training appliances or apparatus for special sports for golf
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 일 실시예에 따른 동작 분석 장치는 카메라, 카메라가 객체에 대한 일반 촬영을 수행하여 제1 영상을 생성하도록 제어하는 카메라 제어부, 제1 영상 상의 객체의 동작이 고속 동작 모드에 대응하는 경우, 고속 동작 모드를 나타내는 모드 설정 신호를 카메라 제어부로 전송하는 동작 분석부를 포함하되, 카메라 제어부는 고속 동작 모드를 나타내는 모드 설정 신호를 수신하는 경우, 카메라가 고속 촬영을 수행하여 제2 영상을 생성하도록 제어하고, 동작 분석부는 상기 제2 영상 상의 객체의 동작이 분석 모드에 대응하는 경우, 제2 영상에 대한 분석 데이터를 생성하는 것을 특징으로 한다.

Description

동작 인식 장치 및 방법{APPARATUS AND METHOD FOR ANALYZING MOTION}
본 발명은 객체의 동작을 분석하는 기술에 관한 것으로, 보다 상세하게는 객체의 고속 동작을 분석하는 기술에 관한 것이다.
카메라를 포함하는 동작 분석 장치는 사용자 등의 특정 객체가 카메라 앞에서 동작을 취하는 경우, 카메라가 해당 동작을 촬영하여 영상을 생성하고, 영상을 분석하여 객체가 지정된 동작을 시작, 진행 또는 종료하였는지 파악할 수 있다. 동작 분석 장치는 스포츠 등의 분야에서 동작 정확도 등을 분석하여, 다양한 동작의 분석이 필요한 분야에 이용될 수 있다.
객체의 동작 중에는 빠른 속도로 움직이는 동작이 존재하기 때문에, 정확한 동작의 분석을 위해서는 초고속 카메라(예를 들어, 120Hz 이상으로 촬영 가능한 카메라)가 요구된다.
하지만, 초고속 카메라가 생성하는 영상의 프레임 수가 크기 때문에 동작 분석 장치는 초고속 카메라에서 생성한 영상을 통해 동작 분석을 실시간으로 제공하기는 어려운 점이 존재한다.
본 발명이 해결하고자 하는 과제는 고속 동작에 대한 분석을 안정적으로 수행하는 동작 인식 장치 및 방법을 제공하는 것이다.
본 발명의 일 측면에 따르면, 카메라; 상기 카메라가 객체에 대한 일반 촬영을 수행하여 제1 영상을 생성하도록 제어하는 카메라 제어부; 및 상기 제1 영상 상의 상기 객체의 동작이 고속 동작 모드에 대응하는 경우, 상기 고속 동작 모드를 나타내는 모드 설정 신호를 상기 카메라 제어부로 전송하는 동작 분석부;를 포함하되, 상기 카메라 제어부는 상기 고속 동작 모드를 나타내는 모드 설정 신호를 수신하는 경우, 상기 카메라가 고속 촬영을 수행하여 제2 영상을 생성하도록 제어하고, 상기 동작 분석부는 상기 제2 영상 상의 상기 객체의 동작이 분석 모드에 대응하는 경우, 상기 제2 영상에 대한 분석 데이터를 생성하는 것을 특징으로 하는 동작 분석 장치가 제공된다.
상기 동작 분석 장치는 상기 제2 영상을 저장하는 영상 저장 메모리를 더 포함하되, 상기 카메라 제어부는 상기 모드 설정 신호가 고속 동작 모드를 나타내는 경우, 상기 제2 영상을 상기 영상 저장 메모리로 전송할 수 있다.
상기 동작 분석 장치는 상기 제2 영상을 미리 지정된 수의 프레임을 포함하는 프레임 구간으로 분할하고, 각 상기 프레임 구간의 대표 프레임에 대한 영상 정보를 생성하는 영상 처리부를 더 포함하되, 상기 동작 분석부는 상기 대표 프레임에 대한 영상 정보를 참조하여 상기 대표 프레임에 상응하는 분석 데이터를 생성하고, 상기 분석 데이터를 참조하여 상기 객체의 동작이 분석 모드에 대응하는 것인지 판단할 수 있다.
상기 영상 처리부는 상기 모드 설정 신호가 분석 모드를 나타내는 경우, 상기 제2 영상의 프레임 중 대표 프레임을 제외한 나머지 프레임에 대해 영상 정보를 생성하고, 상기 동작 분석부는 상기 나머지 프레임에 대한 영상 정보를 참조하여 분석 데이터를 생성할 수 있다.
상기 카메라 제어부는 상기 제1 영상을 상기 영상 처리부로 전송하고, 상기 영상 처리부는 상기 제1 영상의 전체 프레임에 대한 영상 정보를 생성하여 상기 동작 분석부로 전송하고, 상기 동작 분석부는 상기 제1 영상의 전체 프레임에 대한 영상 정보를 참조하여 상기 제1 영상 상의 상기 객체의 동작이 고속 동작 모드에 대응하는 것인지 판단할 수 있다.
상기 동작 분석 장치는 상기 제2 영상에 대한 분석 데이터를 저장하는 분석 데이터 저장 메모리를 더 포함하되, 상기 동작 분석부는 상기 제2 영상의 상기 대표 프레임에 대한 분석 데이터 및 상기 제2 영상의 상기 나머지 프레임에 대한 분석 데이터를 상기 분석 데이터 저장 메모리로 전송할 수 있다.
본 발명의 다른 측면에 따르면, 동작 분석 장치가 객체에 대한 동작을 분석하는 방법에 있어서, 상기 객체에 대한 일반 촬영을 수행하여 제1 영상을 생성하는 단계; 상기 제1 영상에 나타난 상기 객체의 동작이 고속 동작 모드에 상응하는 동작인 경우, 상기 객체에 대한 고속 촬영을 수행하여 제2 영상을 생성하는 단계; 및 상기 제2 영상에 나타난 상기 객체의 동작이 분석 모드에 상응하는 동작인 경우, 상기 제2 영상의 영상 정보를 분석하여 분석 데이터를 생성하는 단계;를 포함하는 동작 분석 방법이 제공된다.
상기 동작 분석 방법은 상기 제1 영상에 나타난 상기 객체의 동작이 고속 동작 모드에 상응하는 동작인 경우, 상기 제2 영상을 영상 저장 메모리에 저장하는 단계;를 더 포함할 수 있다.
상기 동작 분석 방법은 상기 제2 영상을 미리 지정된 수의 프레임을 포함하는 프레임 구간으로 분할하고, 각 상기 프레임 구간의 대표 프레임에 대한 영상 정보를 생성하는 단계; 상기 대표 프레임에 대한 영상 정보를 참조하여 상기 대표 프레임에 상응하는 분석 데이터를 생성하는 단계; 및 상기 분석 데이터를 참조하여 상기 객체의 동작이 분석 모드에 대응하는 것인지 판단하는 단계를 더 포함할 수 있다.
상기 제2 영상에 나타난 상기 객체의 동작이 분석 모드에 상응하는 동작인 경우, 상기 제2 영상의 영상 정보를 분석하여 분석 데이터를 생성하는 단계는, 상기 제2 영상 중 상기 대표 프레임을 제외한 나머지 프레임에 대해 영상 정보를 생성하는 단계; 및 상기 제2 영상의 상기 나머지 프레임에 대한 영상 정보를 참조하여 상기 분석 데이터를 생성하는 단계를 포함할 수 있다.
상기 동작 분석 방법은 상기 제2 영상의 상기 대표 프레임에 상응하는 분석 데이터를 분석 데이터 저장 메모리에 저장하는 단계; 상기 제2 영상의 상기 나머지 프레임에 상응하는 분석 데이터를 상기 분석 데이터 저장 메모리에 저장하는 단계; 및 상기 제2 영상의 상기 대표 프레임에 상응하는 분석 데이터 및 상기 제2 영상의 상기 나머지 프레임에 상응하는 분석 데이터를 출력하는 단계;를 더 포함할 수 있다.
상기 동작 분석 방법은 상기 제1 영상의 전체 프레임에 대한 영상 정보를 생성하는 단계; 및 상기 제1 영상의 전체 프레임에 대한 영상 정보를 참조하여 상기 제1 영상 상의 상기 객체의 동작이 고속 동작 모드에 대응하는지 판단하는 단계;를 더 포함할 수 있다.
상술한 바와 같이 본 발명의 일 실시예에 따르면, 고속 동작에 대한 분석을 큰 부하 없이 수행할 수 있다.
또한, 본 발명의 일 실시예에 따르면, 고속 동작을 포함하는 전체 동작에 대한 분석을 낮은 스펙의 하드웨어를 통해 수행할 수 있다.
도 1은 본 발명의 일 실시예에 따른 동작 분석 장치를 예시한 블록도.
도 2는 본 발명의 일 실시예에 따른 동작 분석 장치에 지정된 고속 동작 모드에 대응하는 객체의 지정 동작을 예시한 도면.
도 3은 본 발명의 일 실시예에 따른 동작 분석 장치에 지정된 분석 모드에 대응하는 지정 동작을 예시한 도면.
도 4는 본 발명의 일 실시예에 따른 동작 분석 장치가 객체의 동작을 분석하는 과정을 예시한 순서도.
도 5는 발명의 일 실시예에 따른 동작 분석 장치가 구현된 컴퓨터 시스템을 예시한 도면.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
또한, 본 명세서에서, 일 구성요소가 다른 구성요소로 신호를 “전송한다”로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되어 신호를 전송할 수 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 신호를 전송할 수도 있다고 이해되어야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 동작 분석 장치를 예시한 블록도이고, 도 2는 본 발명의 일 실시예에 따른 동작 분석 장치에 지정된 고속 동작 모드에 대응하는 객체의 지정 동작을 예시한 도면이고, 도 3은 본 발명의 일 실시예에 따른 동작 분석 장치에 지정된 분석 모드에 대응하는 지정 동작을 예시한 도면이다.
도 1을 참조하면, 동작 분석 장치는 카메라(110), 카메라 제어부(120), 영상 처리부(130), 영상 저장 메모리(140), 동작 분석부(150), 분석 데이터 저장 메모리(160) 및 출력부(170)를 포함한다.
카메라(110)는 움직이는 객체를 촬영하여 영상을 생성하고, 생성된 영상을 카메라 제어부(120)로 전송한다. 이 때, 카메라(110)는 카메라 제어부(120)로부터 촬영 속도를 제어하는 제어 신호를 수신하고, 제어 신호에 따라 촬영 속도를 조정하여 촬영을 수행할 수 있다. 이하, 카메라(110)가 객체의 일반적인 동작을 촬영하기 위해 미리 지정된 촬영 속도로 촬영하는 것을 일반 촬영이라 지칭하고, 객체의 고속 동작을 촬영하기 위해 일반 촬영에 비해 높은 촬영 속도로 촬영하는 것을 고속 촬영이라 지칭하도록 한다. 즉, 고속 촬영을 통해 생성된 영상은 일반 촬영을 통해 생성된 영상에 비해 초당 프레임 수가 높다.
카메라 제어부(120)는 동작 분석부(150)로부터 객체의 현재 동작에 따른 모드 설정 신호를 수신하고, 모드 설정 신호에 따른 제어 신호를 생성하여 카메라(110)로 전송한다. 모드 설정 신호는 객체가 고속 동작이 아닌 일반 동작을 취할 때 설정되는 모드인 일반 동작 모드, 객체가 고속 동작을 취할 때 설정되는 모드인 고속 동작 모드 및 고속 동작이 종료되는 시점에 설정되는 모드인 분석 모드 중 어느 하나를 나타내는 신호일 수 있다. 카메라 제어부(120)는 모드 설정 신호가 일반 동작 모드 또는 분석 모드를 나타내는 경우, 촬영 속도를 미리 지정된 수치로 낮추도록 요청하는 제어 신호를 카메라(110)로 전송할 수 있다. 또는, 카메라 제어부(120)는 모드 설정 신호가 고속 동작 모드를 나타내는 경우, 일반 동작 모드 또는 분석 모드 시의 촬영 속도에 비해 높도록 미리 지정된 수치로 촬영 속도를 높이도록 요청하는 제어 신호를 카메라(110)로 전송할 수 있다. 따라서, 카메라(110)는 제어 신호에 따라 일반 촬영 또는 고속 촬영을 수행할 수 있다.
또한, 카메라 제어부(120)는 모드 설정 신호에 따라 영상을 영상 처리부(130) 또는 영상 저장 메모리(140)로 전송한다. 즉, 카메라 제어부(120)는 모드 설정 신호가 일반 동작 모드를 나타내는 경우, 카메라(110)로부터 수신한 영상을 영상 처리부(130)로 전송한다. 카메라 제어부(120)는 모드 설정 신호가 고속 동작 모드를 나타내는 경우, 카메라(110)로부터 수신한 영상을 영상 저장 메모리(140)로 전송한다.
영상 처리부(130)는 카메라 제어부(120)로부터 수신한 영상 또는 영상 저장 메모리(140)에 저장된 영상을 분석하여 미리 지정된 정보(이하, 영상 정보라 지칭)를 생성한다. 예를 들어, 영상 정보는 객체가 사람인 경우, 사람의 지정된 신체 부위(머리, 팔꿈치, 손 등)의 위치, 관절의 굽힘 정도(관절의 각도)를 포함할 수 있다. 이 때, 영상 처리부(130)는 컴퓨터 비전 기반 알고리즘 등의 공지된 방법을 통해 영상 정보를 생성할 수 있다. 이 때, 컴퓨터 비전 기반 알고리즘은 에지(edge) 및 특징점(feature point)를 검출하고, 에지 및 특징점을 통해 영상 정보를 검출하는 공지된 기술일 수 있다. 또한, 영상 처리부(130)는 동작 분석부(150)로부터 모드 설정 신호를 수신하고, 모드 설정 신호에 따라 카메라 제어부(120)로부터 수신한 영상 또는 영상 저장 메모리(140)에 저장된 영상을 분석하여 영상 정보를 생성할 수 있다. 예를 들어, 영상 처리부(130)는 모드 설정 신호가 일반 동작 모드를 나타내는 경우, 카메라 제어부(120)로부터 직접 수신한 영상을 분석하여 영상 정보를 생성할 수 있다. 또는 영상 처리부(130)는 모드 설정 신호가 고속 동작 모드를 나타내는 경우, 영상 저장 메모리(140)에 저장된 영상을 분석하여 영상 정보를 생성할 수 있다. 이 때, 영상 처리부(130)는 영상 저장 메모리(140)에 저장된 영상의 각 프레임을 미리 지정된 수의 연속된 프레임을 포함하는 프레임 구간으로 분할하고, 각 프레임 구간에 포함된 프레임 중 어느 하나인 대표 프레임을 추출하고, 각 대표 프레임에 대한 영상 정보를 생성할 수 있다. 예를 들어, 영상 처리부(130)는 영상 저장 메모리(140)에 저장된 영상을 2개의 프레임으로 구성되는 프레임 구간으로 분할하고, 각 프레임 구간의 포함된 프레임 중 첫 번째 프레임을 대표 프레임으로 추출할 수 있다. 따라서, 영상 처리부(130)는 각 프레임 구간 중 대표 프레임에 대한 영상 정보만을 생성하여, 고속 동작 모드에서 생성된 영상의 프레임 수가 크다고 하더라도 영상 정보를 실시간으로 생성할 수 있다. 영상 처리부(130)는 모드 설정 신호가 분석 모드를 나타내는 경우, 영상 저장 메모리(140)에 저장된 영상의 프레임 중 대표 프레임을 제외한 나머지 프레임에 대한 영상 정보를 생성할 수 있다. 영상 처리부(130)는 생성된 영상 정보를 동작 분석부(150)로 전송한다.
동작 분석부(150)는 영상 정보를 분석하여 해당 영상 정보에 상응하는 영상의 객체가 미리 지정된 복수의 동작 중 어느 하나에 대응하는 동작을 취하고 있는지 판단한다. 동작 분석부(150)는 영상의 객체가 미리 지정된 복수의 동작(이하 지정 동작이라 지칭) 중 어느 하나에 대응하는 동작을 취하고 있는 경우, 영상의 객체의 동작에 대응하는 지정 동작에 대해 미리 지정된 모드를 나타내는 모드 설정 신호를 생성하여 카메라 제어부(120), 영상 처리부(130) 및 출력부(170)로 전송한다. 이 때, 동작 분석부(150)는 각 지정 동작에 대해 상술한 고속 동작 모드 또는 분석 모드를 미리 지정할 수 있다. 예를 들어, 동작 분석부(150)는 도 2와 같이 골프의 어드레스 동작에 대해 고속 동작 모드를 지정하고, 도 3과 같이 골프의 피니쉬 동작에 대해 분석 모드를 미리 지정할 수 있다. 도 2 및 도 3을 참조하여 골프 동작이 각 모드에 지정된 것으로 설명하였으나, 본 발명의 구현 방식에 따라 골프 이외의 스포츠의 동작이나 사람이 아닌 객체의 동작으로 각 모드에 지정되는 동작이 설정될 수 있다.
또한, 동작 분석부(150)는 영상의 객체가 취하는 지정 동작이 고속 동작 모드 또는 분석 모드와 대응하는 경우, 영상 처리부(130)로부터 수신한 영상 정보를 미리 지정된 과정을 통해 분석하여 분석 데이터를 생성하고, 분석 데이터를 분석 데이터 저장 메모리(160)로 전송한다. 이 때, 분석 데이터는 카메라의 위치를 기준으로 한 객체의 특정 부위에 대한 3차원 좌표 데이터, 객체의 동작이 어떤 동작인지 나타내는 정보를 포함할 수 있다. 또한, 동작 분석부(150)는 분석 데이터를 생성 및 전송을 완료한 이후 일반 동작 모드를 나타내는 모드 설정 신호를 생성하여 카메라 제어부(120), 영상 처리부(130) 및 출력부(170)로 전송한다. 동작 분석부(150)는 일반 동작 모드를 나타내는 모드 설정 신호를 전송한 이후, 영상 정보를 영상 처리부(130)로부터 수신하고, 영상 정보를 분석하여 분석 데이터를 생성하고, 분석 데이터를 출력부(170)로 전송한다.
분석 데이터 저장 메모리(160)는 동작 분석부(150)로부터 수신한 분석 데이터를 저장하고, 출력부(170)로 분석 데이터를 전송한다.
출력부(170)는 동작 분석부(150)로부터 모드 설정 신호를 수신하고, 모드 설정 신호에 따라 분석 데이터 저장 메모리(160)에 저장된 분석 데이터를 외부 장치(예를 들어, 단말, 모니터 등의 데이터를 표시할 수 있는 장치)로 전송한다. 예를 들어, 출력부(170)는 동작 분석부(150)로부터 수신한 모드 설정 신호가 일반 동작 모드를 나타내는 경우(즉, 분석 모드가 종료된 경우), 분석 데이터 저장 메모리(160)에 저장된 분석 데이터를 외부 장치로 전송할 수 있다. 또한, 출력부(170)는 동작 분석부(150)로부터 분석 데이터를 수신하는 경우, 분석 데이터를 외부 장치로 전송할 수 있다.
도 4는 본 발명의 일 실시예에 따른 동작 분석 장치가 객체의 동작을 분석하는 과정을 예시한 순서도이다.
도 4를 참조하면, 단계 405에서 동작 분석 장치는 일반 촬영을 통해 영상을 생성한다. 이 때, 동작 분석 장치는 일반 촬영 또는 고속 촬영을 통해 영상을 생성할 수 있다.
단계 410에서 동작 분석 장치는 단계 405에서 생성한 영상에 대한 영상 정보를 생성한다. 이 때, 동작 분석 장치는 컴퓨터 비전 기반 알고리즘 등의 공지된 방법을 통해 영상 정보를 생성할 수 있다
단계 415에서 동작 분석 장치는 영상 정보에 대응하는 지정 동작이 고속 동작 모드에 대응하는지 판단한다. 고속 동작 모드는 객체가 고속 동작을 취할 때 설정되는 모드로써, 고속 촬영을 통해 정확한 사용자의 동작을 촬영한 영상을 획득하기 위한 모드이다.
단계 415에서 영상 정보에 대응하는 지정 동작이 고속 동작 모드에 대응하지 않는 경우, 단계 420에서 동작 분석 장치는 단계 405에서 생성한 영상에 대해 분석 데이터를 생성 및 출력한다.
단계 415에서 영상 정보에 대응하는 지정 동작이 고속 동작 모드에 대응하는 경우, 단계 425에서 동작 분석 장치는 고속 촬영을 통해 영상을 생성하고, 영상 저장 메모리(140)에 고속 촬영을 통해 생성한 영상을 저장한다.
단계 430에서 동작 분석 장치는 영상을 지정된 복수의 프레임 구간으로 분할하고, 각 프레임 구간의 대표 프레임에 대한 영상 정보를 생성하고, 대표 프레임에 대한 영상 정보를 참조하여 대표 프레임에 대한 분석 데이터를 생성한다. 이 때, 각 프레임 구간은 미리 지정된 수의 연속된 프레임을 포함하는 구간이고, 각 프레임 구간 내에서 미리 지정된 순서에 해당하는 프레임이 해당 프레임 구간의 대표 프레임일 수 있다. 이 때, 동작 분석 장치는 대표 프레임에 대한 분석 데이터를 출력하되, 분석 데이터를 분석 데이터 저장 메모리(160)에 저장할 수 있다.
단계 435에서 동작 분석 장치는 대표 프레임에 대한 분석 데이터에 대응하는 지정 동작이 분석 모드에 대응하는지 판단한다.
단계 435에서 대표 프레임에 대한 분석 데이터에 대응하는 지정 동작이 분석 모드에 대응하지 않는 경우, 동작 분석 장치는 단계 425부터의 과정을 반복 수행한다.
단계 435에서 대표 프레임에 대한 분석 데이터에 대응하는 지정 동작이 분석 모드에 대응하는 경우, 단계 440에서 동작 분석 장치는 영상 저장 메모리(140)에 저장된 영상의 대표 프레임 이외 나머지 프레임에 대한 분석 데이터를 생성 및 저장한다. 이 때, 동작 분석 장치는 분석 데이터를 분석 데이터 저장 메모리(160)에 저장할 수 있다. 또한, 동작 분석 장치는 전체 영상에 대한 분석 데이터를 생성 및 저장하는 동안 외부 장치로 영상 저장 메모리(140)에 저장된 영상을 느리게 재생하는 장면을 출력하거나, 미리 저장된 별도의 영상(예를 들어, 모범이 되는 골프 스윙 영상) 또는 데이터(예를 들어, 골프에 관련된 팁)를 출력할 수 있다.
단계 445에서 동작 분석 장치는 분석 데이터 저장 메모리(160)에 저장된 분석 데이터를 출력한다.
도 4에 예시되지 않았지만, 동작 분석 장치는 상술한 단계 445를 수행한 이후, 단계 405 부터의 과정을 다시 수행할 수 있다.
따라서, 본 발명의 일 실시예에 따른 동작 분석 장치는 객체가 고속의 동작을 수행하는 경우에만 고속 촬영을 통한 영상을 생성하여 분석함으로써, 객체의 모든 동작을 고속 촬영을 통한 영상을 생성하여 분석하는 것에 비해 영상의 생성 및 분석에 발생되는 부하를 줄일 수 있다. 또한, 본 발명의 일 실시예에 따른 동작 분석 장치는 촬영된 영상을 저장하는 영상 저장 메모리와 분석 데이터를 저장하는 분석 데이터 저장 메모리에 고속 촬영에 따른 영상과 분석 데이터만 저장하도록 하여 메모리를 효율적으로 이용하도록 할 수 있다.
상술한 본 발명의 일 실시예에 따른 동작 분석 장치는 컴퓨터 시스템으로 구현될 수 있다.
도 5는 발명의 일 실시예에 따른 동작 분석 장치가 구현된 컴퓨터 시스템을 예시한 도면이다.
본 발명에 따른 실시예는 컴퓨터 시스템 내에, 예를 들어, 컴퓨터 판독가능 기록매체로 구현될 수 있다. 도 5에 도시된 바와 같이, 컴퓨터 시스템(500)은 하나 이상의 프로세서(510), 메모리(520), 저장부(530), 사용자 인터페이스 입력부(540) 및 사용자 인터페이스 출력부(550) 중 적어도 하나 이상의 요소를 포함할 수 있으며, 이들은 버스(560)를 통해 서로 통신할 수 있다. 또한, 컴퓨터 시스템(500)은 네트워크에 접속하기 위한 네트워크 인터페이스(570)를 또한 포함할 수 있다. 프로세서(510)는 메모리(520) 및/또는 저장소(530)에 저장된 처리 명령어를 실행시키는 CPU 또는 반도체 소자일 수 있다. 메모리(520) 및 저장부(530)는 다양한 유형의 휘발성/비휘발성 기억 매체를 포함할 수 있다. 예를 들어, 메모리는 ROM(524) 및 RAM(525)를 포함할 수 있다.
이제까지 본 발명에 대하여 그 실시 예를 중심으로 살펴보았다. 전술한 실시 예 외의 많은 실시 예들이 본 발명의 특허청구범위 내에 존재한다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예는 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (12)

  1. 카메라;
    상기 카메라가 객체에 대한 일반 촬영을 수행하여 제1 영상을 생성하도록 제어하는 카메라 제어부; 및
    상기 제1 영상 상의 상기 객체의 동작이 고속 동작 모드에 대응하는 경우, 상기 고속 동작 모드를 나타내는 모드 설정 신호를 상기 카메라 제어부로 전송하는 동작 분석부;
    를 포함하되,
    상기 카메라 제어부는 상기 고속 동작 모드를 나타내는 모드 설정 신호를 수신하는 경우, 상기 카메라가 고속 촬영을 수행하여 제2 영상을 생성하도록 제어하고,
    상기 동작 분석부는 상기 제2 영상 상의 상기 객체의 동작이 분석 모드에 대응하는 경우, 상기 제2 영상에 대한 분석 데이터를 생성하는 것을 특징으로 하는 동작 분석 장치.
  2. 제1 항에 있어서,
    상기 제2 영상을 저장하는 영상 저장 메모리를 더 포함하되,
    상기 카메라 제어부는 상기 모드 설정 신호가 고속 동작 모드를 나타내는 경우, 상기 제2 영상을 상기 영상 저장 메모리로 전송하는 것을 특징으로 하는 동작 분석 장치.
  3. 제1 항에 있어서,
    상기 제2 영상을 미리 지정된 수의 프레임을 포함하는 프레임 구간으로 분할하고, 각 상기 프레임 구간의 대표 프레임에 대한 영상 정보를 생성하는 영상 처리부를 더 포함하되,
    상기 동작 분석부는 상기 대표 프레임에 대한 영상 정보를 참조하여 상기 대표 프레임에 상응하는 분석 데이터를 생성하고, 상기 분석 데이터를 참조하여 상기 객체의 동작이 분석 모드에 대응하는 것인지 판단하는 것을 특징으로 하는 동작 분석 장치.
  4. 제3 항에 있어서,
    상기 영상 처리부는 상기 모드 설정 신호가 분석 모드를 나타내는 경우, 상기 제2 영상의 프레임 중 대표 프레임을 제외한 나머지 프레임에 대해 영상 정보를 생성하고,
    상기 동작 분석부는 상기 나머지 프레임에 대한 영상 정보를 참조하여 분석 데이터를 생성하는 것을 특징으로 하는 동작 분석 장치.
  5. 제3 항에 있어서,
    상기 카메라 제어부는 상기 제1 영상을 상기 영상 처리부로 전송하고,
    상기 영상 처리부는 상기 제1 영상의 전체 프레임에 대한 영상 정보를 생성하여 상기 동작 분석부로 전송하고,
    상기 동작 분석부는 상기 제1 영상의 전체 프레임에 대한 영상 정보를 참조하여 상기 제1 영상 상의 상기 객체의 동작이 고속 동작 모드에 대응하는 것인지 판단하는 것을 특징으로 하는 동작 분석 장치.
  6. 제3 항에 있어서,
    상기 제2 영상에 대한 분석 데이터를 저장하는 분석 데이터 저장 메모리
    를 더 포함하되,
    상기 동작 분석부는 상기 제2 영상의 상기 대표 프레임에 대한 분석 데이터 및 상기 제2 영상의 상기 나머지 프레임에 대한 분석 데이터를 상기 분석 데이터 저장 메모리로 전송하는 것을 특징으로 하는 동작 분석 장치.
  7. 동작 분석 장치가 객체에 대한 동작을 분석하는 방법에 있어서,
    상기 객체에 대한 일반 촬영을 수행하여 제1 영상을 생성하는 단계;
    상기 제1 영상에 나타난 상기 객체의 동작이 고속 동작 모드에 상응하는 동작인 경우, 상기 객체에 대한 고속 촬영을 수행하여 제2 영상을 생성하는 단계; 및
    상기 제2 영상에 나타난 상기 객체의 동작이 분석 모드에 상응하는 동작인 경우, 상기 제2 영상의 영상 정보를 분석하여 분석 데이터를 생성하는 단계;
    를 포함하는 동작 분석 방법.
  8. 제7 항에 있어서,
    상기 제1 영상에 나타난 상기 객체의 동작이 고속 동작 모드에 상응하는 동작인 경우, 상기 제2 영상을 영상 저장 메모리에 저장하는 단계;
    를 더 포함하는 동작 분석 방법.
  9. 제7 항에 있어서,
    상기 제2 영상을 미리 지정된 수의 프레임을 포함하는 프레임 구간으로 분할하고, 각 상기 프레임 구간의 대표 프레임에 대한 영상 정보를 생성하는 단계;
    상기 대표 프레임에 대한 영상 정보를 참조하여 상기 대표 프레임에 상응하는 분석 데이터를 생성하는 단계; 및
    상기 분석 데이터를 참조하여 상기 객체의 동작이 분석 모드에 대응하는 것인지 판단하는 단계
    를 더 포함하는 것을 특징으로 하는 동작 분석 방법.
  10. 제9 항에 있어서,
    상기 제2 영상에 나타난 상기 객체의 동작이 분석 모드에 상응하는 동작인 경우, 상기 제2 영상의 영상 정보를 분석하여 분석 데이터를 생성하는 단계는,
    상기 제2 영상 중 상기 대표 프레임을 제외한 나머지 프레임에 대해 영상 정보를 생성하는 단계; 및
    상기 제2 영상의 상기 나머지 프레임에 대한 영상 정보를 참조하여 상기 분석 데이터를 생성하는 단계
    를 포함하는 것을 특징으로 하는 동작 분석 방법.
  11. 제10 항에 있어서,
    상기 제2 영상의 상기 대표 프레임에 상응하는 분석 데이터를 분석 데이터 저장 메모리에 저장하는 단계;
    상기 제2 영상의 상기 나머지 프레임에 상응하는 분석 데이터를 상기 분석 데이터 저장 메모리에 저장하는 단계; 및
    상기 제2 영상의 상기 대표 프레임에 상응하는 분석 데이터 및 상기 제2 영상의 상기 나머지 프레임에 상응하는 분석 데이터를 출력하는 단계;
    를 더 포함하는 것을 특징으로 하는 동작 분석 방법.
  12. 제1 항에 있어서,
    상기 제1 영상의 전체 프레임에 대한 영상 정보를 생성하는 단계; 및
    상기 제1 영상의 전체 프레임에 대한 영상 정보를 참조하여 상기 제1 영상 상의 상기 객체의 동작이 고속 동작 모드에 대응하는지 판단하는 단계;
    를 더 포함하는 것을 특징으로 하는 동작 분석 방법.
KR1020150093754A 2014-11-24 2015-06-30 동작 인식 장치 및 방법 Active KR102126370B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510977030.2A CN105654506A (zh) 2014-11-24 2015-11-24 用于分析运动的装置及方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020140164767 2014-11-24
KR20140164767 2014-11-24

Publications (2)

Publication Number Publication Date
KR20160062665A true KR20160062665A (ko) 2016-06-02
KR102126370B1 KR102126370B1 (ko) 2020-07-09

Family

ID=56135770

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150093754A Active KR102126370B1 (ko) 2014-11-24 2015-06-30 동작 인식 장치 및 방법

Country Status (2)

Country Link
KR (1) KR102126370B1 (ko)
CN (1) CN105654506A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180094532A (ko) * 2017-02-15 2018-08-24 한국전자통신연구원 연속된 깊이 영상들을 합성하여 사용자 동작을 학습하고 분석하는 방법 및 그 시스템
KR102042397B1 (ko) * 2018-07-30 2019-11-08 이노뎁 주식회사 압축영상에 대한 신택스 기반의 히트맵 생성 방법
KR20210126965A (ko) * 2020-04-13 2021-10-21 주식회사 삼육오엠씨네트웍스 동작 분석을 이용한 인공지능 기반의 무균 조작 평가 장치 및 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107864334A (zh) * 2017-11-09 2018-03-30 睿魔智能科技（东莞）有限公司 一种使用深度学习的智能镜头拍摄方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020021459A (ko) * 2000-09-15 2002-03-21 이수종 비디오 영상의 객체인식 방법
JP2011205282A (ja) * 2010-03-25 2011-10-13 Fujifilm Corp 撮像装置及び画像処理方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7801427B2 (en) * 2005-09-12 2010-09-21 Nokia Corporation Adjustment of shooting parameters in dependence of motion in a scene
US8150440B2 (en) * 2005-09-23 2012-04-03 Research In Motion Limited System and method for reducing power consumed by a wireless communication device
JP2009268584A (ja) * 2008-05-01 2009-11-19 Hiroshima Univ 動作解析装置、動作解析方法、プログラムおよび記録媒体
CN101299812B (zh) * 2008-06-25 2012-12-05 北京中星微电子有限公司 视频分析和存储方法、系统,及视频检索方法、系统
CN101860731B (zh) * 2010-05-20 2012-05-30 杭州普维光电技术有限公司 视频信息处理方法、系统及服务器
GB2485969A (en) * 2010-11-12 2012-06-06 Sony Corp Video surveillance with anticipated arrival time of object in another camera view
KR101822655B1 (ko) * 2011-06-21 2018-01-29 삼성전자주식회사 카메라를 이용한 물체 인식 방법 및 이를 위한 카메라 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020021459A (ko) * 2000-09-15 2002-03-21 이수종 비디오 영상의 객체인식 방법
JP2011205282A (ja) * 2010-03-25 2011-10-13 Fujifilm Corp 撮像装置及び画像処理方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180094532A (ko) * 2017-02-15 2018-08-24 한국전자통신연구원 연속된 깊이 영상들을 합성하여 사용자 동작을 학습하고 분석하는 방법 및 그 시스템
KR102042397B1 (ko) * 2018-07-30 2019-11-08 이노뎁 주식회사 압축영상에 대한 신택스 기반의 히트맵 생성 방법
KR20210126965A (ko) * 2020-04-13 2021-10-21 주식회사 삼육오엠씨네트웍스 동작 분석을 이용한 인공지능 기반의 무균 조작 평가 장치 및 방법

Also Published As

Publication number Publication date
KR102126370B1 (ko) 2020-07-09
CN105654506A (zh) 2016-06-08

Similar Documents

Publication Publication Date Title
US9600898B2 (en) Method and apparatus for separating foreground image, and computer-readable recording medium
US11141557B2 (en) Information processing apparatus, information processing method, and storage medium
US20140254891A1 (en) Method and apparatus for registering face images, and apparatus for inducing pose change, and apparatus for recognizing faces
JP2013058828A (ja) 笑顔判定装置及び方法
EP3699865B1 (en) Three-dimensional face shape derivation device, three-dimensional face shape deriving method, and non-transitory computer readable medium
US10078918B2 (en) Information processing apparatus, information processing method, and storage medium
WO2018102880A1 (en) Systems and methods for replacing faces in videos
CN111950401B (zh) 确定关键点区域位置的方法、图像处理系统、设备和介质
US10575717B2 (en) Capsule endoscope, capsule endoscope system, and method for controlling capsule endoscope
US10600202B2 (en) Information processing device and method, and program
KR20160062665A (ko) 동작 인식 장치 및 방법
KR101636171B1 (ko) 스켈레톤 트래킹 방법 및 이를 이용한 스켈레톤 트래킹 시스템
CN115037869B (zh) 自动对焦方法、装置、电子设备及计算机可读存储介质
CN115342806A (zh) 头戴显示设备的定位方法、装置、头戴显示设备及介质
CN108804161B (zh) 应用的初始化方法、装置、终端和存储介质
JP2018081402A (ja) 画像処理装置、画像処理方法、及びプログラム
US12051148B2 (en) Image processing apparatus, method for controlling the same, and non-transitory computer-readable storage medium
EP4677546A1 (en) Image based reconstruction of 3d landmarks for use in generation of personalized head-related transfer functions
US10853952B2 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
US11869217B2 (en) Image processing apparatus, detection method, and non-transitory computer readable medium
JP7183005B2 (ja) 肌解析方法及び肌解析システム
JP2017102748A (ja) 瞳画像学習装置、瞳位置検出装置及びそのプログラム
JP7323234B2 (ja) ガイド方法
US20240273745A1 (en) Adaptive frame rate for low power slam in xr
CN110419075A (zh) 显示控制装置、显示控制装置的控制方法以及控制程序

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20150630

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20180320

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20150630

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20190829

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20200318

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20200618

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20200619

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20230523

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20231127

Start annual number: 5

End annual number: 5