KR20150101088A - 3차원 영상 획득 및 제공방법 - Google Patents

3차원 영상 획득 및 제공방법 Download PDF

Info

Publication number
KR20150101088A
KR20150101088A KR1020140022315A KR20140022315A KR20150101088A KR 20150101088 A KR20150101088 A KR 20150101088A KR 1020140022315 A KR1020140022315 A KR 1020140022315A KR 20140022315 A KR20140022315 A KR 20140022315A KR 20150101088 A KR20150101088 A KR 20150101088A
Authority
KR
South Korea
Prior art keywords
acquiring
face
dimensional image
present
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Abandoned
Application number
KR1020140022315A
Other languages
English (en)
Inventor
김남우
이승재
김동진
강래원
이병국
신동학
Original Assignee
(주) 에핀
아이리얼 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 에핀, 아이리얼 주식회사 filed Critical (주) 에핀
Priority to KR1020140022315A priority Critical patent/KR20150101088A/ko
Publication of KR20150101088A publication Critical patent/KR20150101088A/ko
Abandoned legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본발명은 3차원 영상 획득 및 제공방법에 관한 것으로, 3차원 영상 정보 획득 시, 사용자의 시점을 감지하고, 사용자가 바라보는 시점과 동일하게 스테레오 카메라를 이용하여 획득함으로써 정확한 3차원 영상을 획득 및 제공하는 것으로,
본발명은 3차원 영상 정보 획득 시, 사용자의 시점을 감지하고, 사용자가 바라보는 시점과 동일하게 스테레오 카메라를 이용하여 획득함으로써 정확한 3차원 영상 획득 및 제공하는 현저한 효과가 있다.

Description

3차원 영상 획득 및 제공방법{3D image acquisition and providing method}
본발명은 3차원 영상 정보 획득 시, 사용자의 시점을 감지하고, 사용자가 바라보는 시점과 동일하게 스테레오 카메라를 이용하여 획득하여 제공하는 3차원 영상 획득 및 제공방법에 관한 것이다.
일반적으로 3차원 영상 획득 및 제공방법 관련기술에 대하여, 등록특허공보 등록번호 10-0897542호에는 서로 다른 카메라로부터 획득한 적어도 두 개의 영상에 대한 기본 행렬을 연산하는 단계(a); 상기 서로 다른 카메라로부터 획득한 적어도 두개의 영상에 대한 에피폴을 연산하는 단계(b); 적어도 두 개의 영상 중 하나를 기준 영상으로 설정하고, 상기 연산된 에피폴 및 기본 행렬 정보에 기초하여 다른 영상과 상기 기준 영상의 에피폴라 선을 평행하게 변환하는 다수의 투영 변환 호모그래피를 산출하는 단계(c); 상기 다수의 투영 변환 호모그래피 중 영상의 왜곡을 최소화하기 위한 투영 변환 호모그래피를 선택하는 단계(d); 및 상기 선택된 투영 변환 호모그래피에 기초하여 기준 영상 이외의 영상을 보정하는 단계(e)를 포함하되, 상기 단계(a)에서 카메라로부터 서로 다른 시점에서의 두 개의 영상이 획득될 경우, 제1 영상에 대한 에피폴(e) 및 제2 영상에 대한 에피폴(e')은 다음의 수학식에 연산되는 것을 특징으로 하는 임의 시점 영상 합성 시 영상 보정 방법이 공개되어 있다.
또한, 등록특허공보 등록번호 10-0677219호에는 입력되는 영상들을 이용하여 변위지도, 에지 결과값 및 피부색을 추출하는 제1검출부와, 상기 제1검출부에서 추출된 피부색의 픽셀들에서 중심후보 좌표(Xi, Yi) 및 얼굴크기 값을 추출하는 제2검출부와, 상기 제1검출부에서 추출된 에지 결과값에 상기 제2검출부에서 추출된 중심후보 좌표(Xi, Yi) 및 얼굴크기 값을 적용하여 얼굴모양 정도값을 추출하는 제3검출부와, 상기 제3검출부에서 추출된 얼굴모양 및 그 중심 좌표값을 저장하여 얼굴을 추출하는 얼굴영역 추출부로 구성된 것을 특징으로 하는 얼굴영상 추출장치가 공개되어 있다.
그러나 상기 종래기술들은 3차원 영상 정보 획득 시, 사용자가 바라보는 시점과 동일하게 스테레오 카메라를 이용하여 획득하지 않음으로써 정확한 3차원 영상 획득이 곤란하다는 단점이 있었다.
따라서 본 발명은 상기와 같은 문제점을 해결하고자 안출된 것으로서, 3차원 영상 정보 획득 시, 사용자의 시점을 감지하고, 사용자가 바라보는 시점과 동일하게 스테레오 카메라를 이용하여 획득함으로써 정확한 3차원 영상 획득 및 제공하는 3차원 영상 획득 및 제공방법을 제공하고자 하는 것이다.
본발명은 3차원 영상 획득 및 제공방법에 관한 것으로, 3차원 영상 정보 획득 시, 사용자의 시점을 감지하고, 사용자가 바라보는 시점과 동일하게 스테레오 카메라를 이용하여 획득함으로써 정확한 3차원 영상을 획득 및 제공하는 것을 특징으로 한다.
따라서 본발명은 3차원 영상 정보 획득 시, 사용자의 시점을 감지하고, 사용자가 바라보는 시점과 동일하게 스테레오 카메라를 이용하여 획득함으로써 정확한 3차원 영상 획득 및 제공하는 현저한 효과가 있다.
도 1은 본발명의 개념도
도 2는 본발명의 시스템 구성도
도 3은 본발명의 시스템 동작도
도 4는 본발명의 페이스 모델링 사진
도 5는 본발명의 페이스 모델링 정합확인 사진
도 6은 본발명의 2차원 상 P1, P2 표현 사진
도 7은 본발명의 페이스 트랙킹(face tracking) 사진
도 8은 본발명의 페이스 로테이팅(face rotating) 사진
도 9는 본발명의 리니어 스테이지(Linear Stage) 사진
도 10은 본발명의 리니어 쉬프팅(Linear shifting)사진
도 11은 본발명의 틸트 로테이팅(Tilt Rotating)사진
본발명은 3차원 영상 획득 및 제공방법에 관한 것으로, 3차원 영상 정보 획득 시, 사용자의 시점을 감지하고, 사용자가 바라보는 시점과 동일하게 스테레오 카메라를 이용하여 획득함으로써 정확한 3차원 영상을 획득 및 제공하는 것을 특징으로 한다.
또한, 상기 3차원 영상 획득 및 제공방법은 키넥트를 이용하여 사용자의 얼굴을 인식하는 단계; 전송받은 좌표로 스테레오 카메라의 이동 및 회전하는 단계; 스테레오 카메라를 이용하여 3차원 영상을 획득하는 단계; 통신을 이용하여 획득된 3차원 영상데이터를 전송하는 단계; 전송받은 3차원 영상데이터를 이용하여 3D 모니터에 재현하는 단계; 재현된 3차원 영상을 사용자가 확인하는 단계를 포함하는 것을 특징으로 한다.
또한, 상기 사용자의 얼굴을 인식하는 단계는 얼굴 인식 시, 얼굴의 이동 및 좌우 회전 정보를 분석하는 것을 특징으로 한다.
본발명을 첨부도면에 의해 상세히 설명하면 다음과 같다. 도 1은 본발명의 개념도, 도 2는 본발명의 시스템 구성도, 도 3은 본발명의 시스템 동작도, 도 4는 본발명의 페이스 모델링 사진, 도 5는 본발명의 페이스 모델링 정합확인 사진, 도 6은 본발명의 2차원 상 P1, P2 표현 사진, 도 7은 본발명의 페이스 트랙킹(face tracking) 사진, 도 8은 본발명의 페이스 로테이팅(face rotating) 사진, 도 9는 본발명의 리니어 스테이지(Linear Stage) 사진, 도 10은 본발명의 리니어 쉬프팅(Linear shifting)사진, 도 11은 본발명의 틸트 로테이팅(Tilt Rotating)사진이다.
본발명은 먼저 키넥트를 이용하여 사용자의 얼굴인식을 한다. 이때 얼굴 인식 시, 얼굴의 이동 및 좌우 회전 정보를 분석한다. 이후 얼굴의 중심좌표 값을 통신을 이용하여 리니어 시스템으로 전송한다.
이후 전송받은 좌표로 스테레오 카메라를 이동 및 회전한다. 이후 스테레오 카메라를 이용하여 3차원 영상을 획득한다. 이후 통신을 이용하여 획득된 3차원 영상데이터를 전송한다.
이후 전송받은 3차원 영상데이터를 이용하여 3D 모니터에 재현한다. 이후 재현된 3차원 영상을 사용자가 확인한다.
본발명에서 사용되는 키넥트는 공간 상의 얼굴 위치를 확인하는 것으로, 이동 및 회전 정보를 가진다. 스테레오 카메라는 입체 영상을 획득하는 기능을 가진다. 틸트 모터는 서어보모터로서 정역회전이 가능한 스텝모터를 사용한다. 상기 틸트 모터는 스테레오 카메라를 좌우 회전시킨다.
그리고 다른 하나의 모터는 리니어 스테이지를 좌우로 움직여서 상기 리니어 스테이지 상면에 부착된 스테레오 카메라를 좌우 이동시키는 것으로, 상기 모터도 서어보모터로서 정역회전이 가능한 스텝모터를 사용한다.
그리고 상기 스테레오 카메라 및, 스테레오 카메라를 좌우회전시키는 틸트 모터는 모두 상기 리니어 스테이지 상면에 부착된다.
상기 스테레오 카메라는 얼굴과 동일하게 이동 및 좌우 회전 기능을 가진다.
그리고 각각의 모터는 시리얼 통신을 이용하여 컴퓨터로 제어한다. 한편, 시스템을 구동하기 전, 사전에 미리 페이스 모델링을 다음과 같이 구성한다.
컴퓨터와 연결된 카메라를 이용하여 영상을 획득하고 획득된 영상으로부터 페이스 트래킹 알고리즘을 적용함으로써 페이스 영역을 추출하게 되고, 추출된 페이스 영역에 사전에 구성된 모델링 데이터를 표시함으로써 페이스와의 정합을 확인할 수 있다.
실제 구성은 키넥트를 이용하나, 한편 실험에서는 3차원 공간좌표가 필요하지 않으므로, 키넥트에 장착된 카메라만을 이용할 수 있다. 따라서, 일반적인 PC카메라 1대 만으로도 구성이 가능하다.
페이스 트래킹 알고리즘에 의해 추출된 페이스의 중심좌표를 이용하여 스테이지의 x축 좌표 이동 값을 확인하여 동작하고, 또한 페이스의 기울어진 각도를 연산함으로써 Tilt의 로테이션 값을 적용하여 동작시킬 수 있다.
이동 값에 대한 수식은
Figure pat00001
로 표현 가능하며,
이때,
Figure pat00002
: 좌표의 이동거리,
Figure pat00003
: 현재 카메라 프레임에서의 얼굴 중심좌표
Figure pat00004
: 이전 카메라 프레임에서의 얼굴 중심좌표
로 정의될 수 있다.
회전 값에 대한 수식은
2차원 상의 점
Figure pat00005
,
Figure pat00006
는 각각
Figure pat00007
,
Figure pat00008
로 표현될 수 있고, 이를 다시 표현하면,
Figure pat00009
,
Figure pat00010
로 재 표현될 수 있다.
두 점 사이의 기울어진 각도는 삼각함수
Figure pat00011
의 정의에 의해 연산되어 진다.
따라서,
Figure pat00012
,
Figure pat00013
이므로,
Figure pat00014
로 연산할 수 있다.
위와 같이 확인된 이동 및 회전 정보를 이용하여, 리니어 스테이지의 모터 및 틸트 모터에 시리얼 통신 값으로 전원을 인가함으로서 정확한 위치 및 각도 제어가 가능하다.
따라서 본발명은 3차원 영상 정보 획득 시, 사용자의 시점을 감지하고, 사용자가 바라보는 시점과 동일하게 스테레오 카메라를 이용하여 획득함으로써 정확한 3차원 영상 획득 및 제공하는 현저한 효과가 있다.

Claims (3)

  1. 3차원 영상 정보 획득 시, 사용자의 시점을 감지하고, 사용자가 바라보는 시점과 동일하게 스테레오 카메라를 이용하여 획득함으로써 정확한 3차원 영상을 획득 및 제공하는 것을 특징으로 하는 3차원 영상 획득 및 제공방법
  2. 제1항에 있어서, 상기 3차원 영상 획득 및 제공방법은 키넥트를 이용하여 사용자의 얼굴을 인식하는 단계;
    전송받은 좌표로 스테레오 카메라의 이동 및 회전하는 단계;
    스테레오 카메라를 이용하여 3차원 영상을 획득하는 단계;
    통신을 이용하여 획득된 3차원 영상데이터를 전송하는 단계;
    전송받은 3차원 영상데이터를 이용하여 3D 모니터에 재현하는 단계;
    재현된 3차원 영상을 사용자가 확인하는 단계를 포함하는 것을 특징으로 하는 3차원 영상 획득 및 제공방법
  3. 제2항에 있어서, 상기 사용자의 얼굴을 인식하는 단계는 얼굴 인식 시, 얼굴의 이동 및 좌우 회전 정보를 분석하는 것을 특징으로 하는 3차원 영상 획득 및 제공방법
KR1020140022315A 2014-02-26 2014-02-26 3차원 영상 획득 및 제공방법 Abandoned KR20150101088A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140022315A KR20150101088A (ko) 2014-02-26 2014-02-26 3차원 영상 획득 및 제공방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140022315A KR20150101088A (ko) 2014-02-26 2014-02-26 3차원 영상 획득 및 제공방법

Publications (1)

Publication Number Publication Date
KR20150101088A true KR20150101088A (ko) 2015-09-03

Family

ID=54242322

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140022315A Abandoned KR20150101088A (ko) 2014-02-26 2014-02-26 3차원 영상 획득 및 제공방법

Country Status (1)

Country Link
KR (1) KR20150101088A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110300946A (zh) * 2017-02-14 2019-10-01 微软技术许可有限责任公司 智能助理

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110300946A (zh) * 2017-02-14 2019-10-01 微软技术许可有限责任公司 智能助理
CN110300946B (zh) * 2017-02-14 2021-11-23 微软技术许可有限责任公司 智能助理
US11194998B2 (en) 2017-02-14 2021-12-07 Microsoft Technology Licensing, Llc Multi-user intelligent assistance

Similar Documents

Publication Publication Date Title
US12348698B2 (en) Capturing and aligning panoramic image and depth data
US11308347B2 (en) Method of determining a similarity transformation between first and second coordinates of 3D features
US9460517B2 (en) Photogrammetric methods and devices related thereto
KR101761751B1 (ko) 직접적인 기하학적 모델링이 행해지는 hmd 보정
US7336814B2 (en) Method and apparatus for machine-vision
KR101633620B1 (ko) 영상 기반의 위치 인식을 위한 특징점 등록 장치 및 그 방법
EP3640889B1 (en) In situ creation of planar natural feature targets
KR20150050172A (ko) 관심 객체 추적을 위한 다중 카메라 동적 선택 장치 및 방법
WO2018140656A1 (en) Capturing and aligning panoramic image and depth data
CN103916654A (zh) 获得深度信息的方法和显示设备
KR100574227B1 (ko) 카메라 움직임을 보상한 객체 움직임 추출 장치 및 그 방법
KR101611427B1 (ko) 영상 처리 방법 및 이를 수행하는 영상 처리 장치
JP5299101B2 (ja) 周辺表示装置
KR101945097B1 (ko) 사용자 시점 대응 원격지의 3차원 영상 획득 및 제공 방법
KR20150101088A (ko) 3차원 영상 획득 및 제공방법
CN118409589A (zh) 限制区域设置方法、自移动设备、终端设备及存储介质
JP7708089B2 (ja) 情報処理装置、情報処理方法及びコンピュータプログラム
KR20060094929A (ko) 모서리 형태를 이용한 이동로봇의 자기위치 검출 시스템 및방법
US20250391057A1 (en) Automatic extrinsic camera calibration using a projected pattern
KR20200063310A (ko) 시계열 영상 데이터를 이용한 차량 주변의 사물 인식 장치 및 방법
JP7418981B2 (ja) 画像処理装置、制御方法、およびプログラム
EP3648060A1 (en) 3d rapid prototyping on mobile devices
KR20250069139A (ko) 다시점 카메라의 캘리브레이션 장치 및 그 방법
KR101973675B1 (ko) 3d 영상 기반 로봇 원격 조작 방법 및 3d 영상 기반 원격 조작 로봇

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20140226

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20150320

Patent event code: PE09021S01D

PG1501 Laying open of application
E90F Notification of reason for final refusal
PE0902 Notice of grounds for rejection

Comment text: Final Notice of Reason for Refusal

Patent event date: 20150923

Patent event code: PE09021S02D

N231 Notification of change of applicant
PN2301 Change of applicant

Patent event date: 20151112

Comment text: Notification of Change of Applicant

Patent event code: PN23011R01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20160309

NORF Unpaid initial registration fee
PC1904 Unpaid initial registration fee