KR20200038262A - 환경과 자기장 내에서 움직이는 물체의 움직임을 추정하기 위한 방법 - Google Patents

Abstract

본 발명은 환경(Σ)과 주변 자기장에서 움직이는 물체(1)의 움직임을 추정하기 위한 방법에 관한 것으로, 본 방법은 다음 단계들을 포함한다:
(a) ○ 상기 물체(1)에 대해 고정된 관성 측정 수단(24)에 의해, 관성 데이텀으로 지정된, 물체(1)의 가속도 및/또는 각속도의 성분 중의 적어도 하나;
○ 상기 물체(1)에 대해 고정된 자성 측정 수단(20)에 의해, 자성 측정 수단(20)에서, 자기 데이텀으로 지정된, 자기장 및/또는 자기장의 i차 미분의 성분 중 적어도 하나;
○ 상기 물체(1)에 대해 고정된 광학 획득 수단(26)에 의해, 시각 데이텀으로 지정된, 환경(Σ)의 연속 이미지들;을 획득하는 단계,
(b) 데이터 처리 수단(21, 31, 41)에 의해, 관성 데이텀 뿐만 아니라 자성 데이터 및/또는 시각 데이텀을 사용하여 상기 물체(1)의 움직임의 적어도 하나의 성분을 추정하는 단계.

Description

환경과 자기장 내에서 움직이는 물체의 움직임을 추정하기 위한 방법

본 발명은 GPS 없는 내비게이션 분야에 관한 것이다.

더 정확하게는, 본 발명은 자성-시각-관성 기술에 의해 물체의 움직임을 추정하는 방법에 관한 것이다.

소위 시각-관성 내비게이션 기술 또는 VINS(vision-aided inertial navigation systems, 시각-보조 관성 항법 시스템)은 정적으로 여겨지는 환경에서 물체의 속도(및 그로부터 적분에 의해, 위치)를 정밀하게 추정할 수 있도록 하였다.

정확하게는, 기존의 관성 기술에서 이미 사용되는 공식들의 보완으로서, 연속적으로 획득된 환경의 이미지들이 비교되어, (일반적으로 관성 유닛의 자이로미터로 측정되는) 각속도 벡터

로부터 (선형) 속도 벡터 V가 추정된다. 또한 동일한 결과를 위해 정적인 환경으로부터 물체의 이미지를 획득하는 것도 가능하다.

물체의 속도에 대한 이 정보 덕분에, 위치 추정 상의 오류는 최악의 경우에 시간에 비례하는데, 기존의 전통적인 관성 기술에서는 시간의 제곱에 비례하였다.

그러므로 이러한 시각-관성 기술은 만족을 제공하고, 기존의 관성을 사용한 방법에 비해 낮은 성능의 관성 센서만을 요구하며(Kalman 필터나 위치와 속도를 추정하기를 원하는 물체에 내장된 자이로미터나 가속도계로부터 오는 정보의 다른 측정기를 통한 적분에 기초한다: 전형적으로, 자이로미터는 기준 프레임을 "유지"하는데, 가속도계 측정의 이중 시간 적분은 움직임을 추정할 수 있게 한다) 따라서 부피가 덜 나간다.

그러므로, 관성 유닛에 대해 고정된 적어도 하나의 카메라에 적어도 하나의 관성 유닛이 결합된다. 이 센서들로부터 나오는 데이터는 전자 획득 및 계산 카드에 전달되어 위치 및 속도 정보를 사용자에게 방정식 시스템의 해상도로 전달한다.

그러나, VINS는 오늘날 2가지 문제를 겪고 있는 것으로 보인다:

- 전력 소모가 많다. 사실, MEMS 타입의 표준 관성 센서들의 전력 소비가 미미한 반면, 카메라와 특히 이미지를 처리하기 위해 필요한 프로세서의 전력 소모는 약 2자리수 만큼 더 크다("Vision-inertial Odometry on Chip: An algorithm-and-Hardware Co-design Approach", Zhengdong Zhang, Amr Suleiman, Luca Carlone, Vivienne Sze, Sertac Karaman, 2017을 보라). 그러므로 약 10 와트의 전력이 CPU 아키텍쳐 상의 시스템을 동작시키는데 필요한 것으로 인식되는데, 시스템이 배터리로 작동하는 경우에는 문제가 된다.

- 그들은 환경을 쉽게 구분할 수 있는 이미지를 필요로 하는데, 이것은 흔히 외부 환경을 돌아다니고 표준적으로 카메라를 장비한 드론에서 사용되는 것이고("야외"라 지칭되며, 흔히 자연 또는 도시이다) 밝고 다양한 풍경을 가지지만, 내부 환경("실내"라고 지칭됨)에서는 사실상 작동이 불가능한데, 어두운 터널이나 텍스처가 별로 없는 벽을 가진 방과 같은 경우이다. 이에 더하여, 그러한 상황에서 시스템이 직면하는 반응은 카메라의 게인(gain)을 증가시키는 것이다. 대안적으로, 더 고품질의 카메라(빛에 더 민감한)를 제공하는 것도 가능하나, 상당히 부피가 커지며(센서와 렌즈의 사이즈), 대중적인 카메라 이상을 필요로 한다. 유사하게, 환경에서 카메라가 고정된 시스템의 경우에, 목표물을 물체 뒤로 숨기는 장애물이 있을 수 있다.

게다가, 이 시스템들은 다양한 정도에서, 시야가 주로 세상의 정적인 부분을 분할한다는 전제하에 있는데, 풍경이 동적인 경우에는 일시적으로 옳지 않을 수 있다. 만약 이미지 내의 동적 영역으로부터 정적 영역들을 분할하는 순수한 시각적 방법이 발견된다면, 그 방법은, 많은 계산을 요구하고, 전력 소비를 증가시킬 가능성이 높다.

전력 소비 문제를 해결하기 위해, 하드웨어 지원을 변경할 수 있으며, 무거운 연산을 FPGA 상에서 수행하거나 또는 ASIC 또는 심지어 특화된 프로세서(예컨대 마이크로소프트의 "HPU"를 보라)를 설정하는 것이 있으나, 매우 비싸다는 문제가 남는다.

대안적으로, 성능과 전력 소비 사이의 타협점을 찾는 것이 제안되고 있는데, 예컨대 획득되는 이미지의 해상도, 그 품질(모노크롬 카메라의 사용)이나 획득 빈도를 감소시키는 것이다. 그러한 해결책은 전술한 문제되는 상황들에서 성능을 더 저하시킨다.

특히 실내와 같은 어려운 환경에서도 성능을 향상시키면서 전기 소모를 상당히 저감하는, 새로운 시각-관성 내비게이션 방법이 이용가능하다면 바람직할 것이다.

FR 2914739

"Vision-inertial Odometry on Chip: An algorithm-and-Hardware Co-design Approach", Zhengdong Zhang, Amr Suleiman, Luca Carlone, Vivienne Sze, Sertac Karaman, 2017

본 발명은 환경과 자기장 내에서 움직이는 물체의 움직임을 추정하기 위한 방법을 제공하는 것을 목적으로 한다.

본 발명은 제1 측면의 제1 대안에 따라, 환경 및 주변 자기장에서 움직이는 물체의 움직임을 추정하는 방법에 관한 것으로, 다음 단계들을 포함하는 것을 특징으로 한다:

(a) ○ 상기 물체에 대하여 고정된 관성 측정 수단(inertial measurement means)에 의하여, 관성 데이텀(inertial datum)으로 지정된, 물체의 가속도 및/또는 각속도 중의 적어도 하나의 성분;

○ 상기 물체에 대하여 고정된 자기 측정 수단(magnetic measurement means)에 의하여, 자기 데이텀으로 지정된, 자기 측정 수단에서의 자기장 및/또는 자기장의 i차 미분 중의 적어도 하나의 성분;

○ 상기 물체에 대하여 고정된 광학 획득 수단(optical acquisition means)에 의하여, 시각 데이텀으로 지정된, 환경(Σ)의 연속적인 이미지들;

을 획득하는 단계;

(b) 데이터 처리 수단에 의하여, 관성 데이텀 뿐만 아니라 자기 데이텀과 시각 데이텀으로부터 선택된 데이텀 또는 데이터를 사용하여, 상기 물체의 움직임의 적어도 하나의 성분을 추정하는 단계;

본 발명은, 제1 측면의 제2 대안에 따라, 환경 및 주변 자기장에서 움직이는 물체의 움직임을 추정하는 방법에 관한 것으로, 다음 단계들을 포함하는 것을 특징으로 한다:

(a) ○ 상기 물체에 대하여 고정된 관성 측정 수단에 의하여, 관성 데이텀으로 지정된, 물체의 가속도 및/또는 각속도 중의 적어도 하나의 성분;

○ 상기 물체에 대하여 고정된 자기 측정 수단에 의하여, 자기 데이텀으로 지정된, 자기 측정 수단에서의 자기장 및/또는 자기장의 i차 미분 중의 적어도 하나의 성분;

○ 환경에 대하여 고정된 광학 획득 수단에 의하여, 시각 데이텀으로 지정된, 상기 물체의 연속적인 이미지들;

을 획득하고, 자기 데이텀 및/또는 시각 데이텀의 유효성을 평가하고, 상기 유효성 평가의 결과의 함수로서 자기 데이텀 및/또는 시각 데이텀을 선택하는 단계;

(b) 데이터 처리 수단에 의하여, 관성 데이텀 뿐만 아니라 자기 데이텀과 시각 데이텀으로부터 선택된 데이텀 또는 데이터를 사용하여, 상기 물체의 움직임의 적어도 하나의 성분을 추정하는 단계;

다른 유리하고 비-한정적인 특징에 따르면:

● 단계 (a)는 자기 데이텀 및/또는 시각 데이텀의 선택을 포함하고, 단계 (b)에서 사용된 데이터는 관성 데이텀을 초과하여 선택된 데이텀 또는 데이터이고;

● 단계 (a)는 자기 데이텀 및/또는 시각 데이텀의 유효성을 평가하고, 상기 유효성 평가의 결과의 함수로서 자기 데이텀 및/또는 시각 데이텀을 선택하고;

● 자기 데이텀과 시각 데이텀 중의 하나는 디폴트(default) 데이텀이고 다른 하나는 재설정 데이텀이며, 유효성의 평가는 디폴트 데이텀에 대하여 구현되고, 선택된 데이텀은:

- 디폴트 데이텀이 유효한 것으로 평가되면 디폴트 데이텀,

- 디폴트 데이텀이 유효한 것으로 평가되지 않으면 재설정 데이텀인,

● 자기 데이텀 및/또는 시각 데이텀의 유효성의 평가는, 움직임의 추정 상의 불확정성의 평가를 포함하고;

● 자기 데이텀의 유효성의 평가는, 배경 자기장의 정상성(stationarity)의 평가, 또는 경사도(gradient)의 비-균일성(non-uniformity)의 평가를 포함하고;

● 시각 데이텀의 유효성의 평가는, 관심 지점의 숫자의 평가, 광도의 평가, 이미지 콘트라스트(contrast) 지표의 평가, 또는 광학 획득 수단이 환경에 대하여 고정된 경우 이미지에서 물체의 감지의 성공의 평가를 포함하고;

● 단계 (b)는 바람직하게는, 관성 데이텀 뿐만 아니라 자기 데이텀 및/또는 시각 데이텀을 사용하여 환경을 매핑하기 위한 요소들을 구축하는 제1 하위 단계(b1) 및 상기 매핑 요소들로부터 물체(1)의 움직임의 적어도 하나의 요소를 평가하는 제2 하위 단계(b2)를 포함하고;

● 관성 데이텀 뿐만 아니라 자기 데이텀 및/또는 시각 데이텀을 사용하여 환경을 매핑하기 위한 요소들을 구축하는 제1 하위 단계(b1)는, 먼저 관성 데이텀 뿐만 아니라 자기 데이텀을 사용하여 환경을 매핑하기 위한 요소들을 거칠게 구축하고, 그 후 시각 데이텀을 사용하여 환경을 매핑하기 위한 요소들을 정제하는 것을 포함하고;

● 단계 (a)는 관성 측정 수단, 자기 측정 수단 및 광학 획득 수단 중의 하나의 선행 캘리브레이션을 다른 둘에 의해 획득된 데이터와 함께 하는 것을 포함한다.

제2 측면에 따르면, 본 발명은 이하를 구현하도록 구성된 데이터 처리 수단을 포함하는 것을 특징으로 하는, 환경과 배경 자기장에서 움직이는 물체의 움직임을 추정하기 위한 장비와 관련된 것이다:

- ○ 상기 물체에 대하여 고정된 관성 측정 수단에 의하여 획득된, 관성 데이텀으로 지정된, 물체의 가속도 및/또는 각속도 중의 적어도 하나의 성분;

○ 상기 물체에 대하여 고정된 자기 측정 수단에 의하여, 자기 데이텀으로 지정된, 자기장 및/또는 자기장의 i차 미분 중의 적어도 하나의 성분;

○ 상기 물체 또는 환경에 대하여 각각 고정된 광학 획득 수단에 의하여, 시각 데이텀으로 지정된, 환경 또는 물체의 연속적인 이미지들;

을 수신하는 모듈

- 관성 데이텀 뿐만 아니라 자기 데이텀와 시각 데이텀 중에서 선택된 데이텀 또는 데이터를 사용하여, 상기 물체의 움직임의 적어도 하나의 성분을 추정하는 모듈;

다른 유리하고 비-한정적인 특징에 따르면:

● 장비는 자기 측정 수단 및/또는 관성 측정 수단(24) 및/또는 광학 획득 수단을 포함하는 케이스이다;

● 장비는 자기 측정 수단, 관성 측정 수단 및 광학 획득 수단과 통신하기에 적합한, 모바일 터미널 또는 서버이다.

제2 측면에 따르면, 본 발명은 본 발명의 제2 측면에 따른 장비 및 연결된 자기 측정 수단, 관성 측정 수단 및 광학 획득 수단을 포함하는 시스템이다.

제3 및 제4 측면에 따르면, 본 발명은 컴퓨터 상에서 프로그램이 실행되었을 때, 제1 측면에 따른 환경과 배경 자기장에서 움직이는 물체의 움직임을 추정하기 위한 방법의 실행을 위한 코드 명령어들을 포함하는 컴퓨터 프로그램 제품이고; 컴퓨터 장비에 의해 판독가능한 저장 매체로서, 컴퓨터 장비 상의 컴퓨터 프로그램 제품은 제1 측면에 따른 환경과 배경 자기장에서 움직이는 물체의 움직임을 추정하기 위한 방법의 실행을 위한 코드 명령어들을 포함하는, 컴퓨터 장비에 의해 판독가능한 저장 매체이다.

본 발명에 따르면 환경과 자기장 내에서 움직이는 물체의 움직임을 추정하기 위한 방법이 제공된다.

본 발명의 다른 특징 및 장점들은 이하의 선호되는 실시예들의 설명을 읽음으로써 명확해질 것이다. 본 설명은 이하의 첨부된 도면들을 참조하여 주어진다:
- 도 1은 본 발명에 따른 대안적인 방법의 구현을 위한 장비의 다이어그램이다.
- 도 2는 다른 대안에 따른 본 발명에 따른 방법의 구현을 위한 경우의 예시를 더 상세히 나타낸 것이다.
- 도 3은 제1 대안에 따른 본 발명에 따른 방법의 구현을 위한 경우의 예시를 더 상세히 나타낸 것이다.

원리

본 발명은 추가적인 자기-관성 내비게이션 기술을 구현하기 위하여 VINS에 자력계(magnetometer)를 추가하는 것을 제안한다. 더 구체적으로는, V-MINS로 지칭되는 "시각-자력-관성(vision-magneto-inertial)" 시스템이 사용되는데, "시각-관성(vision-inertial)" 및 "자력-관성(magneto-inertial)" 시스템 모두로 보여질 수 있다. 자력-관성 내비게이션은 잘 알려져 있는데, FR 2914739를 참조하라.

센서를 제거하는 것이 아니라 추가함으로써 전기 소모 절감을 구한다는 것은 직관적이지 않은 것으로 보일 수 있으나, 시각 측면과 자력 측면은 완벽하게 상보적이고 그들을 함께 사용하는 것이 시각 측면만을 사용하는 것보다 경제적임이 밝혀진다.

더 정확하게는, 시각 측면과 자력 측면은 반대되는 환경에서 효율적이다: 실내 시각이 오류를 낼 확률이 높은 반면, 자력 측정은 완벽하게 적합하다. 역으로, 실외 환경에서, 자성 그라디언트(magnetic gradient)의 부재가 순수한 자력-관성 내비게이션을 저해할 수 있는 반면, 시각은 완벽하게 적합하다.

이 데이터들을 최고로 활용하는 다양한 방법들이 이하에서 설명될 것이지만, 그 중에서도, VINS 시스템에 자력계를 추가하는 것이 관성 유닛 혼자만으로는 허용되지 않았던, 추측-항법(dead-reckoning)의 수행을 자발적으로 가능케 한다는 것이 이해되어야 한다.

사실, 종래의 VINS 시스템에서, 시각 데이터는 관성 데이터를 보정하는데, 즉 재설정(resettting)을 수행하는데 사용된다. 따라서 만약 카메라가 꺼진다면(예컨대 어두운 영역에 있어서 이미지를 획득하는 것에 관심이 없고 따라서 에너지를 절약하기 위해 카메라를 끄는 것이 나은 경우) 더 이상 재설정이 없을 것이다.

본 V-MINS 시스템에서는, 자력계의 데이터 덕분에 카메라가 꺼졌을 때에도 재설정이 수행될 수 있다.

그러므로 동일한 성능 수준에서 카메라 기반의 재설정을 할 필요의 빈도가 줄어들거나 심지어는 일정한 시간 간격 동안 (자력-관성 내비게이션의 작동 영역에서) 카메라 뿐만 아니라 관련된 무거운 처리 동작을 수행하지 않는 것이 가능하다.

아키텍쳐

도 1을 참조하면, 본 발명은 환경 Σ와,

로 표기되는 배경 자기장(manetic field)(전형적으로 근처의 금속 물체나 전류에 의해 약간 달라질 수 있는 지구의 자기장)에서 움직이는 물체(1)의 움직임을 추정하는 것을 가능케 한다. 자기장은 3차원 공간에서의 벡터 장(vector field)인데, 즉 물체가 움직일 수 있는 각각의 3차원 지점에서 3차원의 벡터와 연관된다는 것이다.

이 물체(1)는 위치를 아는 것이 필요한 임의의 이동가능한 물체일 수 있는데, 예컨대 바퀴달린 차량, 드론 등일 수 있으나, 사람이나 사람 신체의 일부분(그의 손, 머리 등)일 수도 있다.

물체(1)은 자기 측정 수단(20)을 구비하는데, 자력계 및/또는 경사도계(gradiometer)이다. 더 상세하게는, 후자는 자기장

의 성분값을 측정하는 대신, 자기장

의 경사도(gradient)의 성분값, 즉 공간 미분값을 직접 측정한다. 그러한 자기 경사도계(20)는 당업자에게 공지된 것이다. 본 발명의 특정 실시예들에 의하면, 경사도계는 2차 미분(2차 경사도) 값, 일반화하면 i차 미분값(i차 경사도)를 구하는데 사용될 수 있다.

남은 설명에서는 자력계의 예시가 주어질 것이지만 당업자는 이것을 어떻게 경사도계로 전환할 지 이해할 것이다.

자력계(들)(20)은 "축상(axial)"인데, 이것은 즉 상기 자기장의 성분, 즉 상기 자기장

의 그 축들을 따른 투사값(또는 경사도계의 경우 상기 자기장의 i차 공간 적분의 성분, 즉 상기 경사도계에서

성분의 그들의 축을 따른 변화)을 측정할 수 있음을 의미한다.

유리하게는, 자력계(20)는 적어도 3n+3 개이며, 유리하게는 3개의 그룹으로 "3축(triaxes)"로 구성되는데, 이것은 동일한 공간 위치와 연관된 2 곱하기 2의 직교하는 자력계의 트리플랫(triplet)으로 조직되고 3개 축들을 따라 자기장을 측정한다.

선호되는 방식에서는, 물체와 관련된 기준 직교점이 기존대로 (그리고 본 설명의 나머지 부분을 위한 시설별로) 선택되어, 상기 기준 직교점에 따라 3축이 유리하게 배향되어, 계산을 더 용이하게 해준다.

그러나 당업자는 모든 경우에 어떻게 그것을 경사도계/자력계의 임의의 공간 배열로 전환하는지 알 것이다.

물체(1)는 또한 관성 측정 수단(24)을 구비한다. 그러한 수단은 당업자에게 널리 알려져 있으며 전형적으로 적어도 하나의 가속도계 및/또는 자이로미터(gyrometer)를 포함하는 관성 유닛을 구성하고, 선호되는 방식에서는 3개의 가속도계 및 3개의 자이로미터를 마찬가지로 3축으로 배열된 것으로 구성한다. 자이로미터는

로 표기되는 지상 기준 프레임에 관하여 관성 유닛의 순간 각속도를 측정한다. 가속도계는 센서에 적용되는 중력 이외의 외력에 민감하며,

로 표시되는 가속도를 측정할 수 있게 해준다.

관성 및 자기 측정 수단(20, 24)은 물체(1)에 관하여 고정되는데, 즉 그들은 지상 기준 프레임에 대하여 실질적으로 동일한 움직임을 가진다(측정 수단(20, 24)가 물체(1)에 통합되어 있다고 말할 수도 있다). 선호되는 방식으로는, 물체(1)의 기준 프레임에는 기준 카테시안 직교점이 제공되어 좌표들이 (x₁, x₂, x₃)로 표기되고, 따라서 자력계(20)는 이 기준점에서 미리 정해진 위치를 가진다.

방법을 구현하기 위한 시스템은 적어도 하나의 광학 획득 수단(26)을 포함한다. 도 2에 표시된 발명의 주요 실시예에서(본 설명의 나머지 부분에서 예시로서 취급된다), 광학 획득 수단(26)은 또한 물체(1)에 대하여 고정되고(달리 말하면 동일한 움직임을 가지고), 환경 Σ를 관측한다. 본 방법의 이해를 쉽게 하기 위하여, 물체(1)와 광학 획득 수단(26)에 의해 형성되는 조립체는 광학 획득 수단(26)의 중심에 위치한 점으로 환원될 것이다. 이 광학 획득 수단(26) 다양한 성격일 수 있으나 바람직하게는 하나 또는 그 이상의 카메라 유리하게는 전기 소모를 한정하기 위해 단일 카메라로 구성된다. 카메라(들)은 심도 카메라일 수 있으나, 선호되는 방식으로는 종래의 카메라가 심도 이미지가 아닌 환경의 가시 이미지를 재생하기 위해 사용될 것이며, 특히 단순한 CCD나 CMOS 카메라(컬러 또는 흑백)만으로 충분하고 더 작고 에너지 소모가 더 적다.

대안적인 실시예에서(이하에서 좀 더 상세히 설명됨) 그리고 대응하는 도 1에서, 광학 획득 수단(26)은 환경 Σ에 대하여 고정되고 물체(1)를 관측한다. 제1 실시예(광학 획득 수단(26)이 내장된)가 선호됨을 이해할 것인데, 물체(1)가 먼 거리를 이동할 때를 포함하여 물체(1)의 움직임을 연속적으로 추정할 수 있기 때문이다. 제2 실시예에서는, 물체(1)는 광학 획득 수단(2)의 시야 내로 제한되지만, 이것은 예컨대 물체(1)가 사용자의 신체 일부분의 움직임을 따르는 경우에는 완벽하게 적절하다.

도 2를 참조하면, 관성 및 자기 측정 수단(20, 24) 및 필요한 경우 광학 획득 수단(26)은 바람직하게는 물체(1)에의 부착 수단(23)을 가진 케이스(2)를 가진다. 이 부착 수단(23)은 예컨대, 물체(1)가 사람인 경우, 예컨대 팔다리에 감기고(예컨대 손목, 손 또는 머리에) 고정 연결을 가능케 하는 자기-그립 스트랩(self-gripping strap)을 위한 브레이슬렛(bracelet)으로 구성되는데, 예컨대 도 3을 보라. 본 발명은 사람의 이동을 추정하는 것에만 한정되지 않지만, 그런 경우에 특히 유리함을 이해할 것인데 왜냐하면 인체공학적인 방식으로 사람에 의해 휴대가능한 것이 필요하기 때문에 매우 감소된 부피를 가질 수 있기 때문이다.

케이스(2)는 본 발명의 작업을 실시간으로 처리하는 것을 직접 구현하는 처리 수단(21)(통상적으로는 프로세서)을 포함하거나, 또는 그 대신 측정 결과들이 모바일 터미널(스마트폰)(3) 또는 심지어는 원격 서버(4)와 같은 외부 장치로 통신 수단(25)을 통해 전송되거나, 또는 그 대신 측정 결과들이 예컨대 서버(4) 상에서 후속 처리를 위해 로컬 데이터 저장 메모리 수단(22)(예컨대 플래시 유형의 메모리)에 기록될 수 있다.

통신 수단(25)은 단거리 무선 통신을 구현할 수 있는데, 예컨대 블루투스(Bluethooth)나 와이파이(Wi-Fi)(특히 모바일 터미널(3)을 가진 실시예에서)이며 또는 심지어 장거리 통신을 위한 모바일 네트워크(전형적으로 UMTS/LTE)를 연결하는 수단일 수 있다. 통신 수단(25)은 예컨대 로컬 데이터 저장 수단(22)으로부터 모바일 터미널(3)이나 서버(4)로 데이터를 전송하는 유선 연결(전형적으로 USB)일 수 있다는 것을 주목해야 한다.

만약 "인텔리전스(intelligence)"를 호스트하는 것이 모바일 터미널(3)(또는 서버(4))이라면, 그것은 설명될 것과 같이 본 방법의 처리 작업을 구현하는 프로세서와 같은 처리 수단(31)(또는 (41))을 포함한다. 사용되는 처리 수단이 케이스(2)의 것이라면, 추정된 위치를 송신하는 통신 수단(25)을 더 포함할 수 있다. 예컨대, 착용자의 위치는 모바일 터미널(3)로 송신되어 내비게이션 소프트웨어 인터페이스에서 위치를 디스플레이하게 된다.

본 설명의 나머지 부분에서는, 각각 케이스(2), 스마트폰(3) 및 원격 서버(4)의 데이터 처리 수단(21, 31, 41)이 방법의 단계들의 전체 또는 일부를 무관하게 또는 애플리케이션에 따라 수행하는 것이 보여질 것이다.

방법

첫번째 단계 (a)에서, 방법은 모두 3개 유형의 데이터를 (특히 물체(1)의 기준 프레임에서) 획득하는 것을 포함한다.

- 상기 물체(1)에 관하여 고정된 관성 측정 수단(24)에 의해:

○ 가속도 및/또는

○ 물체(1)의 각속도(바람직하게는 각속도의 3개 성분 및 가속도의 3개 성분)

중의 적어도 하나의 성분.

- 상기 물체(1)에 관하여 고정된 자기 측정 수단(20)(경사도계(들)/자력계(들))에 의해:

○ 자기장 및/또는

○ 상기 자기장

의 적어도 하나의 i차 미분값, 여기서 하나 이상의 값 i>1 (설명된 것과 같이, 다양한 차수의 미분을 또는 자기장의 값을 직접 측정하기 위해 경사도계/자력계가 사용될 수 있음)

중의 성분,

- 광학 획득 수단(26)에 의해:

○ 만약 이들이 물체(1)에 관해 고정되어 있으면, 환경 Σ의 연속되는 이미지들;

○ 만약 이들이 물체(1)의 환경 Σ에 고정되어 있으면, 물체(1)의 연속되는 이미지들;

편의를 위해, 본 설명의 나머지 부분에서 "관성 데이텀(inertial datum)"은 관성 측정 수단(24)에 의해 획득된 물체(1)의 가속도 및/또는 각속도의 성분(들)을; "자기 데이텀(magnetic datum)"은 자기 측정 수단(20)에 의해 획득된 자기장 및/또는 상기 자기장

의 적어도 하나의 i차 미분값을; "시각 데이텀(vision datum)"은 광학 획득 수단(26)에 의해 획득된 이미지를 지칭한다.

이 데이터들은 유리하게도 dt 샘플링(즉 매 "dt" 초마다)으로 획득되며 dt는 물체(1)의 이동의 특성 시간(characteristic time)과 비교하여 매우 작은, 예컨대 40ms의 시간이다.

이하에서 보여지는 것과 같이, 이 양들 각각은 각 시간 단계마다 필수적으로 측정되어야 하는 것은 아니다. 더 구체적으로는, 각 순간마다 자기 측정 수단(20) 및/또는 광학 획득 수단(26)은 스위치 오프(switch off)될 수 있어서 다음 3개 중의 2개 유형 또는 심지어 1개 유형의 데이터만 영구적으로 획득할 수도 있다: 관성 데이터 및, 바람직하게는 자기 데이터 또는 시각 데이터. VINS 시스템에서는 전력 소비를 제한하기 위해 관성 데이터보다 낮은 빈도로 이미지를 획득하는 것이 이미 알려져 있지만, 이 빈도는 중요한 드리프트(drift)를 가질 위험에서 상대적으로 높게 남아있음을 주목하여야 한다.

단계 (b)에서, 데이터 처리 수단(21, 31, 41)은 물체(1)의 이동의 적어도 하나의 성분, 특히 선속도 V의 모든 성분을 추정한다. 각속도 벡터 Ω의 하나 이상의 성분들도 추정되거나 적어도 확인될 수 있다. 이 추정은 관성 데이텀 뿐만 아니라, 자기 데이텀 및/또는 시각 데이텀을 이용하여 수행된다. 달리 말하면, 사용되는 데이터 셋트는 역동적으로 변화할 수 있다: 관성 + 자기 중, 또는 관성 + 시각, 또는 관성 + 자기 + 시각 중의 어느 하나로.

이 데이터들로부터 물체의 이동을 추정하는 다른 방법들이 이하에서 설명된다.

데이터의 선택

단계 (a)는 여전히 관성 데이터의 연속적인 획득을 포함하고 있지만, 자기 데이터나 시각 데이터의 획득은 잠재적으로 간헐적(intermittence)으로 할 수 있음이 주목되어야 한다. 그렇지만 단계 (a)는 대안적으로 세가지 유형의 데이터의 연속적인 획득 그러나 모든 시간 동안 획득하는 것이 필수적이지는 않은 것을 포함할 수 있다: 에너지 소모의 상당수는 관련된 무거운 처리 작업 때문임을 상기할 수 있다.

이런 점에서, 단계 (a)는 유리하게도 자기 데이텀 및/또는 시각 데이텀의 선택을 포함한다. 설명된 것처럼, 사실 둘 중의 하나가 항상 유효한 곳에서는(보통은 둘 다이다) 측정시 반드시 두 데이터를 동시에 측정할 필요가 없다: 야외에서, 적어도 시각 데이텀이 신뢰할 수 있고, 실내에서는 적어도 자기 데이텀이 신뢰할 수 있다.

이런 점에서, 자기 데이텀 및/또는 시각 데이텀의 선택은 유리하게도 자기 데이텀 및/또는 시각 데이텀의 유효성의 테스트의 결과이다.

예컨대 이 유형의 데이터들 중 하나가 디폴트(default)로 결정될 수 있고(다른 것은 재설정 데이텀(resetting datum)으로 지정됨), 유효함이 확인된 데이터일 수 있다. 사실 만약 디폴트 데이텀이 유효하지 않으면, 다른 데이텀이 유효하다고 가정된다. 또한 디폴트 데이텀을 신뢰할 수 없으면, 재설정 데이텀이나 2개 데이터가 선택되도록 제공하는 것이 가능하다.

예컨대, 제1 예시(도 2의 경우)에 따르면 물체(1)는 야외에서 움직이는 드론이다. 시각 데이터의 처리는 항상 관성 데이터의 재설정에 좋은 결과를 주지만, 그러한 시각 데이터의 처리는 에너지 소모적임이 알려져 있다. 그렇지만, 에너지 효율화는 배터리로 동작하고 한정된 자율성만을 갖는 드론에게 중요한 문제이다. 그 후 디폴트 데이터 유형이 자기 유형(magnetic type)이라고 정의하는 것이 가능한데 즉 일반적인 상황에서는 시각 데이텀이 아닌 자기 데이텀이 선택 및 사용된다는 것이다(자력계의 에너지 소모가 카메라 보다 후러씬 적기 때문이다). 만약 자기 데이텀에 대한 유효성 테스트가 결정되지 않으면(전형적으로 자기 교란이 있을 때), 시각 데이텀이 대신 선택되어 재설정을 달성한다.

제2 예시(도 1의 경우)에 따르면, 물체(1)는 가상 현실 헤드셋이며, 광학 획득 수단(26)이 헤드셋을 관측하고 후자에 대해 고정되지 않는다. 광학 획득 수단(26)이 물체(1)에 장착되지 않는 한, 그들의 전기 소모는 덜 문제가 되는데, 그 때문에 디폴트 데이터 유형이 시각 유형으로 정의될 수 있고, 즉 보통 상황에서 자기 데이텀이 아닌 시각 데이텀이 선택 및 사용된다. 만약 시각 데이텀에 대한 유효성 테스트가 결정되지 않으면(전형적으로 사용자의 손이 물체(1)를 가릴 때), 자기 데이텀이 대신 선택되어 재설정을 달성한다.

다양한 유효성 테스트가 구현될 수 있고 잠재적으로 조합된다. 예컨대 표류 불확정성(drift uncertainty)를 특히 원뿔의 형태로 추정함으로써 궤적의 품질을 구분되지 않는 방식으로(즉 자기 데이텀의 유효성을 테스트하는 것 뿐만 아니라 시각 데이텀도) 확인하는 것이 가능하다. 만약 이 원뿔의 폭이 문턱값 이상이면, 디폴트 데이텀을 신뢰할 수 없음을 의미한다.

더 구체적으로는 시각 데이텀에 대하여, 예컨대:

- 이미지들이 적어도 미리 정해진 최소치의 관심 지점들을 가지고 있는지 확인하고;

- 광도가 문턱값 이상인지를 확인하고;

- 이미지의 콘트라스트(contrast)가 충분한지 확인하고;

- 기타 등등

을 하는 것이 가능하다.

더 구체적으로는 자기 데이텀에 대하여, 예컨대:

- 자기장의 정상성(stationarity)을 추정하고(FR 1756958 출원을 보라);

- 경사도의 비균일성을 확인하고

- 기타 등등

을 하는 것이 가능하다.

더 주목해야 할 것은 선택을 위해 유효성을 반드시 평가해야 하는 것은 아니고 적어도 특정 시점에 자기 데이텀 및 시각 데이텀 모두가 데이터 유효성과 무관하게 디폴트로 선택될 수 있는데, 예컨대 방법의 초기화 때에, 또는 매핑 품질이 감소할 때(뒤에서 설명), 또는 단순히 특정 기간이 끝날 때가 그러하다.

그러므로, 이미지-간 시각적 거리의 기준은 적어도 이미지 정보 덕분에 관성 및 자기 데이터에 기초한 내비게이션의 표류의 확인을 고려하여 선택될 수 있고 필요할 때에만 보정될 수 있다.

만약 정확도가 애플리케이션의 제1 기준이라면, 2개 측정치를 디폴트로 사용하는 것도 가능하며, 2개 측정치의 서로 간의 일관성을 주기적으로 확인하는 것도 가능하다. 유효성 테스트는 그 후 비동조(incoherence)의 경우에만 수행되어, 센서를 일시적으로 비활성시킬 수 있다.

움직임의 추정

설명된 바와 같이, 단계 (b)에서, 데이터 처리 수단(21, 31, 41)은 관성 데이텀과 자기 데이텀을 사용하여, 물체(1)의 움직임의 적어도 하나의 성분, 특히 선속도 V 및/또는 각속도 Ω의 모든 성분들을 추정한다.

관성 데이텀 및 자기 데이텀을 사용하거나, 또는 관성 데이텀와 시각 데이텀을 사용하여 움직임의 하나 이상의 성분을 추정하는 여러 기술이 공지되어 있으며, 관성 데이텀을 영구적으로 그리고 시각 데이텀을 간헐적으로 사용하는 기술도 포함한다.

그러므로, 단계 (b)는 단순히 자기-관성 내비게이션 알고리즘 및 시각-관성 내비게이션 알고리즘을 구현할 수 있으며, 선택된 데이텀에 따라 어떤 것이든 사용할 수 있다.

대안적으로, 공지된 시각-관성 내비게이션 기술을 사용하고 자기 데이텀을 추가로 고려하는 것도 단순하고 효율적이다.

예컨대, 시각-관성 필터링 방법 특히 "역 제곱근" 유형이 공지되어 있다. 이 필터링 방법에서는,상태는 물체의 자세 뿐만 아니라 "주요 이미지들"의 집합의 자세로 구성되며, 관성 공식에 기초한 필터의 변화 모델이 사용된다. 필터를 자력-시각-관성으로 만들기 위해서는 이 필터에 적어도 하나의 자기 공식을 더하는 것만으로 충분한데,

이다.

자기 데이텀이 없는 경우에(시각 데이텀만이 선택된 경우) 자기 공식(들)의 기여는 제거될 수 있다. 또한, 시각 데이텀이 없는 경우에(자기 데이텀만이 선택된 경우), 필터는 문제없이 작동을 계속할 것이다.

일반적으로, 단계 (b)는 선호되는 방식으로는 관성 데이텀 뿐만 아니라 자기 데이텀 및/또는 시각 데이텀을 이용하여 환경을 매핑(mapping)하기 위한 요소들을 구축하는 제1 하위 단계(b1) 및 (물체(1)의 위치를 정함으로서) 상기 매핑 요소로부터 물체(1)의 움직임의 적어도 하나의 성분을 추정하는 제2 하위 단계(b2)를 포함한다.

매핑 요소는 완전한 맵이거나, 또는 단순히 "랜드마크(landmark)"라 불리는 (해양 내비게이션에서 등대의 선들을 따라) 환경에서 고정되고 식별가능한 기준점들일 수 있다.

이 2개의 단계들은 반드시 구별되어야 하는 것이 아니고 동시에 수행될 수 있음을 주목해야 한다. 환경이 매핑되는 경우에, 이 기술은 당업자에게 SLAM(simultaneous localization and mapping)이라는 이름으로 알려져 있다.

완전한 중간 맵핑이 없고 단지 단계 (b1)에서 랜드마크의 위치 결정만이 있는 경우, 이 기술은 당업자에게 "영상 주행기록계(visual odometry)"라는 이름으로 알려져 있다. 랜드마크의 위치는 주행 측정 방법에 내포된 데이텀일 수 있음이 주목되어야 한다. 예컨대, 필터링의 경우, 이 랜드마크들의 위치는 상태(state)에 항상 포함되는 것은 아니다. 대신, 그들은 랜드마크가 좀 더 보일 때에 삼각측량되고 즉시 마지널라이즈(marginalise) 될 수 있다.

두 경우 모두에, 단계 (b1)는 매핑된 환경 또는 적어도 랜드마크가 제공된 볼륨에서 움직이는 물체(1)의 위치 재설정을 위해 필요한 정보를 가진 환경의 수학적 표현의 구축을 포함한다.

이 표현은 (시각 랜드마크를 기술하는) 광학 획득 수단(26)으로부터 유도되거나 또는 (자기장과 그 경사도의 맵인) 자기 측정 수단(20)으로부터 유도된 정보를 포함할 수 있으며, 특히 어떤 것이 디폴트 데이텀인지에 따를 수 있다.

시각 랜드마크에 더하여, 자기장(magnetic field)에 관한 정보를 맵에 두는 것이 가능함을 주목해야 한다.

간단한 예시로 랜드마크가 탐지되었을 때 측정된 자기장의 방향과 랜드마크를 향한 방화선(firing line) 사이의 각도를 각각의 랜드마크에 연관시킬 수 있다. 자기장이 정확히 북쪽을 주지 않는다 하더라도, 이것은 큰 맵에서의 위치 재배치를 용이하게 할 수 있는데, 이제 현재 보고 있는 랜드마크를 그 순간 맵에 보여지고 있던 랜드마크와 연관짓기만 하면 되거나 또는 자기장이 현재 측정된 자기장과 다소 정렬되기 때문이다.

단계 (b1)에서 매핑 요소를 구축하는 절차의 선호되는 실시예는 3가지 하위 단계로 기술될 수 있으며 필요하다면 동시에 실행될 수 있다:

(i) 관성, 자기 및/또는 시각 데이터의 수신;

(ii) 거칠지만 효율적으로 매핑 요소들을 구축, 선호하기로는 자기 및 관성 데이터로만 구현되어서, 기록할 이미지 숫자를 절감시킴 (이미지는 주로 재구축에 쓰이며 대략적인 위치 지정에는 덜 중요함);

(iii) 단계 (ii)의 잠재적인 드리프트를 보정하기 위해 매핑 요소를 정제하며(잠재적으로 사후 실행됨), 특히 시각 데이텀에 대해 그러함.

따라서 예컨대 자기 데이텀이 신뢰가능하고 선택되어 있는 동안 단계 (ii)에 머물러 있을 수 있으며, 이 데이텀이 신뢰할 수 없다고 추정되고 선택되지 않은 경우에 단계 (iii)가 구현될 수 있다.

매핑 요소는 필수적으로 시각 랜드마크의 3D 위치 정보를 포함한다: 이 정보는 소나 광학 유형(sonar optic type)으로부터 유도되거나(출원 WO 201147947을 보라) 또는 그 대신 3D 위치를 찾아내는 모든 데이터에 대해 모든 측정치들을 가능한 한 최선으로 설명하는 지점들을 재귀적으로 최적화하는, 전통적인 "Structure From Motion"(SfM) 또는 "Bundle Adjustment"(BA)로 유도될 수 있다. 이 SfM 방법은 선행기술에서 관성 데이터를 통합하거나 하지 않는 버젼으로 존재한다. 매핑 요소의 전부 또는 일부는 모두 사전에 알려져 있을 수 있음을 주목하여야 한다(특히 방법을 초기화할 때에).

실제로, 이 매핑 요소들의 정밀성과 진실성은 위치 지정 페이스(location phase)에서 원초적인 것이다. 그리고 응용을 위해 요구되는 최종 수준의 정밀도와 진실성을 얻기 위해서는 일반적으로 SfM 방법이 필요하다. 그러나, 이 방법들은 번거로우며, 매핑의 크기가 선형적으로 증가하는 것 보다 훨씬 계산 시간이 증가한다.

비-선형 최적화인 이 SfM 방법들의 기초는, 랜드마크 위치 변수의 초기화의 품질과 매핑 페이스 동안 그들을 관측한 카메라는 좋은 국소 최소값으로의 수렴과 빠른 수렴에 중요하다.

본 방법은 관성, 자기 및 시각 데이터의 사용을 조합하여 다음과 같은 것을 가능케 한다는 것이 보여질 수 있다:

- 현재 사용되는 방법 그 중에서도 위에서 언급된 VINS 필터링 방법과 비교하여 초기화된 랜드마크의 위치 변수들의 구축에 필요한 컴퓨팅 전력을 상당히 줄인다. 이 낮은 컴퓨팅 전력은 예컨대 위치와 삼각 측량이 분리될 수 있다는 사실로부터 또는 자기 및 관성 데이터에 기초한 사전 위치(priori location)가 이미지의 관심있는 지점 부분을 찾는 것을 절감할 수 있다는 사실로부터 유래할 수 있다.

- 시각이 불분명할 때(평평한 벽, 어두운 장소) 최종 해에 가장 가까운 변수의 초기화(단계 (ii))하는 것을 도울 수 있다. 이것은 SfM 알고리즘의 더 빠른 수렴을 가능케 한다.

- 데이터 수집 동안 만들어진 이동 유형에 대하여 SfM의 문제의 변수들을 더 강건하게 초기화한다. 이것은 심지어 사용자에 의해 만들어진 선험적으로 비-형성된 움직임이, 매핑의 재구축에 최적이 아닌 경우에도 좋은 국소 최소값으로 수렴하는 것을 가능케 한다(실제로, 3D 재구축을 위한 선행기술의 장치들은 순수한 회전 운동을 회피할 것을 권장하는데, 최적화 문제를 악화시키기 때문이며, 자기 데이텀의 추가는 사용자에 의해 만들어진 움직임이 악화된 경우에 궤적을 오염시키는 컨디션 문제들을 회피할 수 있게 만들어준다).

캘리브레이션

선호되는 방식에서는, 단계 (a)는 관성 측정 수단(24), 자기 측정 수단(20) 및 광학 획득 수단(26) 중의 하나의 선행 캘리브레이션(calibration)을, 다른 2개에 의해 얻어진 데이터와 함께 하는 것을 포함한다. 선호되는 방식에서는, 광학 획득 수단(26)이 관성 데이텀 및 자기 데이텀과 함께 캘리브레이션되거나, 자기 측정 수단(20)이 관성 데이텀 및 시각 데이텀과 함께 캘리브레이션된다.

사실, 관성 데이텀, 자기 데이텀과 시각 데이텀 3개 모두가 고려될 때 그들에 의해 제공되는 정보의 잠재적인 중복가능성이 있는 한, 센서들에 연결된 매개변수(자기 측정 수단(20)의 바이어스나 스케일 팩터, 광학 획득 수단(26)의 광축과 측정 수단(20, 24 등) 사이의 거리)를 보정할 수 있고 따라서 미세 움직임의 추정을 향상시키는 것이 가능하다.

장비 및 시스템

제2 측면에 의하면, 발명은 특히 방법의 실시예 중 하나 또는 다른 것을 구현하기 위한 장비(2, 3, 4)와 관련된다.

앞에서 설명한 바와 같이, 제1 실시예에 따르면 장비는 방법의 단계들을 구현하도록 구성된 자기 측정 수단(20) 및/또는 관성 측정 수단(24)(바람직하게는 자기 측정 수단(20) 및 관성 측정 수단(24)) 그리고 데이터 처리 수단(21)을 포함하는 자동 케이스(2)이다.

케이스(2)는 케이스(2)를 부착하기 위한 수단(23)을 더 포함하고, 만약 필요하면, (예컨대 추정된 움직임을 저장하는 ) 데이터 저장 수단(22) 및/또는 결과를 출력하기 위한 통신 수단(25)을 더 포함한다.

케이스(2)는 (환경을 관측하는 경우) 광학 획득 수단(26)을 포함하는데, 즉 이들은 구별되고 고정된 방식이며 케이스(2)와 통신한다. 케이스(2)가 인텔리젼스를 포함하는 이 실시예에서, 바람직하게는 케이스(2)가 또한 광학 획득 수단(26)을 포함하는 상황(물체(1)가 예컨대 드론인 경우)이 된다.

제2 실시예에 따르면, 장비는 모바일 터미널(3)이나 서버(4)이고, 자기 측정 수단(20)과 관성 측정 수단(24) 및 광학 획득 수단(26)과 통신하기에 적합하다.

전형적으로, 자기 측정 수단(20)과 관성 측정 수단(24)은 케이스(2)에서 배치되고, 광학 획득 수단(26)은 고정된 방식으로 환경 내에 배치되지만, 3개의 수단들(20, 24, 26)이 동일한 케이스(2)에, 또는 2개나 심지어는 3개의 독립된 케이스에 있는 것도 가능하다.

달리 말하면, 터미널(3)이나 서버(4)는 방법의 단계들을 구현하도록 구성된 처리 수단(31 또는 41)을 포함한다. 각 케이스(2)는 모두 수단들(20, 24, 26)의 제어 및 측정된 데이터를 데이터 처리 수단(31, 41)으로 (통신 수단(25)을 통해) 전송하기 위한 데이터 처리 수단(21)을 포함할 수 있다.

필요할 경우 방법의 단계들이 수단들(21, 31, 41) 사이에서 분할될 수 있음이 주목된다.

본 발명은 또한 이 케이스 내에 이 실시예 및 연결된 "위성(satellite)" 케이스(들)(2)에 따른 장비(3, 4)를 포함하는 시스템과 관련된다.

모든 경우에, "메인" 장비(2, 3, 4)의 데이터 처리 수단(21, 31, 41)은 다음을 구현하도록 구성된다:

- 모듈로서,

○ 물체(1)에 대하여 고정된 관성 측정 수단(24)에 의해 획득된, 관성 데이텀으로 지정된, 물체(1)의 가속도 및/또는 각속도 중의 적어도 하나의 성분;

○ 물체(1)에 대하여 고정된 자기 측정 수단(20)에 의한, 자기 데이텀으로 지정된, 자기장 및/또는 자기장의 i차 미분 중의 적어도 하나의 성분;

○ 상기 물체(1) 또는 환경 Σ에 대하여 각각 고정된 광학 획득 수단(26)에 의하여, 시각 데이텀으로 지정된, 환경 Σ이나 물체(1)의 연속적인 이미지들;

을 수신하는 모듈.

- 관성 데이텀 뿐만 아니라 자기 데이텀 및/또는 시각 데이텀을 사용하여 상기 물체(1)의 움직임의 적어도 하나의 성분을 추정하기 위한 모듈.

컴퓨터 프로그램 제품

세번째 및 네번째 측면에 따르면, 본 발명은 발명의 제1 측면에 따른 배경 자기장과 환경 Σ에서 움직이는 물체(1)의 움직임을 추정하기 위한 방법을 (처리 수단(21, 31, 41) 상에서) 실행하기 위한 코드 명령어들을 포함하는 컴퓨터 프로그램 제품 뿐만 아니라 이 검퓨터 프로그램이 발견된 컴퓨터 장비(예컨대 데이터 저장 수단(22))에 의해 판독가능한 저장 수단과 관련된 것이다.

Claims (15)

1. 환경(Σ)과 배경 자기장(ambient magnetic field)에서 움직이는 물체(1)의 움직임을 추정하기 위한 방법으로서, 상기 방법은:
   (a) ○ 상기 물체(1)에 대하여 고정된 관성 측정 수단(inertial measurement means)(24)에 의하여, 관성 데이텀(inertial datum)으로 지정된, 물체(1)의 가속도 및/또는 각속도 중의 적어도 하나의 성분;
   ○ 상기 물체(1)에 대하여 고정된 자기 측정 수단(magnetic measurement means)(20)에 의하여, 자기 데이텀으로 지정된, 자기 측정 수단(20)에서의 자기장 및/또는 자기장의 i차 미분 중의 적어도 하나의 성분;
   ○ 상기 물체(1)에 대하여 고정된 광학 획득 수단(optical acquisition means)(26)에 의하여, 시각 데이텀으로 지정된, 환경(Σ)의 연속적인 이미지들;
   을 획득하고, 자기 데이텀 및/또는 시각 데이텀의 유효성을 평가하고, 상기 유효성 평가의 결과의 함수로서 자기 데이텀 및/또는 시각 데이텀을 선택하는 단계;
   (b) 데이터 처리 수단(21, 31, 41)에 의하여, 관성 데이텀 뿐만 아니라 자기 데이텀과 시각 데이텀으로부터 선택된 데이텀 또는 데이터를 사용하여, 상기 물체(1)의 움직임의 적어도 하나의 성분을 추정하는 단계;
   를 포함하는 것을 특징으로 하는, 환경(Σ)과 배경 자기장에서 움직이는 물체(1)의 움직임을 추정하기 위한 방법.
2. 환경(Σ)과 배경 자기장에서 움직이는 물체(1)의 움직임을 추정하기 위한 방법으로서, 상기 방법은:
   (a) ○ 상기 물체(1)에 대하여 고정된 관성 측정 수단(24)에 의하여, 관성 데이텀으로 지정된, 물체(1)의 가속도 및/또는 각속도 중의 적어도 하나의 성분;
   ○ 상기 물체(1)에 대하여 고정된 자기 측정 수단(20)에 의하여, 자기 데이텀으로 지정된, 자기 측정 수단(20)에서의 자기장 및/또는 자기장의 i차 미분 중의 적어도 하나의 성분;
   ○ 환경(Σ)에 대하여 고정된 광학 획득 수단(26)에 의하여, 시각 데이텀으로 지정된, 상기 물체(1)의 연속적인 이미지들;
   을 획득하고, 자기 데이텀 및/또는 시각 데이텀의 유효성을 평가하고, 상기 유효성 평가의 결과의 함수로서 자기 데이텀 및/또는 시각 데이텀을 선택하는 단계;
   (b) 데이터 처리 수단(21, 31, 41)에 의하여, 관성 데이텀 뿐만 아니라 자기 데이텀과 시각 데이텀으로부터 선택된 데이텀 또는 데이터를 사용하여, 상기 물체(1)의 움직임의 적어도 하나의 성분을 추정하는 단계;
   를 포함하는 것을 특징으로 하는, 환경(Σ)과 배경 자기장에서 움직이는 물체(1)의 움직임을 추정하기 위한 방법.
3. 제1항 또는 제2항에 있어서,
   자기 데이텀과 시각 데이텀 중의 하나는 디폴트(default) 데이텀이고 다른 하나는 재설정 데이텀이며, 유효성의 평가는 디폴트 데이텀에 대하여 구현되고, 선택된 데이텀은:
   - 디폴트 데이텀이 유효한 것으로 평가되면 디폴트 데이텀,
   - 디폴트 데이텀이 유효한 것으로 평가되지 않으면 재설정 데이텀인,
   환경(Σ)과 배경 자기장에서 움직이는 물체(1)의 움직임을 추정하기 위한 방법.
4. 제3항에 있어서,
   자기 데이텀 및/또는 시각 데이텀의 유효성의 평가는, 움직임의 추정 상의 불확정성의 평가를 포함하는, 환경(Σ)과 배경 자기장에서 움직이는 물체(1)의 움직임을 추정하기 위한 방법.
5. 제1항 내지 제4항 중 어느 한 항에 있어서,
   자기 데이텀의 유효성의 평가는, 배경 자기장의 정상성(stationarity)의 평가, 또는 경사도(gradient)의 비-균일성(non-uniformity)의 평가를 포함하는, 환경(Σ)과 배경 자기장에서 움직이는 물체(1)의 움직임을 추정하기 위한 방법.
6. 제1항 내지 제5항 중 어느 한 항에 있어서,
   시각 데이텀의 유효성의 평가는, 관심 지점의 숫자의 평가, 광도의 평가, 이미지 콘트라스트(contrast) 지표의 평가, 또는 광학 획득 수단(26)이 환경(Σ)에 대하여 고정된 경우 이미지에서 물체의 감지의 성공의 평가를 포함하는, 환경(Σ)과 배경 자기장에서 움직이는 물체(1)의 움직임을 추정하기 위한 방법.
7. 제1항 내지 제6항 중 어느 한 항에 있어서,
   단계 (b)는 바람직하게는, 관성 데이텀 뿐만 아니라 자기 데이텀 및/또는 시각 데이텀을 사용하여 환경을 매핑하기 위한 요소들을 구축하는 제1 하위 단계(b1) 및 상기 매핑 요소들로부터 물체(1)의 움직임의 적어도 하나의 요소를 평가하는 제2 하위 단계(b2)를 포함하는, 환경(Σ)과 배경 자기장에서 움직이는 물체(1)의 움직임을 추정하기 위한 방법.
8. 제7항에 있어서,
   관성 데이텀 뿐만 아니라 자기 데이텀 및/또는 시각 데이텀을 사용하여 환경을 매핑하기 위한 요소들을 구축하는 제1 하위 단계(b1)는, 먼저 관성 데이텀 뿐만 아니라 자기 데이텀을 사용하여 환경을 매핑하기 위한 요소들을 거칠게 구축하고, 그 후 시각 데이텀을 사용하여 환경을 매핑하기 위한 요소들을 정제하는 것을 포함하는, 환경(Σ)과 배경 자기장에서 움직이는 물체(1)의 움직임을 추정하기 위한 방법.
9. 제1항 내지 제8항 중 어느 한 항에 있어서,
   단계 (a)는 관성 측정 수단(24), 자기 측정 수단(20) 및 광학 획득 수단(26) 중의 하나의 선행 캘리브레이션을 다른 둘에 의해 획득된 데이터와 함께 하는 것을 포함하는, 환경(Σ)과 배경 자기장에서 움직이는 물체(1)의 움직임을 추정하기 위한 방법.
10. 환경(Σ)과 배경 자기장에서 움직이는 물체(1)의 움직임을 추정하기 위한 장비(2, 3, 4)로서, 상기 장비는:
    - (1) ○ 상기 물체(1)에 대하여 고정된 관성 측정 수단(24)에 의하여 획득된, 관성 데이텀으로 지정된, 물체(1)의 가속도 및/또는 각속도 중의 적어도 하나의 성분;
    ○ 상기 물체(1)에 대하여 고정된 자기 측정 수단(20)에 의하여, 자기 데이텀으로 지정된, 자기장 및/또는 자기장의 i차 미분 중의 적어도 하나의 성분;
    ○ 상기 물체(1) 또는 환경(Σ)에 대하여 각각 고정된 광학 획득 수단(26)에 의하여, 시각 데이텀으로 지정된, 환경(Σ) 또는 물체(1)의 연속적인 이미지들;
    을 수신하고, 자기 데이텀 및/또는 시각 데이텀의 유효성을 평가하고, 상기 유효성 평가의 결과의 함수로서 자기 데이텀 및/또는 시각 데이텀을 선택하는 모듈;
    - 관성 데이텀 뿐만 아니라 자기 데이텀와 시각 데이텀 중에서 선택된 데이텀 또는 데이터를 사용하여, 상기 물체(1)의 움직임의 적어도 하나의 성분을 추정하는 모듈;
    을 구현하도록 구성된 데이터 처리 수단(21, 31, 41)을 포함하는 것을 특징으로 하는, 환경(Σ)과 배경 자기장에서 움직이는 물체(1)의 움직임을 추정하기 위한 장비(2, 3, 4).
11. 제10항에 있어서,
    상기 장비는 자기 측정 수단(20) 및/또는 관성 측정 수단(24) 및/또는 광학 획득 수단(26)을 포함하는 케이스(2)인, 환경(Σ)과 배경 자기장에서 움직이는 물체(1)의 움직임을 추정하기 위한 장비(2, 3, 4).
12. 제11항에 있어서,
    상기 장비는 자기 측정 수단(20), 관성 측정 수단(24) 및 광학 획득 수단(26)과 통신하기에 적합한, 모바일 터미널(3) 또는 서버(4)인, 환경(Σ)과 배경 자기장에서 움직이는 물체(1)의 움직임을 추정하기 위한 장비(2, 3, 4).
13. 제12항에 따른 장비(3, 4) 및 연결된 자기 측정 수단(20), 관성 측정 수단(24) 및 광학 획득 수단(26)을 포함하는 시스템.
14. 컴퓨터 상에서 프로그램이 실행되었을 때, 제1항 내지 제9항 중 어느 한 항에 따른 환경(Σ)과 배경 자기장에서 움직이는 물체(1)의 움직임을 추정하기 위한 방법의 실행을 위한 코드 명령어들을 포함하는 컴퓨터 프로그램 제품.
15. 컴퓨터 장비에 의해 판독가능한 저장 매체로서, 컴퓨터 장비 상의 컴퓨터 프로그램 제품은 제1항 내지 제9항 중 어느 한 항에 따른 환경(Σ)과 배경 자기장에서 움직이는 물체(1)의 움직임을 추정하기 위한 방법의 실행을 위한 코드 명령어들을 포함하는, 컴퓨터 장비에 의해 판독가능한 저장 매체.
    
    

Images