KR102403297B1 - 디지털 이미지 및 모델-기반 필터링 기술에 의한 전기기계적 양의 추정 - Google Patents

디지털 이미지 및 모델-기반 필터링 기술에 의한 전기기계적 양의 추정 Download PDF

Info

Publication number
KR102403297B1
KR102403297B1 KR1020187033656A KR20187033656A KR102403297B1 KR 102403297 B1 KR102403297 B1 KR 102403297B1 KR 1020187033656 A KR1020187033656 A KR 1020187033656A KR 20187033656 A KR20187033656 A KR 20187033656A KR 102403297 B1 KR102403297 B1 KR 102403297B1
Authority
KR
South Korea
Prior art keywords
physical
photorealistic
model
physical object
electromechanical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020187033656A
Other languages
English (en)
Other versions
KR20190003593A (ko
Inventor
토마소 타마로찌
프란세스코 코스코
프랭크 나잇츠
버트 플루이머스
빔 데스메트
Original Assignee
카톨리에케 유니버시테이트 루벤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 카톨리에케 유니버시테이트 루벤 filed Critical 카톨리에케 유니버시테이트 루벤
Publication of KR20190003593A publication Critical patent/KR20190003593A/ko
Application granted granted Critical
Publication of KR102403297B1 publication Critical patent/KR102403297B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60G—VEHICLE SUSPENSION ARRANGEMENTS
    • B60G17/00—Resilient suspensions having means for adjusting the spring or vibration-damper characteristics, for regulating the distance between a supporting surface and a sprung part of vehicle or for locking suspension during use to meet varying vehicular or surface conditions, e.g. due to speed or load
    • B60G17/015—Resilient suspensions having means for adjusting the spring or vibration-damper characteristics, for regulating the distance between a supporting surface and a sprung part of vehicle or for locking suspension during use to meet varying vehicular or surface conditions, e.g. due to speed or load the regulating means comprising electric or electronic elements
    • B60G17/018—Resilient suspensions having means for adjusting the spring or vibration-damper characteristics, for regulating the distance between a supporting surface and a sprung part of vehicle or for locking suspension during use to meet varying vehicular or surface conditions, e.g. due to speed or load the regulating means comprising electric or electronic elements characterised by the use of a specific signal treatment or control method
    • B60G17/0185—Resilient suspensions having means for adjusting the spring or vibration-damper characteristics, for regulating the distance between a supporting surface and a sprung part of vehicle or for locking suspension during use to meet varying vehicular or surface conditions, e.g. due to speed or load the regulating means comprising electric or electronic elements characterised by the use of a specific signal treatment or control method for failure detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60G—VEHICLE SUSPENSION ARRANGEMENTS
    • B60G17/00—Resilient suspensions having means for adjusting the spring or vibration-damper characteristics, for regulating the distance between a supporting surface and a sprung part of vehicle or for locking suspension during use to meet varying vehicular or surface conditions, e.g. due to speed or load
    • B60G17/015—Resilient suspensions having means for adjusting the spring or vibration-damper characteristics, for regulating the distance between a supporting surface and a sprung part of vehicle or for locking suspension during use to meet varying vehicular or surface conditions, e.g. due to speed or load the regulating means comprising electric or electronic elements
    • B60G17/019—Resilient suspensions having means for adjusting the spring or vibration-damper characteristics, for regulating the distance between a supporting surface and a sprung part of vehicle or for locking suspension during use to meet varying vehicular or surface conditions, e.g. due to speed or load the regulating means comprising electric or electronic elements characterised by the type of sensor or the arrangement thereof
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L25/00—Testing or calibrating of apparatus for measuring force, torque, work, mechanical power, or mechanical efficiency
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M11/00—Testing of optical apparatus; Testing structures by optical methods not otherwise provided for
    • G01M11/08—Testing mechanical properties
    • G01M11/081—Testing mechanical properties by using a contact-less detection method, i.e. with a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—Two-dimensional [2D] image generation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—Two-dimensional [2D] image generation
    • G06T11/10—Texturing; Colouring; Generation of textures or colours
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—Three-dimensional [3D] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three-dimensional [3D] modelling for computer graphics
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three-dimensional [3D] modelling for computer graphics
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02P—CONTROL OR REGULATION OF ELECTRIC MOTORS, ELECTRIC GENERATORS OR DYNAMO-ELECTRIC CONVERTERS; CONTROLLING TRANSFORMERS, REACTORS OR CHOKE COILS
    • H02P23/00—Arrangements or methods for the control of AC motors characterised by a control method other than vector control
    • H02P23/0004—Control strategies in general, e.g. linear type, e.g. P, PI, PID, using robust control
    • H02P23/0022—Model reference adaptation, e.g. MRAS or MRAC, useful for control or parameter estimation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60G—VEHICLE SUSPENSION ARRANGEMENTS
    • B60G2401/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60G2401/14—Photo or light sensitive means, e.g. Infrared
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60G—VEHICLE SUSPENSION ARRANGEMENTS
    • B60G2401/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60G2401/14—Photo or light sensitive means, e.g. Infrared
    • B60G2401/142—Visual Display Camera, e.g. LCD
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60G—VEHICLE SUSPENSION ARRANGEMENTS
    • B60G2600/00—Indexing codes relating to particular elements, systems or processes used on suspension systems or suspension control systems
    • B60G2600/08—Failure or malfunction detecting means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Quality & Reliability (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Power Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Remote Sensing (AREA)
  • Optics & Photonics (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

전기 기계 장치 및/또는 구성요소로부터 다음의 양 중 하나 이상을 추정하기 위한 방법으로서, 상기 방법은 전기 기계 장치 또는 이의 부분의 포토리얼리스틱 수치 모델의 생성, 그 중 적어도 하나가 적어도 하나의 2차원 이미지에서 물리적 전기 기계 장치의 외부 표면을 시각화하기 위한 이미징 디바이스인 물리적 센서의 출력을 조합하기 위한 측정 단계, 원하는 전기 기계적 양의 추정치를 제공하기 위해 포토리얼리스틱 수치 모델 및 측정 단계를 조합하는 추정 단계로서, 상기 추정 단계는 적어도, 전기 기계 장치 또는 이의 부분의 (적어도 하나의) 2차원 이미지와 포토리얼리스틱 수치 모델에 의해 발생된 이미지 사이에서의 유사성 메트릭의 사용에 기초하는, 상기 추정 단계를 포함한다.

Description

디지털 이미지 및 모델-기반 필터링 기술에 의한 전기기계적 양의 추정
본 발명은 일반적으로 전기 기계적 양의 모델-기반 추정의 분야에 관한 것이다. 보다 구체적으로, 본 발명은 포토리얼리스틱 전기 기계 수치 모델의 도움으로 디지털 이미지 및 모델-기반 필터링에 의한 전기 기계적 양의 추정에 관한 것이다.
최근에, 전기 기계 또는 기계전자공학 장치 및/또는 구성요소의 수치 표현('모델')과 실험 측정치를 조합하기 위한 여러 방법이 직접 측정하는 것이 어렵거나 또는 측정될 수 없는 정보를 추론(추정)하기 위해 제안되어 왔다.
상이한 방법이, 범위가 단일의 변형 가능하지 않은 물체(예로서, 자세 추정을 위한)로부터 집중 파라미터 시스템 모델 내지 (축소된) 선형 및 비선형 유한 요소 모델 및 유연 다물체에 이르는 증가하는 레벨의 복잡성을 위해 제공되고 맞춰져 왔다. 이들 기술은 학문 및 산업 환경 모두에서 성공적으로 이용되어 왔다. 이들 모두는 기본적인 핵심 기능을 공유한다: 이들은 측정된(물리적 오브젝트(physical object)/시스템 상에서 물리적 센서를 통해) 그리고 예측된 양(수치 모델 평가로부터 획득된) 사이에서의 차이를 어떤 (가중된) 의미로 최소화하면서 모델 변수(모델 상태, 입력, 파라미터 또는 이들의 임의의 조합)의 세트를 추정하기 위해 모델에 내장된 지식을 이용한다. 모델과 측정치 사이에서의 연결은 역 또는 추정 알고리즘을 통해 달성된다. 일반적인 최적화 알고리즘은 모델이 측정치를 가장 잘 매칭시키도록 특정한 모델 변수를 조정하기 위해 사용될 수 있다. 칼만(Kalman) 필터링 및 이동 수평 추정(Moving Horizon Estimation)과 같은 특정 기술이 결과적인 추정에 대한 측정 정확도와 수치 모델 사이에서 최적의 트레이드-오프를 획득하기 위해 사용될 수 있다.
상이한 측정이 상이한 애플리케이션을 위해 사용된다. 종종 하나 이상의 모델 변수에 직접 연결될 수 있는 이산 센서(가속도계, 변형 게이지, 마이크로폰 등)가 사용된다. 증가하는 관심은 최근에 관심 장면으로부터 고밀도 공간 데이터를 수집하기 위한 그들의 고유 능력으로 인해 필드 측정(디지털 비디오 프레임, 비디오 및 카메라 이미지)의 사용으로 향해져 왔다.
현재 최첨단 방법은 전체 필드 센서(예로서, 카메라 센서)로부터 캡처된 정보의 전체 범위를 거의 이용할 수 없다. 방법은 단지 엄격한 자세 추정을 위한 정보를 추출하는데 초점을 맞춰 왔으며, 이것은 훨씬 덜 정확한 프로세싱 및 모델 정보를 요구한다. 후자는 예를 들면 국제 특허 출원 WO2014/055355, US 특허 출원 US2009/0297020 및 GB 특허 출원 GB2504822에서 설명된다. 시각적 측정 툴로부터의 이들의 사용은 보통 이산 측정 포인트(예로서, 자세 추정을 위한 포인트 클라우드 발생, 예를 들면 국제 특허 출원 WO2012/0407009 및 US 특허 9412040에서 설명된 바와 같은 위치 측정을 위한 특징 추적)로서 사용될 수 있는 비교적 더 작은 수의 데이터 포인트를 획득하기 위해; 또는 간접 측정 양(그의 특정 예는 구조에 대한 추정된 변형률 측정에서 이미지 정보가 변환되는 디지털 이미지 상관임)을 검색하기 위해 몇몇 종류의 미들-웨어에 의해 보완되어 왔다. 결과로서, 카메라로부터의 필드 측정은 결코 추정 프레임워크 내에서 완전히 및 직접 이용되지 않았다. 이것은 상기 설명된 기존의 접근법의 여러 제한으로 이어진다:
Figure 112018115803214-pct00001
이산 센서에 의존할 때:
°상이한 유형의 센서가 상이한 양을 추정하기 위해 요구된다;
°실행 불가능하게 많은 센서가 충분한 정확도를 제공하기 위해 요구될 수 있다;
°이산 센서는 침투성인 경향이 있다(센서의 존재는 조사 하에서 양을 교란시킨다);
Figure 112018115803214-pct00002
필드 센서에 의존할 때:
°정보는 종종 이산 측정 포인트를 생성하기 위해 조작된다. 이와 같이, 이용 가능한 데이터의 대부분은 이용 가능한 모델 정보가 이용 가능한 센서 정보에 최적으로 매칭되지 않으므로 손실된다.
°정보는 종종 다른 방법(예로서, DIC)에 의해 전체-필드 양을 추출하기 위해 프로세싱되며, 여기에서 물리적 시스템/오브젝트에 대한 소중한 지식은 정확도를 개선하기 위해 이용될 수 없다.
°완전한 필드 측정 접근법은 고려 중인 구조의 몇몇 준비를 요구할 수 있다.
°3D 전기 기계 장치 및/또는 구성요소의 경우에, 이용 가능한 방법은 조사 하에 전기 기계 장치 및/또는 구성요소의 각각의 측면에 대한 적어도 하나의 스테레오-리그를 요구하며, 이것은 사실적인 구조에 대한 값비싼 요건을 빠르게 야기한다. 이들 방법은 또한 단지 구조의 가시적 부분에 대한 정보만을 제공하며, 비가시적인 양(예로서, 내부 변형률)에서의 임의의 통찰을 제공하지 않는다.
°보다 값비싼 이미징 기술을 이용하는 방법이 사용될 수 있지만(컴퓨터 단층 촬영(CTI), 자기 공명 영상(MRI), 단일-광자 단층 촬영(SPECT), 양전자 방출 단층 촬영(PET) 등) 제어된 환경을 요구하며 예로서, 이들의 규칙적인 동작 동안 전기 기계 장치 및 구성요소에 직접 적용 가능하지 않다. 게다가, 언급된 기술은 전기 기계 애플리케이션에서 필요하지 않으며 방법의 비용을 극적으로 증가시키는 내부 비-가시적 부분을 포함한 시스템의 3D 이미지를 허용한다. 게다가, 다수의 이들 방법은 단지 정적 또는 준-정적 이미지 획득을 위해서만 사용될 수 있으며, 전기 기계 애플리케이션을 위한 이들의 사용은 측정 장치에 의해 도입된 자기장의 방해로 인해 불가능하지 않을지라도 어렵다.
국제 특허 출원 WO2014/127321에서, CTI, MRI, SPECT 또는 PET와 같은 값비싼 침투성 의료 디바이스에서 온 이미지가 수술 동안 인체의 장기의 위치를 평가하며 덜 정확한 수술중 수단으로 보는 것이 불가능하지 않을지라도 어려운 연약한 부분의 정확한 위치를 의사가 이해하도록 돕기 위해 사용된다. 그것은 최종적으로 수술 동안 변형된 인체 장기의 3D 모델을 생성하며 그것을 덜 정확한 수술중 이미지에 오버레이하도록 허용하는 최적화 문제를 해결하기 위해 수치 모델과 조합하여 이러한 3D 의료 이미지를 이용한다. 이것은 의사가 환자의 장기의 수치적으로 생성되고 보다 상세한 모델을 보도록 허용한다. 이러한 접근법은 매우 흥미롭지만, 전기 기계 애플리케이션에서 필요한 계산 효율과 조합된 추정된 양에 대한 동적 범위 및 정확도의 레벨에 도달하기 위한 용량이 부족하다. 게다가, 이러한 접근법은 이와 같이 이들의 동작 환경에서 작동하는 전기 기계 장치 및/또는 구성요소에 적용 가능하지 않다.
그러므로 신규의 개선된 모델 기반 감지 방법에 대한 요구가 있다.
본 발명의 실시예의 목적은 디지털 이미지 및 모델-기반 필터링 기술에 의해 전기 기계적 양의 추정을 제공하는 것이다. 상기 목적은 본 발명에 따른 방법 및 디바이스에 의해 성취된다.
본 발명의 실시예의 이점은, 즉 비디오 및/또는 포토 카메라 이미지와 같은 저 비용 이미징 기술에서 기인한, 저 비용 이미지를 이용할 수 있다는 것이다. 본 발명의 실시예의 이점은 가시적 부분의 2D 이미지가 사용될 수 있다는 것이다. 따라서 이점은 실시예가, 예로서 CTI, MRI, SPECT 또는 PET와 같은 3D 디바이스로부터 획득된 바와 같이, 크거나 또는 값비싼 이미지 또는 내부 이미지를 요구하지 않는다는 것이다. 본 발명의 실시예의 이점은 사용이 예를 들면 장치와 같은 전기 기계 시스템의 표면 그러나 또한 내부 양을 추론하기 위해 모델-기반 필터링으로 이루어진다는 것이다.
본 발명에 따른 실시예의 이점은 추정된 양의 및/또는 이미지 정보의 시간-이력이 이용된다는 것이다. 후자는 과도적 동적 모션을 커버하도록 허용하며, 이것은 전자기 애플리케이션에서 필수적이다. 본 발명의 실시예의 이점은 비전 기반 접근법이, 예를 들면, 칼만-기반 필터 및/또는 이동 수평 추정기와 같은, 동적 추정기와 결합된다는 것이다.
본 발명에 따른 실시예의 이점은 고 충실도 모델이 사용되어 요구된 레벨의 정확도를 획득하도록 허용한다는 것이다. 큰 계산 부담은 요구되는 경우, 개선된 모델 차수 축소 기법을 채택함으로써 회피된다.
제1 양상에서, 본 발명은 물리적 오브젝트를 감지하는 방법을 제공하며, 상기 방법은 상기 물리적 오브젝트의 포토리얼리스틱(photorealistic) 가상 오브젝트를 제공하는 것, 측정 단계를 수행하는 것으로서, 상기 측정 단계는 상기 물리적 오브젝트를 기록하는 것 및 적어도 하나의 2차원 이미지를 포함한 상기 물리적 오브젝트의 물리적 필드 측정치를 획득하는 것을 포함한, 상기 측정 단계를 수행하는 것 및 추정 단계를 수행하는 것으로서, 상기 추정 단계는 포토리얼리스틱 가상 필드 측정치를 생성하기 위해 상기 포토리얼리스틱 가상 오브젝트에 외부 가진(excitation)을 인가하는 것 및 상기 물리적 필드 측정치와 상기 포토리얼리스틱 가상 필드 측정치를 비교하는 것 및 그러므로 상기 물리적 오브젝트를 감지하는 것을 포함하는, 상기 추정 단계를 수행하는 것을 포함한다.
상기 방법은 적어도 하나의 2차원 이미지의 시간-이력을 사용하는 것을 포함할 수 있다.
물리적 오브젝트를 감지하는 것은 물리적 오브젝트의 다음의 양 중 하나 이상, 예로서 전기 기계 장치 또는 구성요소로부터 다음의 전기 기계적 양 중 하나 이상을 추정하는 것을 포함할 수 있다:
Figure 112018115803214-pct00003
상태: 위치, 속도, 가속, 변형, 변형률, 전류를 포함하지만, 이들로 제한되는 것은 아님;
Figure 112018115803214-pct00004
입력: 기계력, 기계적 토크, 기계적 압력, 전압을 포함하지만, 이들로 제한것은 아님;
Figure 112018115803214-pct00005
파라미터: 밀도, 영률, 푸아송(Poisson) 비, 재료 파라미터, 물리적 치수, 저항, 정전용량을 포함하지만, 이들로 제한것은 아님.
상기 방법은 물리적 오브젝트의 상기 양의 추정치의 시간 이력을 제공하는 것을 포함할 수 있다.
상기 물리적 오브젝트는 전기 기계 장치 및/또는 구성요소일 수 있다.
포토리얼리스틱 가상 오브젝트를 제공하는 것은 물리적 오브젝트의 포토리얼리스틱 수치 모델의 생성을 포함할 수 있다.
측정 단계를 수행하는 것은 그 중 적어도 하나가 적어도 하나의 2차원 이미지에서 물리적 오브젝트의 외부 표면을 시각화하기 위한 이미징 디바이스인 물리적 센서의 출력을 조합하는 것을 포함할 수 있다.
추정 단계를 수행하는 것은 원하는 양 또는 양들의 추정치를 제공하기 위해 물리적 필드 측정과 상기 포토리얼리스틱 가상 필드 측정치를 조합하는 것을 포함할 수 있으며 여기에서 상기 추정 단계는 적어도, 물리적 오브젝트 또는 이의 부분의 적어도 하나의 2차원 이미지와 상기 포토리얼리스틱 가상 오브젝트에 의해 발생된 이미지 사이에서의 유사성 메트릭의 사용에 기초한다.
추정 단계를 수행하는 것은 원하는 전기 기계적 양의 추정치를 제공하기 위해 상기 포토리얼리스틱 수치 모델 및 측정 단계를 조합하는 것을 포함할 수 있으며 상기 추정 단계는 적어도, 상기 전기 기계 장치 또는 부분의 적어도 하나의 2차원 이미지와 상기 포토리얼리스틱 수치 모델에 의해 발생된 이미지 사이에서의 유사성 메트릭의 사용에 기초한다.
상기 물리적 오브젝트의 포토리얼리스틱 가상 오브젝트의 물리적 거동은 시스템의 이산화된 근사치로서 획득된 정적 또는 동적 모델에 의해 설명될 수 있다.
본 발명의 실시예의 이점은 일반적으로 이미지 또는 전기 기계 장치 및/또는 구성요소의 2D 이미지를 캡처하는 센서가 국소화되고 분산된 필드를 나타낼 수 있는 수치 모델과 조합된다는 것이다. 카메라 이미지 및 비디오를 추정 프레임워크로 조합하는 보다 효과적인 방식이 제공되어, 측정된 정보의 완전한 가능성을 이용한다.
바람직한 실시예에서, 포토리얼리스틱 전기 기계 수치 모델의 물리적 거동은, 제한 없이, 집중 파라미터 모델, 유한 요소 모델, 전산 유체 역학 모델, 유연 다물체 모델 또는 이들의 조합과 같은 상미분, 편미분 또는 미분-대수 방정식에 의해 설명된 시스템의 이산화된 근사치로서 획득된 정적 또는 동적 모델에 의해 설명된다.
바람직한 실시예에서, 포토리얼리스틱 전기 기계 수치 모델은 하나 이상의 선형 및 비-선형 모델 차수 축소 기술의 사용에 의해 계산적으로 효율적이게 된다. 높은 정확도는 카메라 이미지 및/또는 비디오와 비교되는 전기 기계 모델의 또는 적어도 이의 부분의 고차원 설명에 의해 보장될 수 있다. 높은 정확도는 모델 차수 축소가 이러한 계산적으로 값비싼 모델의 계산 정확도를 보존하기 위해 요구되는 동안 양적 결과를 획득하도록 요구된다. 모델이 시간 도메인에서 해결됨에 따라, 이것은 수용 가능한 계산 부하에 도달하도록 요구된다. 하나 이상의 선형 또는 비-선형 모델 차수 축소 기술은 구성요소 모드 합성, 크릴로프(Krylov) 기반 방법, 적절한 직교 분해, 동적 모드 분해, 균형 절단, 이산 경험적 보간 방법, 에너지 보존 샘플링 및 가중 중 하나 이상일 수 있다.
이들 기술은 본질적으로 이미지 정확도와 모델 정확도 사이에 최적의 트레이드오프(몇몇 정의된 의미에서)를 제공하는 전기 기계적 추정된 양의 시간 이력 및 동적 효과를 처리하도록 허용한다. 바람직한 실시예들에서, 추정은 디지털 이미지 및 포토리얼리스틱 전기 기계 수치 모델 양쪽 모두를 조합한 동적 필터링 기술로부터 획득된다. 이들 기술은, 제한 없이, 칼만 필터-기반 기술, 이동 수평 추정 기술, 루엔버거 관측기(Luenberger observer) 등을 포함한다.
바람직한 실시예에서, 추정기는 추정된 전기 기계적 양의 스토캐스틱 오차 범위(stochastic error bound)의 평가를 허용한다.
모델은 시간 도메인에서 해결될 수 있다;
상기 추정은 비디오, 이미지 및 포토리얼리스틱 수치 모델 모두를 조합한 동적 필터링 기술로부터 획득될 수 있다.
상기 추정 단계는 물리적 오브젝트의 추정된 양의 스토캐스틱 오차 범위의 평가를 허용할 수 있다.
상기 방법은 상기 포토리얼리스틱 가상 오브젝트로의 알려진 입력으로서 상기 물리적 오브젝트의 양의 서브세트를 측정하고 사용하는 것을 포함할 수 있다.
상기 방법은 상기 추정 단계 동안 비디오 및 카메라 이미지 외에 추가 전기 기계적 양을 측정하고 사용하는 것을 포함할 수 있다.
바람직한 실시예에서, 상기 전기 기계적 양의 서브세트가 알려져 있다. 이들 알려진 양은 추정 알고리즘 내에서 나머지 추정된 양의 정확도를 개선하기 위해 사용된다.
바람직한 실시예에서, 전기 기계적 양의 서브세트가 측정된다. 이들 측정된 양은 추정 알고리즘 내에서 추정된 양의 정확도를 개선하기 위해 사용된다. 이러한 측정은, 변형 게이지, 가속도계, 광섬유 브래그 격자 변형 센서, 자이로스코프, 전압 센서, 전류 센서, 온도 센서, 마이크로폰 등을 포함하지만, 이들로 제한것은 아니다.
바람직한 실시예에서, 포토리얼리스틱 전기 기계 수치 모델을 제공하는 것은 물리적 전기 기계 장치 및/또는 구성요소의 수치 모델을 생성하는 것 및 적어도 하나의 이미지로 모델의 기하학적 구조를 텍스처화하는 것을 포함한다.
바람직한 실시예에서, 전기 기계 장치의 물리적 필드 측정은 변형된 물리적 필드이다.
제2 양상에서, 본 발명은 프로세싱 시스템을 포함한 디바이스를 제공하며, 상기 프로세싱 시스템은 본 발명의 실시예에 따른 방법을 수행하도록 구성된다.
제3 양상에서, 본 발명은 물리적 오브젝트를 특성화하기 위한 시스템에 관한 것이며, 상기 시스템은 상기 물리적 오브젝트의 양을 측정하기 위한 적어도 하나의 수단 및 상기 물리적 오브젝트의 필드를 측정하기 위한 적어도 하나의 수단의 출력을 수신하도록 구성되며 상기 설명된 바와 같이 상기 방법을 수행하도록 구성된 프로세서를 포함한다.
일 양상에서, 본 발명은 또한 전기 기계적 양을 추정하기 위한 시스템을 제공하며, 상기 시스템은,
Figure 112018115803214-pct00006
물리적 전기 기계 장치의 디지털 이미지를 획득하기 위한 적어도 하나의 수단;
Figure 112018115803214-pct00007
상기 물리적 전기 기계 시스템의 이미지 및 비디오를 획득하기 위한 적어도 하나의 수단의 출력을 수신하도록 구성되며 바람직한 실시예에서 제공된 방법을 수행하도록 구성된 프로세서를 포함한다.
실시예의 이점은, 포토리얼리스틱 전기 기계 수치 모델이, 그의 하나 이상의 상이한 관점 및 구성으로부터 시각화될 수 있으며 시각적으로 물리적 전기 기계 장치 및/또는 구성요소를 닮도록: 요컨대, 물리적 전기 기계 장치 및/또는 구성요소와 포토 일관적(photoconsistent)이도록 생성된다.
상기 전기 기계 수치 모델은 이의 시각화를 허용하는 임의의 스크린 또는 디바이스 상에서 렌더링될 수 있다.
본 발명의 실시예에 따른 방법은 상이한 기술을 수반한 여러 단계를 포함한다. 본 발명의 실시예의 이점은 최적의 방법이 높은 정확도 및 큰 계산 효율을 제공받는다는 것이다.
계산 효율은 다음과 같이 가능해질 수 있다: 본 발명의 설명에서 추가로 상세히 설명되는 바와 같이 수치 모델 효율을 사용함으로써, 2D 또는 3D 모델은 포토리얼리스틱 전기 기계 수치 모델을 생성하기 위해 사용될 수 있다. 이러한 수치 모델을 획득하기 위해 전용된 기술은, (제한 없이), 선형 및 비-선형 요소, 유한 볼륨, 유한 차분, 다물체 및 유연 다물체 모델, 등기하학적 모델, 또는 되는대로 대수, 상미분, 편미분 및 미분 대수 방정식의 시스템을 이산화하도록 허용한 모델링 방법이다. 설명된 기술은 물리적 전기 기계 장치의 정확한 수치 설명을 야기하지만 종종 2D 및 3D 분산 필드의 표현(위치, 가속, 변형 등)을 획득하기 위해 해결될 방정식 및 매우 많은 수의 자유도(수백만까지)를 야기한다. 이러한 세트의 방정식(예로서, 운동 방정식, 추정 방정식 등)의 해결을 위해 요구된 계산 부담은 엄청나게 높아질 수 있다. 지난 수십 년 동안, 보다 빠르지만 정확한 해결책을 허용하는 여러 기술이 선형 및 비-선형 모델 차수 축소(MOR)의 이름 하에 개발되어 왔다. 이들 기술의 애플리케이션은 학문 분야 그 자체이며 모델 준비 동안 취해질 수 있는 사소하지 않은 단계를 나타낸다. MOR 기술은 본 발명의 추정 단계 동안 실현 가능한 계산 시간을 야기하는 계산 부담에서의 상당한 축소에 도달하기 위해 현재 발명에서 사용될 수 있다. MOR 기술은 현재 발명의 성공적인 구현을 위해 필요하지 않지만 정확도 및 계산 속도가 모델러에 의해 선택될 트레이드오프를 나타내는 확장 가능 방법을 달성하기 위한 방식을 나타낸다. 특히 (제한 없이), 양식 절단, 구성요소 모드 합성, 크릴로프 공간 축소, 균형 절단, 적절한 직교 분해, 에너지-보존 샘플링 및 가중, 경험적 및 이산 경험적 보간 방법, 전역적 양식 파라미터화, 일반화된 구성요소 모드 합성, 궤적 구간별 선형 모델 축소, ManiMor, 적절한 일반화 분해, 파라메트릭 모델 차수 축소 기술, 하이퍼-축소 기술과 같은 기술, 또는 자유도 및/또는 방정식의 원래 수를 감소시킴으로써 수치 모델에 의해 부여된 계산 부담을 감소시키기에 적합한 임의의 다른 방법. 이들 기술은 자유도의 수를 낮추는 이점을 가질 뿐만 아니라 해결사 관점으로부터의 결과적인 이점(허용된 보다 큰 시간-스텝, 개선된 안정성 등)과 함께 가까이에 있는 문제의 수치상 강성을 낮추는 것과 같은 몇몇 다른 귀중한 이익을 보여줄 수 있다. MOR 기술이 사용되면, 특정 문제에 따른 적절한 방법을 선택하는 것이 최고로 중요하다; MOR은 그 자체로 기술이며 강력한 엔지니어링 판단이 여전히 정확도를 급격하게 손상시키지 않고 최적의 계산 성능을 획득하기 위해 요구된다.
효율적인 렌더링은 또한 현재 발명에서 이용될 수 있지만, 필수 단계는 아니다. 그것은 - 포토리얼리스틱 전기 기계 수치 모델의 이미지를 획득하는 프로세스로서 - 그들의 프로그래밍 가능한 파이프라인으로, 현대 GPU 아키텍처의 사용에 의해, 효율적인 렌더링 기술에 의해 가능해질 수 있다. 축소 차수 모델과의 조합은 포토리얼리스틱 전기 기계 수치 모델의 디지털 이미지의 고속 생성을 허용하는 발명에 유익하다. 보다 일반적으로, MOR 기법 내에서, 시뮬레이션된 필드 양을 효율적으로 계산하기 위한 대량 병렬 가속기의 사용은 사소한 기술 단계가 아니며, 이것은 예로서, 그들의 성공을 위해 제어된 (의학적) 환경에 의존하는 국제 특허 출원 WO2014/127321에서처럼 다른 방법과 대조적으로 본 발명의 산업 적용의 잠재적인 분야를 신장시킨다.
전기 기계적 양의 추정은 하나 이상의 추정 기술에 의해 가능해질 수 있다. 본 발명의 이점은 (제한 없이) 칼만-기반 필터링, 이동 수평 추정 및/또는 루엔버거 관측기 등과 같은 시간 도메인 추정기의 사용을 허용하는 것이다. 추정기는 카메라를 이용해서 측정되고/되거나 포토리얼리스틱 전기 기계 수치 모델을 이용해서 생성된 비디오 및 이미지를 포함하는 추정된 양의 전체 시간 이력에 대한 정보를 통합하는 전기 기계 장치 및/또는 구성요소의 동적 과도적 수치 모델의 사용을 가능하게 할 수 있다.
몇몇 실시예에서, 추정기는 물리적 전기 기계적 양과 추정된 전기 기계적 양 사이에서 차이의 스토캐스틱 오차 측정치를 검색하도록 허용할 수 있다.
추정 접근법 및 유사성 측정치와 함께 획득된 비디오 또는 포토 카메라의 품질은 화소 크기보다 10 내지 1000배 더 작은 정확도에 도달하도록 허용할 수 있다.
일 양상에서 본 발명은 또한 전기 기계 장치 또는 구성요소로부터 다음의 전기 기계적 양 중 하나 이상을 추정하기 위한 방법을 제공한다:
Figure 112018115803214-pct00008
상태: 제한 없이, 위치, 속도, 가속, 변형, 변형률, 전류를 포함한다;
Figure 112018115803214-pct00009
입력: 제한 없이, 기계력, 기계적 토크, 기계적 압력, 전압을 포함한다;
Figure 112018115803214-pct00010
파라미터: 제한 없이, 밀도, 영률, 푸아송 비, 재료 파라미터, 물리적 치수, 저항, 정전용량을 포함한다.
상기 방법은,
Figure 112018115803214-pct00011
전기 기계 장치 또는 이의 부분의 포토리얼리스틱 수치 모델의 생성;
Figure 112018115803214-pct00012
그 중 적어도 하나가 하나 이상의 2D 이미지에서 물리적 전기 기계 장치 또는 이의 부분의 외부 표면의 외형을 캡처하도록 허용하는 이미징 디바이스인 물리적 센서를 조합하도록 허용하는 측정 단계,
Figure 112018115803214-pct00013
원하는 전기 기계적 양의 추정치를 제공하기 위해 포토리얼리스틱 수치 모델 및 측정 단계를 조합한 추정 단계,
Figure 112018115803214-pct00014
추정 단계는 주로 그러나 그뿐 아니라 전기 기계 장치 또는 이의 부분의 적어도 상기 하나 이상의 2D 이미지와 포토리얼리스틱 수치 모델 덕분에 발생된 이미지 사이에서의 유사성 메트릭의 사용에 기초한다.
일 양상에서, 본 발명은 물리적 오브젝트를 감지하는 방법에 관한 것이며, 상기 방법은 물리적 오브젝트의 포토리얼리스틱 가상 오브젝트를 제공하는 것, 및 동작 단계를 수행하는 것을 포함하며, 상기 동작 단계는 측정 단계로서, 상기 측정 단계는 상기 물리적 오브젝트를 기록하는 것 및 상기 물리적 오브젝트의 물리적 필드 측정치를 획득하는 것을 포함하는, 상기 측정 단계, 및 추정 단계로서, 상기 추정 단계는 포토리얼리스틱 가상 필드 측정치를 생성하기 위해 상기 포토리얼리스틱 가상 오브젝트로 외부 가진을 인가하는 것 및 상기 물리적 필드 측정치와 상기 포토리얼리스틱 가상 필드 측정치를 비교하는 것 및 그러므로 상기 물리적 오브젝트를 감지하는 것을 포함하는, 상기 추정 단계를 포함한다.
상기 물리적 필드 측정치와 상기 포토리얼리스틱 가상 필드 측정치를 비교하는 것은 상기 물리적 필드 측정치와 상기 포토리얼리스틱 가상 필드 측정치를 매칭시키는 것 및 상기 매칭을 야기하는 가진을 검색하는 것을 포함한다.
상기 물리적 필드 측정치와 상기 포토리얼리스틱 가상 필드 측정치를 비교하는 것은 상기 물리적 필드 측정치와 상기 포토리얼리스틱 가상 필드 측정치의 유사성의 측정치를 나타내는 비용 함수를 최소화하는 것을 포함할 수 있다.
상기 외부 가진은 알려져 있거나 또는 추정될 수 있다.
물리적 오브젝트의 포토리얼리스틱 가상 오브젝트를 제공하는 것은 상기 물리적 오브젝트의 모델 또는 가상 오브젝트를 생성하는 것 및 상기 물리적 오브젝트의 적어도 하나의 이미지를 이용해서 상기 모델을 텍스처화하는 것을 포함할 수 있다.
상기 물리적 오브젝트의 모델을 생성하는 것은 모델 생성 단계 및 모델 등록 단계를 포함할 수 있다.
상기 모델 등록 단계는 상기 물리적 오브젝트 및 상기 모델을 배치하고 배향시키는 것을 포함할 수 있다.
상기 모델은 수치 모델일 수 있다.
상기 모델은 2 또는 3차원 모델일 수 있다.
적어도 하나의 이미지를 이용해서 상기 모델을 텍스처화하는 것은 상기 물리적 오브젝트의 모델 또는 가상 오브젝트가 상기 물리적 오브젝트의 적어도 하나의 이미지와 일치하도록 이미지-기반 렌더링 방법을 사용하는 것을 포함할 수 있다.
상기 적어도 하나의 이미지는 상기 측정 단계 동안 기록하면서 획득될 수 있다.
상기 적어도 하나의 이미지는 포토 또는 비디오 이미징 수단, 자기 기반 이미징 수단, 방사선 촬영 이미징 수단, 고체 상태 또는 스캐닝 광 검출 이미징 수단 및/또는 열화상 이미징 수단에 의해 획득될 수 있다.
상기 물리적 오브젝트의 물리적 필드 측정치는 정적 또는 동적 가진에서 물리적 오브젝트를 측정함으로써 획득될 수 있다.
상기 물리적 오브젝트의 물리적 필드 측정치는 분산된 및/또는 변형된 물리적 필드일 수 있다.
본 발명은 또한 프로세싱 시스템을 포함한 디바이스에 관한 것이며, 상기 프로세싱 시스템은 상기 설명된 바와 같이 방법을 수행하도록 구성된다.
본 발명은 더욱이 물리적 오브젝트를 감지하기 위한 시스템에 관한 것이며, 상기 시스템은,
- 상기 물리적 오브젝트의 필드를 측정하기 위한 적어도 하나의 수단;
- 상기 물리적 오브젝트의 필드를 측정하기 위한 적어도 하나의 수단의 출력을 수신하도록 구성되며 상기 설명된 바와 같이 상기 방법을 수행하도록 구성된 프로세싱을 포함한다.
본 발명의 특별하고 바람직한 양상은 수반되는 독립 및 종속 청구항에서 제시된다. 종속 청구항으로부터의 특징은 독립 청구항의 특징과 및 단지 청구항에서 명확하게 제시된 바와 같은 것이 아닌, 적절하다면 다른 종속 청구항의 특징과 조합될 수 있다. 유사하게, 상이한 양상의 선택적 및/또는 표준 특징은 단지 청구항에서 명확하게 제시된 바와 같은 것이 아닌, 적절한 경우 조합될 수 있다. 본 발명의 이들 및 다른 양상은 이후 설명된 실시예(들)로부터 명백하며 이것을 참조하여 설명될 것이다.
도 1은 본 발명의 실시예에 따른 방법을 예시한다.
도 2는 본 발명의 실시예에 따른 방법을 예시한다.
도 3A 내지 도 3C는 본 발명의 실시예에 따른 모델을 생성하는 것을 예시한다.
도 4A 내지 도 4C는 본 발명의 실시예에 따른 모델 등록 단계를 예시한다.
도 5A 내지 도 5C는 본 발명의 실시예에 따른 포토리얼리스틱 (전기)기계 수치 모델을 생성하는 것을 예시한다.
도 6은 본 발명의 실시예에 따른 물리적 (전기)기계 장치 및/또는 구성요소의 측정 이미지를 예시한다.
도 7a 내지 도 7d는 본 발명의 실시예에 따른 추정 단계 또는 페이즈(phase)를 예시한다.
도 8은 본 발명의 특정 실시예에 따른 방법의 가능한 작업 흐름을 예시한다.
도 9는 본 발명의 실시예에 따른 가능한 하드웨어-소프트웨어 시스템을 예시한다.
도 10은 본 발명의 실시예에 따른 방법의 요약을 예시한다.
도면은 단지 개략적이며 비-제한적이다. 도면에서, 요소 중 일부의 크기는 예시적인 목적을 위해 과장되며 일정한 비율로 그려지지 않을 수 있다. 청구항에서 임의의 참조 부호는 범위를 제한하는 것으로 해석되지 않을 것이다.
상이한 도면에서, 동일한 참조 부호는 동일한 또는 유사한 요소를 나타낸다.
본 발명은 특정한 실시예에 대하여 그리고 특정한 도면을 참조하여 설명될 것이지만 본 발명은 이러한 실시예가 아니라 단지 청구항에 의해서만 제한된다. 설명된 도면은 단지 개략적이며 비-제한적이다. 도면에서, 요소 중 일부의 크기는 예시적인 목적을 위해 과장되며 일정한 비율로 그려지지 않을 수 있다. 치수 및 상대적 치수는 본 발명의 실시에 대한 실제 축소에 대응하지 않는다.
더욱이, 설명에서 및 청구항에서 용어, 제1, 제2 등은 유사한 요소 간을 구별하기 위해 사용되며 반드시 시간적으로, 공간적으로, 랭킹에서 또는 임의의 다른 방식으로 시퀀스를 설명하기 위한 것은 아니다. 그렇게 사용된 용어는 적절한 상황 하에서 상호 교환 가능하며 여기에서 설명된 본 발명의 실시예는 여기에서 설명되거나 또는 예시된 것이 아닌 다른 시퀀스에서의 동작을 가능하게 한다는 것이 이해될 것이다. 게다가, 설명 및 청구항에서 용어 맨 위, 아래 등은 설명의 목적을 위해 사용되며 반드시 상대적 위치를 설명하기 위한 것은 아니다. 그렇게 사용된 용어는 적절한 상황에서 상호 교환 가능하며 여기에서 설명된 본 발명의 실시예는 여기에서 설명되거나 또는 예시된 것이 아닌 다른 배향에서의 동작을 가능하게 한다는 것이 이해될 것이다.
청구항에서 사용된 용어 "포함하는"은 이후 나열된 수단에 제한되는 것으로 해석되지 않아야 한다는 것이 인지될 것이며; 다른 요소 또는 단계를 배제하지 않는다. 상기 용어는 따라서 참조된 것으로 서술된 특징, 정수, 단계 또는 구성요소의 존재를 특정하는 것으로 해석될 것이지만, 하나 이상의 다른 특징, 정수, 단계 또는 구성요소, 또는 이들의 그룹의 존재 또는 부가를 배제하지 않는다. 따라서, 표현 "수단 A 및 수단 B를 포함한 디바이스"의 범위는 단지 구성요소(A 및 B)로 이루어진 디바이스에 제한되지 않아야 한다. 그것은 본 발명에 대하여, 디바이스의 유일한 관련 있는 구성요소가 A 및 B임을 의미한다. "일 실시예" 또는 "실시예"에 대한 본 명세서 전체에 걸친 참조는 실시예와 관련되어 설명된 특정한 특징, 구조 또는 특성이 본 발명의 적어도 일 실시예에 포함된다는 것을 의미한다. 따라서, 본 명세서 전체에 걸친 다양한 곳에서 구절 "일 실시예에서" 또는 "실시예에서"의 출현은 반드시 모두가 동일한 실시예를 나타내는 것은 아니지만, 그럴 수 있다. 더욱이, 특정한 특징, 구조 또는 특성은, 하나 이상의 실시예에서, 본 개시로부터 이 기술분야의 숙련자에게 명백할 바와 같이, 임의의 적절한 방식으로 조합될 수 있다.
유사하게, 본 발명의 대표적인 실시예의 설명에서, 본 발명의 다양한 특징은 때때로 본 개시내용을 간소화하며 다양한 본 발명의 양상 중 하나 이상의 이해를 도울 목적으로 단일 실시예, 도면, 또는 그의 설명에서 함께 그룹화된다는 것이 이해되어야 한다. 본 개시내용의 이러한 방법은, 그러나, 청구된 발명이 각각의 청구항에서 명확하게 나열된 것보다 많은 특징을 요구하는 의도를 반영하는 것으로 해석되지 않을 것이다. 오히려, 다음의 청구항이 반영하는 바와 같이, 본 발명의 양상은 단일의 앞서 개시된 실시예의 모든 특징보다 적다. 따라서, 상세한 설명을 따르는 청구항은 이러한 상세한 설명으로 명확하게 통합되며, 각각의 청구항은 본 발명의 별개의 실시예로서 그 자체로 성립한다.
더욱이, 여기에서 설명된 몇몇 실시예는 다른 실시예에 포함된 일부이지만 다른 특징을 포함하지만, 상이한 실시예의 특징의 조합은 본 발명의 범위 내에 있도록 의도되며, 이 기술분야의 숙련자에 의해 이해될 바와 같이, 상이한 실시예를 형성한다. 예를 들면, 다음의 청구항에서, 청구항 실시예 중 임의의 것은 임의의 조합으로 사용될 수 있다. 여기에서 제공된 설명에서, 다수의 특정 세부사항이 제시된다. 그러나, 본 발명의 실시예는 이들 특정 세부사항 없이 실시될 수 있다는 것이 이해된다. 다른 경우에, 잘 알려진 방법, 구조 및 기술은 본 설명의 이해를 모호하게 하지 않도록 상세하게 도시되지 않았다.
제1 양상에서, 도 1에 입증된 바와 같이, 본 발명은 물리적 전기 기계 장치 및/또는 구성요소를 감지하는 방법을 제공하며, 상기 방법은 상기 물리적 전기 기계 장치 및/또는 구성요소의 포토리얼리스틱 전기 기계 수치 모델을 제공하는 것 및 추정 단계를 수행하는 것을 포함한다. 추정 단계는 측정 및 추정 단계를 포함하며, 상기 측정 단계는 물리적 전기 기계 장치 및/또는 구성요소를 기록하는 것 및 물리적 전기 기계 장치 및/또는 구성요소의 하나 이상의 이미지 또는 비디오를 획득하는 것을 포함하고 상기 추정 단계는 전기 기계 수치 모델의 시뮬레이션된 포토리얼리스틱 이미지를 생성하기 위해 포토리얼리스틱 전기 기계 수치 모델의 시간 시뮬레이션을 수행하는 것 및 물리적 전기 기계 장치의 이미지 및/또는 비디오와 시뮬레이션된 이미지 및/또는 비디오를 비교하는 것 및 그러므로 추정 알고리즘 내에서 물리적 전기 기계 장치 및/또는 구성요소를 "감지하는 것"을 포함한다. 추가 실시예에서, 도 2에 입증되는 바와 같이, 물리적 전기 기계 장치 및/또는 구성요소의 포토리얼리스틱 전기 기계 수치 모델을 제공하는 것은, 물리적 전기 기계 장치 및/또는 구성요소의 수치 모델을 생성하고 물리적 전기 기계 장치 및/또는 구성요소의 적어도 하나의 이미지를 이용해서 수치 모델을 텍스처화함으로써, 교정 단계에서 가능해질 수 있다. 그 결과, 본 발명의 실시예는 물리적 시스템 및/또는 오브젝트의 수치 모델을 증가시키기 위해 작업 흐름 및 방법론을 설명한다. 보다 구체적으로, 필드 측정치, 예로서 물리적 전기 기계 장치 및/또는 구성요소의 이미지 및/또는 비디오를 이용해서 수치 모델을 증가시키기 위해. 이러한 증가는 물리적 전기 기계 장치 및/또는 구성요소의 이미지 및/또는 비디오를 사용함으로써 수치 모델을 텍스처화하는 것에 의해 획득될 수 있다.
물리적 전기 기계 장치 및/또는 구성요소의 이미지 또는 비디오는 이미지, 예로서 디지털 포토/비디오 카메라를 캡처하는 것에 전용된 임의의 획득 하드웨어로부터 획득될 수 있다. 본 발명의 실시예에 따르면, 이미지 또는 비디오는 2차원 이미지 또는 비디오이다.
본 발명의 실시예에서, 포토리얼리스틱 전기 기계 수치 모델은 이것(의 부분)이 획득 하드웨어(예로서, 포토 및 비디오 카메라) 및 소프트웨어 덕분에 이미징되는 전기 기계 장치 및/또는 구성요소의 외형을 아주 닮도록 생성된다. 이러한 유사함은 "포토일관성(photoconsistency)"으로 불리운다. 생성된 포토리얼리스틱 전기 기계 수치 모델은 그 뒤에 사용될 상이한 조건(예로서, 휴지, 운동, 변형 상태, 온도) 하에서 이의 포토리얼리스틱 시각화가 이러한 포토리얼리스틱 전기 기계 수치 모델의 이미지 및/또는 비디오를 획득하도록 허용한다.
포토리얼리스틱 전기 기계 수치 모델은 본 발명의 실시예의 사용자에게 흥미있는 전기 기계 추정 양(의 부분)의 시각화에 따라 증가될 수 있다.
현재 최신의 추정 접근법에서, 필드 센서로부터 획득된 데이터는 가상 오브젝트에서 직접 발견될 수 있는 변수로 변환된다(예로서, 카메라 이미지는 그 후 기계적 모델에서 동일한 포인트의 모션에 비교될 수 있는 제한된 수의 포인트의 모션으로 변환된다). 그러나, 본 발명의 실시예에서, 포토리얼리스틱 전기 기계 수치 모델은 물리적 전기 기계 장치 및/또는 구성요소로서 시각적으로 거동하기 위해서와 같이 생성된다. 이와 같이, 포토리얼리스틱 전기 기계 수치 모델의 이미지는 예로서, 작업 환경에서, 전기 기계 장치 및/또는 구성요소의 이미지와 직접 비교될 수 있다.
비교는 특징 추출 또는 임의의 다른 적절한 수단 덕분에, 모션 추정에 의해, 화소 밝기를 비교하는, 디지털 이미지 상관(digital image correlation: DIC)의 분야에 관계된 방법에 기초할 수 있다. 추정 기술은 그 다음에 예로서, 칼만 필터, 이동 수평 추정(Moving Horizon Estimation: MHE) 또는 루엔버거 관측기에 의해 이용될 수 있다. 이 단계는 "분산 필드"(예로서, 변위, 속도, 응력, 변형, 가속, 온도 등), "국소화된 측정치"(예로서, 변위, 속도, 기계적 및 열적 응력/변형, 가속, 온도 등), "시스템 상태", 알려지지 않은 입력 또는 내부 하중 또는 임의의 유형의 "입력"(예로서, 힘, 토크, 열 소스, 전압 등) 및/또는 "파라미터"(기하학적 치수, 강성, 질량, 밀도, 재료 속성 등) - 가능하게는 시간적으로 달라지는 - 와 같은 알려지지 않은 전기 기계적 양의 추정치를 달성하기 위해 선호된다. 분산 필드, 알려지지 않은 가진, 국소화된 측정 시스템 상태 및 파라미터는 추가로 및 이전에 추정된 전기기계적 양으로 불리운다.
상기 정의된 바와 같이 변수의 정확한 추정치의 달성은 여러 단계 중 하나 이상에 연관된다.
본 발명의 실시예는 다음의 단계 또는 양상 중 하나 이상을 포함한 수치/실험 프로세스를 제공한다: 준비 단계 및 추정 단계. 그에 의해 준비 단계는 모델 정의 및 생성 단계 및 전기 기계 수치 모델의 포토리얼리스틱 "증가"를 포함할 수 있다. 추정 단계는 측정 단계 및 추정 단계, 및 보다 구체적으로 포토리얼리스틱-모델-기반 추정을 포함할 수 있다.
일반적으로 표시된 바와 같이, 본 발명의 실시예에 따른 방법은 두 개의 주요 페이즈(phase)로 나뉠 수 있다. 준비 페이즈는 다음, 즉: 전기 기계 수치 모델이 본 발명의 실시예에 따라 준비되고, 등록되며 포토리얼리스틱 전기 기계 수치 모델로 변환되는 단계를 포함할 수 있다. 그러나, 예로서, 포토리얼리스틱 전기 기계 수치 모델처럼 준비 페이즈와 동일한 결과를 야기하는, 이 기술분야에 알려진 다른 대안적인 기술이 또한 다른 수단에 의해 이용 가능할 때 추정 페이즈로의 입력으로서 직접 사용될 수 있다. 본 발명의 몇몇 실시예에 따르면, 포토리얼리스틱 전기 기계 수치 모델의 시뮬레이션의 계산 부하는 모델 차수 축소 기술을 통해 감소된다.
실시예에 따른 추정 페이즈는 전기 기계 장치 및/또는 구성요소의 디지털 이미지 또는 비디오가 시계열의 다른 선택적 센서와 함께 획득되는 측정 페이즈 및 원하는 변수의 값이 평가되는 적절한 추정 페이즈를 포함한다. 추정 페이즈는 유리하게는 추정의 맥락에서 포토리얼리스틱 전기 기계 수치 모델을 사용한다. 본 발명의 실시예에 따른 이미지 또는 비디오는 2차원 이미지 또는 비디오를 포함한다.
본 발명의 실시예에서, 준비 페이즈 또는 단계가 제공될 수 있다. 상기 교정 페이즈 또는 단계는 (1) 모델 정의 단계, (2) 모델 등록 단계 및 (3) 포토리얼리스틱 모델 생성을 포함할 수 있다.
본 발명의 실시예에 따른 모델 생성 단계는 생성 단계를 포함할 수 있으며, 그에 의해 수치 모델이 변수가 추정될 물리적 전기 기계 장치 및/또는 구성요소의 수치적 표현을 생성하기 위해 사용된다. 특히 물리적 전기 기계 장치 및/또는 구성요소의 2D 또는 3D 표현(예로서, 사실적 시각화 또는 포토일관성)을 허용하는 방법이 사용된다. 도 3A 내지 도 3C는 본 발명의 실시예에 따른 모델의 정의 및 생성을 예시한다. 제1 단계로서, 모델의 기하학적 구조가, 예로서 포인트 클라우드, CAD 등에 의해서처럼, 생성된다. 그 후 모델의 이산화가, 예로서 유한 요소 모델(FEM), 유연 다물체 모델 등처럼, 수행된다.
예시로서 도 3A 및 도 3B는 (전기)기계 구성요소의 구조적 FEM, 예로서 단순 빔 구조를 예시한다. 보다 구체적으로, 도 3A는 빔의 FEM 모델의 상면도를 예시하는 반면, 도 3B는 L-형 빔의 FEM 모델을 예시한다. 도 3C는 차량 서스펜션의 상세한 유연 다물체 모델을 예시한다. 실시예에서 전기 기계 장치 및/또는 구성요소의 전체 또는 부분 형태 재구성이 모델에 반영된다. 본 발명은, 제한 없이, 선택된 방법이 위치, 가속, 속도, 기계적 및 열적 변형, 응력, 온도 등과 같은 분산된 변수를 나타낼 수 있다는 것이 선호된다. 수치 모델 및 모델링 방법은, 제한 없이, (a)(선형 및 비-선형) 유한 요소, 유한 볼륨, 유한 차분, 다물체 및 유연 다물체 모델, 등기하학적 모델 등; (2) 가능한 선택은 대수, 상미분, 편미분 및 미분 대수 방정식의 시스템을 이산화하도록 허용하는 모델링 방법이다; 및 (3) 전기 기계 장치 및/또는 구성요소의 연속 표현을 허용하는 모델링 방법의 추가 선택이 또한 가능하다는 것일 수 있다.
통상적인 예는 모든 기계류, 차량, 에너지 생산, 전기 기계 모델 등에서 발견된 바와 같은 메커니즘의 기계적 구성요소 및 유연 다물체 시스템의 구조적 및 열적 유한 요소 모델이다. 이들 3D 모델은 CAD 설계 도면에 기초하거나 또는 전기 기계 장치 및/또는 구성요소의 3D 스캔으로부터 유래될 수 있다. 일반적으로 말하면, 분산된 필드를 나타낼 수 있는 2D 및 3D 수치 모델은 계산적으로 비싸다. 이 경우에, 선형 및 비선형 모델 차수 축소("MOR")와 같은 기술은 작은 정확도 손실로 계산 속도에서의 이득을 위한 선호된 선택이다.
여러 연구 및 상업적 툴이 모델 정의 및 생성을 수행하기 위해 이용 가능하다. 이상적으로 전기 기계 수치 모델은 예로서, 정적 및 동적 특성 또는 관심 있는 임의의 다른 특성 및 거동에 대하여 물리적 전기 기계 장치 및/또는 구성요소의 거동을 맞추기 위해 신중하게 업데이트되어야 한다.
포토리얼리스틱 전기 기계 수치 모델을 생성한 후, 본 발명의 실시예에 따른 다음 단계에서, 모델 등록이 수행될 수 있다. 모델 등록은 다음의 단계 중 적어도 하나를 포함할 수 있다: 형태 재구성 단계, 모델의 기하학적 구조를 업데이트하는 것 및 이 기술분야에 알려진 여러 방법 중 하나에 따라 가상 및 전기 기계 장치 및/또는 구성요소를 위치 결정하고 그의 배향을 변경하는 것.
상이한 방법이, 물리적 전기 기계 장치 및/또는 구성요소에 보다 많은 "입도" 또는 "대비"를 부가함으로써 물리적 전기 기계 장치 및/또는 구성요소의 이미지와 포토리얼리스틱 전기 기계 수치 모델의 이미지 사이에서의 비교의 정확도를 증가시키기 위해 사용될 수 있다. 방법은 (제한 없이) 예로서, 스프레이식 페인트, 스티커 또는 이의 기하학적 구조를 정확하게 추적하기 위해 사용될 수 있는 임의의 수단에 의한 마커 또는 고 대비 패턴의 적용일 수 있다. 이러한 마지막 단계는 필요하지 않으며 물리적 전기 기계 장치 및/또는 구성요소(표면) 자연 특징은 정확도가 그것을 허용할 때 사용될 수 있다.
본 발명의 추가 실시예에서, 모델 등록의 단계는 공통 선택된 기준 프레임에 대하여 전기 기계 장치 및/또는 구성요소의 동일한 (기하학적) 특성을 밀접하게 매칭시키기 위해 가상 오브젝트의 공간에서의 기하학적 구조, 위치, 배향을 수정하는 것을 포함할 수 있다. 이러한 단계는 공간에서의 정확한 정렬 및 위치 결정을 허용하는 최적화 루틴에 의해 달성될 수 있다. 특히, 기준 구성에서의 둘 이상의 포인트는 수치 모델 기하학적 구조와 공간에서의 물리적 시스템/구성요소 기하학적 구조 사이에서의 직접 대응을 생성하기 위해 사용될 수 있다. 이들 포인트는 제어 포인트로 불리우며 가능한 한 정확하게 수치 모델을 배향시키고 물리적 시스템/구성요소에 동조시키기 위해 사용된다. 후자의 접근법은 사용될 수 있는 단지 하나의 가능성이며 일반 프레임워크는 이에 제한되지 않는다. 수치 모델 기하학적 구조와 물리적 시스템/구성요소 사이에서의 적절한 정렬 및 기하학적 대응을 허용하는 임의의 방법이 사용될 수 있다.
도 4A 내지 도 4C는 본 발명의 실시예에 따른 모델 등록을 예시하며, 여기에서 도 4A는 클램핑되는 (전기)기계 장치 및/또는 구성요소의 이미지 및 보다 구체적으로 스페클(speckle) 패턴으로 강화된 캔틸레버 빔을 예시한다. 도 4B는 모델 재구성 및 보다 구체적으로 (전기)기계 장치 및/또는 구성요소 포인트 클라우드 재구성을 예시한다. 포인트의 클라우드가 획득되는 3D 형태 재구성의 결과가 제공된다. 최종적으로, 도 4C는 캔틸레버 빔의 업데이트된 유한 요소(FE) 모델을 예시하며, 여기에서 수치 모델은 업데이트되며 그것이 지향된 FE 모델이도록 그의 배향이 변경되고 물리적 (전기)기계 장치 및/또는 구성요소와 유사하게 배치된다. 보다 구체적으로, 수치 FE 모델의 표면은 포인트 클라우드에 매칭되며 도 4A에서 제공된 오브젝트처럼 배향된다. 상기를 가능하게 하기 위해, 모션 추적 이미지 획득 소프트웨어, 예로서 이미지 및 비디오 획득, 블랍(blob) 추적, 특징 검출 등이 사용될 수 있다.
적어도 하나의 필드 측정 디바이스가 사용될 수 있으며, 그에 의해 이들 디바이스는, 제한 없이 (본 발명에서, 바람직하지만 다른 수단에서 포토 및 비디오 카메라의 사용은 여전히 본 발명의 프레임워크에서 사용될 수 있으며, 이들 다른 수단은 셋업의 가격을 증가시키거나 또는 감소시킬 수 있고, 그의 산업적 적용 가능성을 제한하거나 또는 확대하며 그의 증가는 정확도를 감소시킴) 다음일 수 있다: (a) 포토 또는 비디오 카메라, 여기에서 이미지의 품질은 바람직하게는 비교적 높으며 잡음이 없고, 또한 정적 이미지가 사용될 수 있고, 다수의 이미지들의 평균화는 저 비용 카메라의 사용을 개선할 수 있으며, 원하는 정확도에 의존하여, 카메라는 범위가 웹캠과 같은 저 충실도 미디어 내지 고-충실도 및 고속 메가화소 카메라에 이를 수 있다. 본 발명의 실시예에 따르면, 적어도 2D 이미지 또는 비디오가 사용된다. 이미지 및 비디오는 그레이-스케일에서 및/또는 컬러에서(예로서, 8비트 이상) 획득될 수 있다, (b) 예로서, MRI 스캐너와 같은, 자기 이미징 수단, 여기에서 이들 스캐너는 조사 하에 오브젝트의 자기 응답에 기초하여 이미징을 수행한다. 이들 스캐너는 종종 전체 3D 정보를 구성하기 위해 단층 촬영 방법과 조합된다. 이러한 마지막 단계는 그러나 이러한 작업에서 논의된 추정 목적을 위해 필요하지 않다; (c) 예로서, X 선 이미징과 같은 방사선 촬영 이미징 수단, 그에 의해 이들 디바이스는 방사선 촬영 원리에 기초하여 오브젝트의 필드 이미징을 수행하며 특히 오브젝트 안에서 정보를 획득하는데 적합하다; (d) 센서에 대하여 다수의 포인트의 거리의 정보의 분야를 제공하는, 예로서, 라이다(LiDar)와 같은, 고체 상태 또는 스캐닝 광 검출 및 거리 측정 디바이스, 및 (e) 적외선 범위(포토 카메라처럼 가시 범위보다는)에서의 광을 캡처함으로써, 온도를 검출하기 위해 사용될 수 있으며 또한 광원의 부재 시 사용될 수 있는 열화상 이미징 수단 또는 카메라.
추가 실시예에서, 카메라로부터 타깃 PC로의 데이터의 전달은 전달될 데이터의 속도 및 양에 의존하여 임의의 유형의 프로토콜, 예로서 CameraLink, USB3, GiGe, CoaXPress 등을 이용해서 수행될 수 있다. 이러한 데이터 전달은 애플리케이션에 의존하여 실시간으로, 온라인으로 또는 오프라인으로 일어날 수 있다. 추가 실시예에서, 프레임 그래버(frame grabber)가 사용될 수 있다: 획득된 잠재적으로 많은 양의 데이터를 고려해볼 때, 프레임 그래버는 카메라와 RAM 메모리, 하드 디스크 또는 SSD 또는 이러한 목적을 위해 사용될 수 있는 임의의 유형의 메모리와 같은 저장 미디어 사이에서의 충분히 빠른 연결을 허용하도록 요구될 수 있다;
본 발명의 추가 실시예에서, 준비 단계는 포토리얼리스틱 전기기계 수치 모델을 생성하고 시각화하는 것을 추가로 포함할 수 있다. 절차는 가상 측정 필드가 전기 기계 장치 및/또는 구성요소에 대한 측정된 필드(의 부분)에 가깝게 매칭되고/그것을 닮도록 - 또는 다시 말해서 수치 모델이 포토 일관적이게 되도록 - 수치 모델의 렌더링 이미지를 생성하도록 허용한다. 결과적인 생성 모델은 "포토리얼리스틱 전기 기계 수치 모델"로 불리울 수 있다. 이러한 양상은 임의의 이미지-기반 렌더링 절차(예로서, 뷰 의존적 텍스처 매핑) 또는 동일한 결과에 도달하도록 허용하는 임의의 절차에 의해 수행될 수 있다.
예를 들면, 임의의 이전 단계에서 저장된 물리적 전기 기계 장치 및/또는 구성요소의 이미지가 사용될 수 있으며 포토리얼리스틱 전기 기계 수치 모델의 재구성된 표면의 각각의 부분(예로서, 삼각형 및 사변형으로 구성된)은 상기 특정 표면 패치를 시각적으로 커버하는 이미지의 모두 또는 부분을 조합함으로써 특정 텍스처를 할당받는다. 조합은 예를 들면 보간 기술을 적용함으로써 획득될 수 있다. 보간은 예를 들면 선택된 표면과 카메라의 것 사이에서의 거리의 메트릭에 비례하는 가중을 선택함으로써 수행될 수 있다. 텍스처를 조합하거나 또는 텍스처를 보간하기 위한 다른 방법이 이용될 수 있다. 보간은 단일성 규칙의 분할을 존중할 수 있다. 최종적으로, 포토리얼리스틱 전기 기계 수치 모델은 하나 이상의 상이한 관점 및 구성으로부터 시각화될 수 있으며 시각적으로 전기 기계 장치 및/또는 구성요소를 닮는: 요컨대 물리적 전기 기계 장치 및/또는 구성요소와 포토 일관적이도록 생성된다. 전기 기계 수치 모델 또는 가상 오브젝트의 포토 일관성 이미지는 텍스처 렌더링(render-to-texture) 또는 일반적으로 스크린 또는 디바이스 상에 재생된 이미지의 저장을 허용하는 임의의 다른 기술과 같은 기술로 획득될 수 있다. 포토리얼리스틱 전기 기계 수치 모델 생성 단계는 이미지-기반 모델링 및 렌더링의 분야에서, 최신 기술에서 임의의 이용 가능한 기술에 의해 수행될 수 있다.
도 5A 내지 도 5C는 본 발명의 실시예에 따른 포토리얼리스틱 전기 기계 수치 모델 또는 가상 오브젝트 생성 단계를 예시한다. 이미지-기반 모델링 및 렌더링에 의해(예로서, 뷰 의존적 텍스처 매핑에 의해) 포토리얼리스틱 전기 기계 수치 모델 또는 가상 오브젝트가 생성된다. 도 5A는 물리적 전기 기계 장치 및/또는 구성요소, 예로서 클램핑된 빔의 이미지를 예시하며, 여기에서 물리적 전기 기계 장치 및/또는 구성요소는 스페클 패턴으로 강화된다. 이러한 이미지는 그 후 텍스처화된 가상 오브젝트를 생성하기 위해 사용된다. 도 5B는 FE 모델 표면(삼각형을 포함하는)의 줌된 부분을 예시하며 여기에서 빔은 이산화되고 이미지에 의해 제공된 스페클 패턴(도 5A의 이미지에서 스페클된 빔)으로 오버레이한다. 도 5B에서 텍스처는 FE 메시 삼각형에 할당된다. 최종적으로, 도 5C는 본 발명의 실시예에 따른 포토리얼리스틱 전기 기계 수치 모델 또는 가상 오브젝트를 예시하며, 보다 구체적으로 이 도면은 도 5A에 묘사된 물리적 전기 기계 장치 및/또는 구성요소를 아주 닮거나 또는 그것과 포토 일관적인 빔의 렌더링된 FE 모델을 예시한다. 본 발명의 실시예는 동작 단계를 포함하며, 여기에서 동작 단계는 측정 및 추정 단계를 포함한다. 바람직한 실시예에서, 측정 페이즈 또는 단계는 단일 또는 일련의 비디오, 스냅샷 또는 이미지를 통해 물리적 전기 기계 장치 및/또는 구성요소를 기록하는 것을 포함한다. 이들은, 제한 없이, (a) 물리적 환경에서 움직이지 않는 물리적 전기 기계 장치 및/또는 구성요소; (b) 정적, 정상 상태, 과도적 등인 임의의 유형의 내부 또는 외부 가진을 겪는 물리적 전기 기계 장치 및/또는 구성요소일 수 있다. 물리적 전기 기계 장치 및/또는 구성요소는 테스트-리그에 배치될 수 있으며 "변형된 분산 필드"를 야기하는 내부 또는 외부 가진(제로 가진을 포함)을 겪을 수 있다. 이들은 포인트((a) 및 (b))에서 캡처된 (변형된 또는 변형되지 않은) 분산 필드와 상이할 수 있다. 바람직한 실시예에서, 물리적 전기 기계 장치 및/또는 구성요소는 정적, 정상 상태, 과도적 등인 임의의 유형의 내부 또는 외부 가진을 겪는다. 물리적 전기 기계 장치 및/또는 구성요소는 그의 작업 환경에 배치될 수 있으며 "변형된 분산 필드"를 야기하는 내부 또는 외부 가진(제로 가진을 포함)을 겪을 수 있다. 이들은 포인트((a) 및 (b))에서 캡처된 (변형된 또는 변형되지 않은) 분산 필드와 상이할 수 있다.
바람직한 실시예에서, 분산된 또는 변형된 분산 필드가 생성되며 기록 및/또는 이미지에 적합한 임의의 상황이 취해질 수 있다(예로서, 물리적 전기 기계 장치 및/또는 구성요소가 가시적이다).
언급된 시나리오 중 하나를 따르면, 일련의 비디오 기록 또는 이미지(하나 이상)가 캡처된다.
측정 단계를 가능하게 하기 위해 사용될 수 있는 잠재적인 하드웨어 및/또는 소프트웨어는 다음일 수 있다:
Figure 112018115803214-pct00015
모션 추적 및 이미지 획득 소프트웨어: 예로서, 이미지 및 비디오 획득, 블랍 추적, 특징 추출 등. 이들은 연구 및 상업적 코드 양쪽 모두일 수 있다.
Figure 112018115803214-pct00016
포토 또는 비디오 카메라: 원하는 정확도에 의존하여, 카메라는 범위가, 웹캠과 같은 저 충실도 미디어로부터 고-충실도 및 고속 메가화소 카메라에 이를 수 있다. 이미지 및 비디오는 그레이-스케일에서 및 컬러에서 획득될 수 있다.
Figure 112018115803214-pct00017
센서 획득 시스템: 측정 페이즈에서 시각적 측정치 외에 다른 측정치가 시각적 측정치, 예로서 가속, 속도, 위치, 변형, 온도 등을 보완하기 위해 획득될 수 있다. 전용 데이터 획득 시스템(DAQ)이 표준 측정 절차에 이어 이러한 목적을 위해 사용될 수 있다.
Figure 112018115803214-pct00018
카메라로부터 타깃 PC로의 데이터의 전달이 전달될 데이터의 속도 및 양에 의존하여 임의의 유형의 프로토콜, 예로서 Cameralink, USB3, GiGe, CoaXPress 등으로 수행될 수 있다.
Figure 112018115803214-pct00019
프레임 그래버: 획득된 잠재적으로 많은 양의 데이터를 고려해볼 때, 프레임 그래버는 카메라와 RAM 메모리, 하드 디스크 또는 SSD 또는 이러한 목적을 위해 사용될 수 있는 임의의 유형의 메모리와 같은 저장 미디어 사이에서의 충분히 빠른 연결을 허용하도록 요구될 수 있다;
총괄하여 도 6으로서 제공된 이미지는 상이한 로딩 조건(예로서, 외부(정적) 가진) 및 뷰 하에서 획득되는 캔틸레버 빔의 물리적 필드 측정치(이미지)의 여러 예를 예시한다.
본 발명의 실시예에서, 방법은 추정 단계, 보다 구체적으로 포토리얼리스틱 전기 기계 수치 모델-기반 추정을 포함한다. 추가 실시예에서, 포토리얼리스틱 전기 기계 수치 모델은 포토 일관성 전기 기계 수치 모델의 이미지 또는 "포토리얼리스틱 필드 측정치"를 야기하는 포토 일관성 이미지 또는 비디오 또는 스냅샷을 생성하기 위해 사용된다. 실제로 분산된 또는 변형된 필드는 분산된 필드 측정치(또는 포토리얼리스틱 가상 측정치 - 예로서 포토 일관성 전기 기계 수치 모델의 이미지), 예로서(제한 없이) 화소 밝기의 변화(국소적으로 및 또는 전역적으로)를 야기할 것이며, 이것은 물리적 전기 기계 장치 및/또는 구성요소의 이미지와 포토리얼리스틱 전기 기계 수치 모델의 이미지 사이에서의 차이를 야기한다. 포토리얼리스틱 전기 기계 수치 모델의 이미지는 물리적 전기 기계 장치 및/또는 구성요소의 이미지와 상이한 수단에 의해 비교될 수 있다. 이들 이미지가 미스매치가 존재하면, 포토리얼리스틱 전기 기계 수치 모델은 어떤 의미에서 미스매치가 최소화될 때까지 업데이트되거나 또는 이하에서 설명된 기술(동일한 목표에 이르는 임의의 다른 기술) 중 하나에 의해 수정될 수 있다. 업데이팅은 포토리얼리스틱 전기 기계 수치 모델의 가진, 파라미터 또는 시스템 상태를 변경하거나 또는 교란시킴으로써 달성될 수 있다. 보다 단순한 용어로, 포토리얼리스틱 전기 기계 수치 모델의 이미지와 물리적 전기 기계 장치 및/또는 구성요소의 이미지 사이에서의 미스매치가 완전히 제거되거나 또는 최소화될 때, 가상 오브젝트의 가진, 파라미터 또는 상태는 물리적 전기 기계 장치 및/또는 구성요소의 가진, 파라미터 또는 상태에 도달할 것이며 상기의 추정을 제공할 것이다. 필수적으로가 아닌 바람직하게는, 매칭 접근법은 수치 모델에 대한 가상 필드 측정의 불확실성과 물리적 전기 기계 장치 및/또는 구성요소에 대한 필드 측정의 불확실성 사이에서의 최적의 트레이드오프를 사용하며, 이것은 예로서 칼만-기반 필터 및/또는 이동 수평 추정기에 관련된 기술에 의해 달성될 수 있다.
특히, 업데이팅 동안, 분산된 필드 또는 변형된 분산 필드는 물리적 전기 기계 장치 및/또는 구성요소와 유사한 방식으로 포토 일관성 비디오 또는 이미지를 야기하는 포토리얼리스틱 전기 기계 수치 모델을 여기시킴으로써 생성된다. 포토리얼리스틱 전기 기계 수치 모델로부터 획득된 이미지는 물리적 전기 기계 장치 및/또는 구성요소에 대한 정보를 추론하기 위해 이용된다. 본 발명의 실시예는 유리하게는 주로 분산된 필드 측정치, 예로서 (제한 없이) 화소 밝기의 변화를 포함한 분산된 및 변형된 분산 필드의 이미지를 사용함으로써 시간 효율적이고 정확한 방식으로 이러한 단계를 허용하는 것에 의해 이 기술분야에 알려진 기준의 절차를 극복한다. 필드 측정 디바이스(예로서, 포토 및 비디오 카메라)의 사용은 유리하게는 힘 셀, 가속도계, 변형 게이지 등과 같은 인기 있는 이산 센서의 장착보다 덜 침투성이다. 게다가, 본 발명의 실시예는 유리하게는 관심 있는 전체 3D 필드에 대한 정보를 추론하기 위해 잠재적으로 단일 필드 센서에 의해 캡처된 (2D) 이미지를 사용하도록 허용한다. 이것은 이용 가능한 임의의 다른 기술에 대한 명확한 차별화 요소이며 비용, 교정, 사용의 용이함 및 휴대성에 관련된 이슈를 해결하여 훨씬 더 큰 생산성을 허용한다.
본 발명의 실시예에서, 추정(추정 단계 동안)은 온라인 또는 오프라인 방식으로 일어날 수 있다. 여기에서 온라인은 추정이 병렬 태스크로서 수행되지만, 물리적 전기 기계 장치 및/또는 구성요소가 분석하에 있는 한 정지가 아닌 순환 프로세스로서 이미지 획득과 반드시 동기화되는 것은 아님을 의미한다. 여기에서 오프라인은 제한된 세트의 이미지가 저장될 수 있으며, 잠재적으로 추가 추정 프로세싱을 위해, 시간적으로 나중 스테이지에서 또 다른 물리적 위치로 포팅된다는 사실을 나타낸다. 이 경우에, 추정 절차는 후-처리 단계가 된다.
다음은 통상적으로 본 발명의 실시예에 따른 방법의 예측된 (제한 없이) 애플리케이션이다:
Figure 112018115803214-pct00020
모델 업데이팅: 이 애플리케이션에서, 몇몇 특정 테스트가 물리적 전기 기계 장치 및/또는 구성요소에 대해 수행되며 이미지가 하나 또는 다수의 뷰 및 또는 센서로부터 캡처된다. 테스트 동안, 알려진(잠재적으로 알려지지 않은) 가진은 물리적 전기 기계 장치 및/또는 구성요소가 예로서, 모델 교정을 위해 사용된 기준 상태에 대하여 물리적 상태를 변경하게 하며 결과적으로 캡처된 물리적 필드 측정치(또는 이미지/비디오)의 변화를 야기할 분산 필드 또는 변형된 분산 필드를 생성한다. 예로서, 그것은 모션 및/또는 변형을 겪는 기계적 구성요소를 생각할 수 있다. 이들 모션 및 변형은 임의의 다른 기준 구성에 대하여 캡처된 이미지의 화소 밝기의 변화(잠재적으로 널)를 야기할 것이다. 포토리얼리스틱 전기 기계 수치 모델은 물리적 전기 기계 장치 및/또는 구성요소에 의해 겪은 분산된 또는 변형된 분산 필드의 근사치를 생성하기 위해 물리적 전기 기계 장치 및/또는 구성요소에 적용되어 온 동일한 알려진 가진으로 여기될 수 있다. 포토리얼리스틱 필드 측정치는 수치 모델(예로서, 포토리얼리스틱 전기 기계 수치 모델의 이미지)에 대해 시뮬레이션된다. 수치 모델로부터의 포토리얼리스틱 필드 측정치 및 물리적 필드 측정치가 원하는 레벨의 정확도에 매칭되지 않는다면, 포토리얼리스틱 수치 모델의 파라미터는 그 후 매칭이 달성될 때까지 업데이트될 수 있다. 매칭은 최적화 기술, DIC 기술, 특징 추출 등의 조합(그뿐 아니라) 덕분에 획득될 수 있다. 일 실시예에서, 화소 밝기는 임의의 적절한 최적화 전략에 의해 최소화되기 위해 목적 함수로서 사용되는 상관 또는 유사성 메트릭을 생성하기 위해 사용된다. 예로서, 모션 및/또는 변형을 겪은 물리적 전기 기계 장치 및/또는 구성요소가 고려된다. 포토리얼리스틱 전기 기계 수치 모델은 변형되며 물리적 전기 기계 장치 및/또는 구성요소의 외형을 닮은 적용된 텍스처가 그것으로 변형된다. 수치 모델에 대한 포토리얼리스틱 필드 측정치는 그 후 텍스처 렌더링과 같은 알려진 기술 덕분에 시뮬레이션될 수 있다. 산출은 예로서 CPU 또는 GPU 양쪽 모두에 대해 수행될 수 있다. 포토리얼리스틱 전기 기계 수치 모델의 파라미터는 수치 모델에 대한 포토리얼리스틱 필드 측정치와 물리적 필드 측정치 사이에서의 매칭이 만족스러울 때까지(예로서, 포토리얼리스틱 전기 기계 수치 모델의 이미지가 물리적 전기 기계 장치 및/또는 구성요소의 이미지와 유사함을 의미하는 서로 간에 가능한 유사한 화소 밝기 분포를 보이는) 업데이트될 수 있다. 만족스러운 매칭은 예로서, 파라미터를 업데이트함으로써 달성될 수 있다. 이들은, 제한 없이, 재료 파라미터, 연결 강성, 댐핑 등일 수 있다. DIC 기술은 보통 인간 눈에 가시적이지 않은 모션 또는 변형이 잠재적으로 검출될 수 있도록 서브화소 레벨에서 정확도를 가진 화소 밝기 변화를 추적하도록 허용한다. 가능한 적용 경우는 (제한 없이): (a) (산업적) 메커니즘의 운동학적 특성(예로서, 로봇 조작기, 시리즈 생산 및 자동화에 수반된 산업용 기계 - 예를 들면, 직조 기계, 레이저 절단기, 자동차 생산 체인 등으로서), 서스펜션 시스템 등을 업데이트하는 것; (b) 그들의 동작 환경(예로서, 크레인, 빌딩, 차량, 차량 구성요소, 로봇 조작기, 시리즈 생산 및 자동화에 수반된 산업용 기계, 풍력 터빈 등)에서 구성요소의 재료 파라미터를 업데이트하는 것이다.
Figure 112018115803214-pct00021
입력-상태-파라미터 추정: 연구의 특히 활발한 필드는 기계전자 공학, 기계 및 일반적으로 다중물리학 시스템의 입력, 상태 및 파라미터의 추정을 다룬다. 특히, 칼만 기반 필터링 및 이동 수평 추정(MHE)의 분야는 종종 예로서, 위치, 속도, 가속, 변형, 온도 등으로부터 취해진 국소화된 측정치를 조합하기 위해 프레임워크로서 사용된다. 업데이트된 포토리얼리스틱 전기 기계 수치 모델이 이용 가능하다면, 물리적 전기 기계 장치 및/또는 구성요소의 여러 필드 측정은 예로서, 전용 테스트-리그 상에서의 테스트 하에 또는 실제 동작 조건 동안 캡처될 수 있다. 가진은 수치 모델에 대한 가상 필드 측정치(예로서, 이미지 및/또는 비디오)가 물리적 전기 기계 장치 및/또는 구성요소 상에서의 이미지 및/또는 비디오와 가깝게 매칭될 때까지 포토리얼리스틱 전기 기계 수치 모델에 인가될 수 있다. 특히 포토리얼리스틱 전기 기계 수치 모델은 변형되며 적용된 텍스처가 이것을 이용해서 변형될 것이고, 이미지는 그 후 예로서, CPU 또는 GPU 상에서 수행된 텍스처 렌더링과 같은 알려진 기술 덕분에 시뮬레이션될 수 있다.
일 실시예에서, 인가된 정적 가진이 알려져 있으며 그것은 물리적 전기 기계 장치 및/또는 구성요소의 상태의 추정 및/또는 물리적 전기 기계 장치 및/또는 구성요소의 파라미터의 시간 변화의 추정에 관심이 있다. 이것은 목적에 맞는 임의의 이용 가능한 국소적 또는 전역적 최적화 전략(예로서, 비-선형 최소 제곱 최적화기, Leuvenberq Marquardt, 내부 포인트, 유전 또는 진화 전략 등)의 도움으로 획득될 수 있다. 추정의 2차 그러나 관련 있는 부산물로서, 포토리얼리스틱 전기 기계 수치 모델은 오브젝트의 정확한 추정된 2D 및/또는 3D 변형된 분산 필드를 검색하도록 허용한다. 제2 실시예에서, 인가된 동적 가진이 알려져 있으며 그것은 물리적 전기 기계 장치 및/또는 구성요소의 상태의 추정 및/또는 물리적 전기 기계 장치 및/또는 구성요소의 파라미터의 시간 변화의 추정에 관심이 있다. 이것은 (제한 없이) 다음의 기술 중 하나의 도움으로 획득될 수 있다: (1) 이미지가 측정치로서 포함되며 포토리얼리스틱 필드 측정이 측정 방정식을 나타내는 (선형 또는 비-선형) 칼만-기반 접근법을 사용함으로써. 수치 모델에 대한 포토리얼리스틱 필드 측정치는 잠재적으로 예로서, 가속도계, 위치 센서, 변형 게이지 등과 같은 하나 이상의 유형의 대안적인 센서와 조합될 수 있다. 칼만-기반 기술은 (제한 없이) 선형 칼만 필터/스무더/예측기, 비-선형 확장 또는 시그마-포인트 칼만 필터, 최소 분산 필터를 포함한다; (2) 예로서, 가속도계, 위치 센서, 변형 게이지 등과 같은 하나 이상의 센서가 종래의 설정에서처럼 사용되는 (선형 또는 비-선형) 칼만-기반 접근법을 사용함으로써. 추정된 상태/파라미터가 업데이트된 후, 시각적 측정치는 물리적 필드 측정치와 포토리얼리스틱 필드 측정치의 개선된 매칭을 획득하기 위해 사용될 수 있다. 이러한 2-단계 접근법은 칼만 예측 및 시각적 측정치(예로서, 이미지 및/또는 비디오) 매칭이 동시에 달성될 때까지(칼만-기반 기술의 철저하지 않은 리스트에 대해 포인트 1 참조) 반복적으로 수행될 수 있다; (3) 포토리얼리스틱 필드 측정치가 측정 방정식으로서 사용되는 이동 수평 추정(MHE) 기반 기술; 및/또는 (4) 상태 및/또는 파라미터의 개선된 추정치를 획득하기 위해 측정 및 수치 모델을 조합하도록 허용하는 임의의 다른 방법(예로서, 최적화 기반 또는 필터 기반)(예로서, 구배 기반 필터, 비-구배 기반 필터, 입자 필터 및 스토캐스틱 방법).
추정의 2차 그러나 관련 있는 부산물로서, 포토리얼리스틱 전기 기계 수치 모델은 예로서, 위치 및 변형 필드와 같은 정확한 추정된 변형 분산 필드를 검색하도록 허용한다.
제3 실시예에서, 인가된 가진은 알려져 있지 않으며 가진 자체의 그리고 잠재적으로 분석 중인 오브젝트의 상태 및 파라미터의 추정에 관심이 있다. 이것은 다음의 기술 중 하나(이에 제한되지 않음)에 의해 획득될 수 있다: (1) 이미지가 측정치로서 포함되며 수치 모델에 대한 포토리얼리스틱 필드 측정치가 측정 방정식을 나타내는 (선형 또는 비-선형) 칼만-기반 접근법을 사용함으로써. 시각적 필드 측정치는 잠재적으로 예로서, 가속도계, 위치 센서, 변형 게이지 등과 같은 하나 이상의 유형의 대안적인 센서와 조합될 수 있다. 칼만-기반 기술은 (제한 없이) 선형 칼만 필터/스무더/예측기, 비-선형 확장 또는 시그마-포인트 칼만 필터, 최소 분산 필터 등을 포함한다; (2) 예로서, 가속도계, 위치 센서, 변형 게이지 등과 같은 하나 이상의 센서가 종래의 설정에서처럼 사용되는 (선형 또는 비-선형) 칼만-기반 접근법을 사용함으로써. 추정된 상태/파라미터가 업데이트된 후, 시각적 측정치는 물리적 오브젝트에 대한 시각적 필드 측정치와 수치 모델에 대한 포토리얼리스틱 필드 측정치의 개선된 매칭을 획득하기 위해 사용될 수 있다. 이러한 2-단계 접근법은 칼만 예측 및 시각적 측정치 매칭이 동시에 달성될 때까지 반복적으로 수행될 수 있다(칼만-기반 기술의 철저하지 않은 리스트에 대한 이전 포인트 참조); (3) 수치 모델에 대한 포토리얼리스틱 필드 측정치가 측정 방정식으로서 사용되는 이동 수평 추정(MHE) 기반 기술; (4) 가진 및/또는 상태 및/또는 파라미터의 개선된 추정을 획득하기 위해 측정치 및 수치 모델을 조합하도록 허용하는 임의의 다른 방법(예로서, 최적화 기반 또는 필터-기반)(예로서, 구배 기반 필터, 비-구배 기반 필터, 입자 필터 및 스토캐스틱 방법). 추정의 2차 그러나 관련 있는 부산물로서, 포토리얼리스틱 전기 기계 수치 모델은 정확한 추정된 변형 분산 필드를 검색하도록 허용한다.
추정 페이즈에서 사용될 수 있는 잠재적인 하드웨어 및 소프트웨어는 다음일 수 있다:
Figure 112018115803214-pct00022
모델링 환경: 연구 또는 상업적 소프트웨어는 정적 및 동적 시뮬레이션을 수행하기 위해 사용될 수 있다(예로서, 유한 요소, 유한 볼륨, 유한 차분 소프트웨어, (유연) 다물체 소프트웨어)
Figure 112018115803214-pct00023
이미지/필드 매칭 소프트웨어: 이미지 매칭은 임의의 또는 몇몇 형태의 이미지 상관 및 매칭(예로서, 단일 화소 또는 화소의 서브세트에 대한 화소 밝기를 사용함으로써 포토리얼리스틱 모델과 물리적 시스템/구성요소 사이에서의 이미지 매칭을 수행하기 위해 사용되는 소프트웨어, DIC 소프트웨어 등)을 수행하도록 허용하는 애드-혹 전용 소프트웨어(이용 가능하다면 연구 또는 상업용)로 수행될 수 있다.
Figure 112018115803214-pct00024
최적화 및 추정 소프트웨어: 상태-입력 및 파라미터 추정은 칼만 필터 기반 라이브러리, MHE 기반 라이브러리, 루엔버거 관측기 라이브러리 및 이에 제한되지 않지만 내부 포인트 방법, Levenberg-Marquardt, 선형 및 비-선형 최소 제곱 등과 같은 최적화 알고리즘(의 적응화) 덕분에 수행될 수 있다. 이들은 연구 및 상업적 코드 양쪽 모두일 수 있다.
도 7a 내지 도 7d는 본 발명의 실시예에 따른 추정 단계를 요약한다. 도 7a는 포토리얼리스틱 전기 기계 수치 모델(포토리얼리스틱 빔)에 외부 가진을 인가함으로써 실현된 포토리얼리스틱 이미지를 예시한다. 보다 구체적으로, 그것은 본 발명의 실시예에서 사용된 수치 모델에 대한 변형된 포토리얼리스틱 필드 측정치의 증거를 제공한다. 도 7b는 물리적 필드 측정치(물리적 빔의 이미지)와 수치 모델에 대한 포토리얼리스틱 필드 측정치(포토리얼리스틱 빔 모델을 사용하여 생성된 이미지) 사이에서의 감산을 나타내는 3개의 이미지를 제공한다. 각각의 도면은 포토리얼리스틱 전기 기계 수치 모델에 인가된 상이한 가진을 나타낸다. 가장 오른쪽 도면은 보다 높은 유사도(그것은 대부분 흑색이며, 이것은 두 개의 이미지 간의 차이가 작음을 보여준다)를 보여준다는 것이 명확하다. 물리적 필드 측정치 및 포토리얼리스틱 필드 측정치 매칭은, 우측 도면이 첫 두 개와 비교하여 보다 양호한 유사성을 도시하는 것으로, 여기에 예시되며, 이것은 가진이 잘 캡처된다는 표시이다. 도 7c는 수평 축이 물리적 필드 측정치(물리적 이미지)와 포토리얼리스틱 필드 측정치(포토리얼리스틱 전기 기계 수치 모델로부터 획득된) 사이에서의 유사성의 측정치를 나타내는 비용 함수 및 포토리얼리스틱 전기 기계 수치 모델에 인가된 하중을 나타내는 그래프를 도시한다. 비용 함수(이미지 매칭 유사성 측정치) 대 단일 외부 가진이 그에 따라 제공된다. 최소치는 물리적 캔틸레버 빔에 인가된 정확한 하중의 위치 주위에서 명확하게 발견된다. 도 7d는 수평 면이 포토리얼리스틱 전기 기계 수치 모델에 인가된 두 개의 외부 하중의 진폭 및 물리적 필드 측정치(물리적 이미지)와 수치(포토리얼리스틱 전기 기계 수치 모델)에 대한 포토리얼리스틱 필드 측정치 사이에서의 유사성의 측정치를 나타내는 비용 함수를 나타내는 그래프를 도시한다. 비용 함수(이미지 매칭 유사성 측정치) 대 다수의 외부 가진이 그에 따라 제공된다. 최소치는 물리적 캔틸레버 빔에 인가된 정확한 하중의 위치 주위에서 명확하게 발견된다. 하나의 방향은 최소치가 존재하지만 덜 확연하므로 다른 것보다 명확하게 더 "강성"이다. 도 8은 측정 및 추정 단계를 포함한, 동작 페이즈가 묘사되고 조합되는 작업 흐름의 상세한 표현을 예시한다. 상이한 단계/특징이 이하의 표에 도시된다. 그래프의 좌측 부분은 추정 페이즈(그래프의 우측 부분 상에 제공되는)에 대하여 이전에 또는 동시에 시작될 수 있는 측정 페이즈를 예시한다. 흐름도는 별개의 센서를 포함한 보다 표준 추정 작업 흐름과의 잠재적인 조합을 도시한다. 볼트로 강조된 박스는 본 발명의 실시예에서 제안된 신규 부분에 밑줄을 긋는다. 도 9는 본 발명에 따른 방법의 실시예를 구현하기 위해 사용될 수 있는 본 발명의 실시예에 따른 하드웨어-소프트웨어 시스템을 도시한다. 도 10은 본 발명의 실시예에 따른 방법의 요약을 예시한다. 앞서 말한 설명은 본 발명의 특정한 실시예를 상세히 알린다. 그러나, 앞서 말한 것이 아무리 상세히 텍스트로 나타나더라도, 본 발명은 많은 방식으로 실시될 수 있다는 것이 이해될 것이다. 본 개시내용의 특정한 특징 또는 양상을 설명할 때 특정한 용어의 사용은 용어가, 용어가 연관되는 본 개시내용의 특징 또는 양상의 임의의 특정 특성을 포함하는 것에 제한되도록 여기에서 재-정의된다는 것에 유의해야 한다. 상기 상세한 설명은 다양한 실시예에 적용되는 것으로 본 발명의 신규 특징을 도시하고, 설명하며, 언급하지만, 예시된 디바이스 또는 프로세스의 형태 및 세부사항에서의 다양한 생략, 대체, 및 변화는 본 발명으로부터 벗어나지 않고 기술에서의 숙련자에 의해 이루어질 수 있다는 것이 이해될 것이다.
Figure 112018115803214-pct00025

Claims (23)

  1. 물리적 오브젝트(physical object)를 감지하는 방법으로서,
    - 상기 물리적 오브젝트의 포토리얼리스틱 가상 오브젝트를 제공하는 단계;
    - 측정 단계를 수행하는 단계로서, 상기 측정 단계는 상기 물리적 오브젝트를 기록하는 것 및 적어도 하나의 2차원 이미지를 포함한 상기 물리적 오브젝트의 물리적 필드 측정치를 획득하는 것을 포함하는, 상기 측정 단계를 수행하는 단계;
    - 추정 단계를 수행하는 단계로서, 상기 추정 단계는 포토리얼리스틱 가상 필드 측정치를 생성하기 위해 상기 포토리얼리스틱 가상 오브젝트에 외부 가진(external excitation)을 인가하는 것 및 상기 물리적 필드 측정치와 상기 포토리얼리스틱 가상 필드 측정치를 비교하는 것 및 그러므로 상기 물리적 오브젝트를 감지하는 것을 포함하는, 상기 추정 단계를 수행하는 단계를 포함하는, 물리적 오브젝트를 감지하는 방법.
  2. 제1항에 있어서, 상기 방법은 적어도 하나의 2차원 이미지의 시간-이력을 사용하는 단계를 포함하는, 물리적 오브젝트를 감지하는 방법.
  3. 제1항에 있어서, 물리적 오브젝트를 감지하는 것은 상기 물리적 오브젝트의 다음의 양 중 하나 이상을 추정하는 것을 포함하는, 물리적 오브젝트를 감지하는 방법:
    Figure 112021126431497-pct00026
    상태로서: 위치, 속도, 가속, 변형, 변형률, 및 전류를 포함하는, 상기 상태;
    Figure 112021126431497-pct00027
    입력으로서: 기계력, 기계적 토크, 기계적 압력, 및 전압을 포함하는, 상기 입력;
    Figure 112021126431497-pct00028
    파라미터로서: 밀도, 영률, 푸아송 비, 재료 파라미터, 물리적 치수, 저항, 및 정전용량을 포함하는, 상기 파라미터.
  4. 제3항에 있어서, 상기 방법은 상기 물리적 오브젝트의 상기 양의 추정치의 시간 이력을 제공하는 단계를 포함하는, 물리적 오브젝트를 감지하는 방법.
  5. 제1항에 있어서, 상기 물리적 오브젝트는 전기 기계 장치 및/또는 구성요소인, 물리적 오브젝트를 감지하는 방법.
  6. 제1항에 있어서, 포토리얼리스틱 가상 오브젝트를 제공하는 단계는 상기 물리적 오브젝트의 포토리얼리스틱 수치 모델의 생성을 포함하는, 물리적 오브젝트를 감지하는 방법.
  7. 제1항에 있어서, 측정 단계를 수행하는 단계는 물리적 센서의 출력을 조합하는 단계를 포함하되, 상기 물리적 센서 중 적어도 하나는 적어도 하나의 2차원 이미지에서 상기 물리적 오브젝트의 외부 표면을 시각화하기 위한 이미징 디바이스인, 물리적 오브젝트를 감지하는 방법.
  8. 제1항에 있어서, 추정 단계를 수행하는 단계는 원하는 양 또는 양들의 추정치를 제공하기 위해 상기 물리적 필드 측정치와 상기 포토리얼리스틱 가상 필드 측정치를 조합하는 단계를 포함하며, 상기 추정 단계는 적어도 상기 물리적 오브젝트 또는 이의 부분의 적어도 하나의 2차원 이미지와 상기 포토리얼리스틱 가상 오브젝트에 의해 발생된 이미지 사이에서의 유사성 메트릭의 사용에 기초하는, 물리적 오브젝트를 감지하는 방법.
  9. 제6항에 있어서, 추정 단계를 수행하는 단계는 원하는 전기 기계적 양의 추정치를 제공하기 위해 상기 포토리얼리스틱 수치 모델 및 측정 단계를 조합하는 단계를 포함하며, 상기 추정 단계는 적어도 상기 전기 기계 장치 또는 이의 부분의 적어도 하나의 2차원 이미지와 상기 포토리얼리스틱 수치 모델에 의해 발생된 이미지 사이에서의 유사성 메트릭의 사용에 기초하는, 물리적 오브젝트를 감지하는 방법.
  10. 제1항에 있어서, 상기 물리적 오브젝트의 상기 포토리얼리스틱 가상 오브젝트의 물리적 거동은 시스템의 이산화된 근사치로서 획득된 정적 또는 동적 모델에 의해 설명되는, 물리적 오브젝트를 감지하는 방법.
  11. 제10항에 있어서, 상기 시스템의 이산화된 근사치는 상미분, 편미분 또는 미분-대수 방정식, 유한 요소 모델, 전산 유체 역학 모델, 유연 다물체 모델 중 하나 또는 이들의 조합에 의해 설명되는, 물리적 오브젝트를 감지하는 방법.
  12. 제1항 내지 제11항 중 어느 한 항에 있어서, 상기 물리적 오브젝트의 포토리얼리스틱 가상 오브젝트는 하나 이상의 선형 및 비-선형 모델 차수 축소 기술을 사용하는, 물리적 오브젝트를 감지하는 방법.
  13. 제12항에 있어서, 상기 하나 이상의 선형 또는 비-선형 모델 차수 축소 기술은 구성요소 모드 합성, 크릴로프 기반 방법, 적절한 직교 분해, 동적 모드 분해, 균형 절단, 이산 경험적 보간 방법, 에너지 보존 샘플링 및 가중 중 하나 이상인, 물리적 오브젝트를 감지하는 방법.
  14. 제12항에 있어서, 상기 하나 이상의 선형 및 비-선형 모델 차수 축소 기술은 시간 도메인에서 해결되는, 물리적 오브젝트를 감지하는 방법.
  15. 제6항에 있어서, 상기 추정은 비디오, 이미지 및 상기 포토리얼리스틱 수치 모델을 조합한 동적 필터링 기술로부터 획득되는, 물리적 오브젝트를 감지하는 방법.
  16. 제15항에 있어서, 상기 동적 필터링 기술은 칼만-기반 기술(Kalman-based technique), 이동 수평 추정 기술(Moving Horizon Estimation technique) 또는 루엔버거 관측기(Luenberger observer) 중 하나 이상을 포함하는, 물리적 오브젝트를 감지하는 방법.
  17. 제3항에 있어서, 상기 추정 단계는 상기 물리적 오브젝트의 추정된 양의 스토캐스틱 오차 범위의 평가를 허용하는, 물리적 오브젝트를 감지하는 방법.
  18. 제3항에 있어서, 상기 방법은 상기 포토리얼리스틱 가상 오브젝트로의 알려진 입력으로서 상기 물리적 오브젝트의 양의 서브세트를 측정 및 사용하는 단계를 포함하는, 물리적 오브젝트를 감지하는 방법.
  19. 제1항 내지 제11항 중 어느 한 항에 있어서, 상기 방법은, 상기 추정 단계 동안 비디오 및 카메라 이미지 외에 추가의 전기 기계적 양을 측정 및 사용하는 단계를 포함하는, 물리적 오브젝트를 감지하는 방법.
  20. 제1항 내지 제11항 중 어느 한 항에 있어서, 포토리얼리스틱 가상 오브젝트를 제공하는 단계는 상기 물리적 오브젝트의 수치 모델을 생성하는 단계 및 적어도 하나의 이미지로 상기 모델의 기하학적 구조를 텍스처화하는 단계를 포함하는, 물리적 오브젝트를 감지하는 방법.
  21. 제1항 내지 제11항 중 어느 한 항에 있어서, 상기 물리적 오브젝트의 물리적 필드 측정치는 내부 또는 외부 가진(excitation)에 의해 변형되는, 물리적 오브젝트를 감지하는 방법.
  22. 프로세싱 시스템을 포함하는 디바이스로서, 상기 프로세싱 시스템은 제1항 내지 제11항 중 어느 한 항에 따른 방법을 수행하기 위해 프로그램되는, 디바이스.
  23. 물리적 오브젝트를 특성화하기 위한 시스템으로서,
    Figure 112021126431497-pct00029
    상기 물리적 오브젝트의 양을 측정하기 위한 적어도 하나의 수단;
    Figure 112021126431497-pct00030
    상기 물리적 오브젝트의 필드를 측정하기 위한 상기 적어도 하나의 수단의 출력을 수신하도록 구성되며 제1항 내지 제11항 중 어느 한 항에 따른 방법을 수행하도록 구성된 프로세서를 포함하는, 시스템.
KR1020187033656A 2016-05-02 2017-05-02 디지털 이미지 및 모델-기반 필터링 기술에 의한 전기기계적 양의 추정 Active KR102403297B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1607639.0 2016-05-02
GBGB1607639.0A GB201607639D0 (en) 2016-05-02 2016-05-02 Sensing method
PCT/EP2017/060442 WO2017191146A1 (en) 2016-05-02 2017-05-02 Estimation of electromechanical quantities by means of digital images and model-based filtering techniques

Publications (2)

Publication Number Publication Date
KR20190003593A KR20190003593A (ko) 2019-01-09
KR102403297B1 true KR102403297B1 (ko) 2022-05-27

Family

ID=56234246

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187033656A Active KR102403297B1 (ko) 2016-05-02 2017-05-02 디지털 이미지 및 모델-기반 필터링 기술에 의한 전기기계적 양의 추정

Country Status (11)

Country Link
US (1) US10885647B2 (ko)
EP (1) EP3452312B1 (ko)
JP (1) JP7051111B2 (ko)
KR (1) KR102403297B1 (ko)
DK (1) DK3452312T3 (ko)
ES (1) ES2841304T3 (ko)
GB (1) GB201607639D0 (ko)
HR (1) HRP20201999T1 (ko)
RU (1) RU2739711C1 (ko)
SI (1) SI3452312T1 (ko)
WO (1) WO2017191146A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180349946A1 (en) * 2017-05-31 2018-12-06 Telefonaktiebolaget Lm Ericsson (Publ) System, method and architecture for real-time native advertisement placement in an augmented/mixed reality (ar/mr) environment
KR102048243B1 (ko) * 2019-09-09 2019-11-25 주식회사 페이스 연관-pod를 통하여 현장 측정 데이터와 cae 해석을 결합한 차수 감축 모델 구축 방법
US11281917B2 (en) * 2019-10-31 2022-03-22 Aptiv Technologies Limited Multi-domain neighborhood embedding and weighting of point cloud data
DE202020002061U1 (de) * 2020-05-12 2020-05-29 Sybille Castens Webstuhl mit beweglichen Führungsbäumen
KR102357499B1 (ko) * 2020-11-26 2022-02-07 (주)중앙티씨렌탈 타워크레인 자율운영 시스템 및 이를 이용한 자율운영 방법
CN112968650B (zh) * 2021-03-23 2023-02-28 武汉理工大学 一种基于降阶模型振动反馈控制的电机降噪方法及装置
CN115218810B (zh) * 2022-07-27 2024-06-11 北京航空航天大学 抗强光、强热辐射干扰的单相机三维变形测量系统及方法
CN121521395B (zh) * 2026-01-15 2026-03-31 苏州工学院 一种吊具变形量的仿真分析方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014010838A (ja) 2012-06-29 2014-01-20 Disney Enterprises Inc 拡張現実感シミュレーション連続体

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1980843A1 (en) 2007-04-13 2008-10-15 Essilor International (Compagnie Generale D'optique) Method and apparatus for detecting defects in optical components.
GB2455077A (en) * 2007-11-27 2009-06-03 Polyhedron Software Ltd Estimating the state of a physical system using generalized nested factorisation
US8107721B2 (en) 2008-05-29 2012-01-31 Mitsubishi Electric Research Laboratories, Inc. Method and system for determining poses of semi-specular objects
CN101901498B (zh) 2009-12-31 2011-11-30 华中科技大学 一种人体冠状动脉血管的递推建模方法
FR2955409B1 (fr) * 2010-01-18 2015-07-03 Fittingbox Procede d'integration d'un objet virtuel dans des photographies ou video en temps reel
BR112013002025A2 (pt) * 2010-07-30 2016-08-09 Koninkl Philips Electronics Nv aparelho para segmentar imagens médicas, método de segmentação de imagens médicas e mídia legível em computador carregando um programa de computador
US8872851B2 (en) 2010-09-24 2014-10-28 Intel Corporation Augmenting image data based on related 3D point cloud data
CN103347439B (zh) * 2010-11-11 2016-02-17 纽约市哥伦比亚大学托管会 动态光学层析成像系统
WO2012109618A2 (en) * 2011-02-11 2012-08-16 The Johns Hopkins University System and method for planning a patient-specific cardiac procedure
US9634593B2 (en) * 2012-04-26 2017-04-25 Emerson Climate Technologies, Inc. System and method for permanent magnet motor control
JP6092530B2 (ja) 2012-06-18 2017-03-08 キヤノン株式会社 画像処理装置、画像処理方法
US9418480B2 (en) 2012-10-02 2016-08-16 Augmented Reailty Lab LLC Systems and methods for 3D pose estimation
WO2014127321A2 (en) 2013-02-15 2014-08-21 Siemens Aktiengesellschaft Biomechanically driven registration of pre-operative image to intra-operative 3d images for laparoscopic surgery
US9412040B2 (en) 2013-12-04 2016-08-09 Mitsubishi Electric Research Laboratories, Inc. Method for extracting planes from 3D point cloud sensor data
US20150206343A1 (en) * 2014-01-17 2015-07-23 Nokia Corporation Method and apparatus for evaluating environmental structures for in-situ content augmentation
WO2015153832A1 (en) 2014-04-02 2015-10-08 Siemens Aktiengesellschaft System and method for characterization of electrical properties of the heart from medical images and body surface potentials
CN104825133B (zh) 2015-05-04 2017-10-17 河南理工大学 基于彩色多普勒3d成像的准静态心室‑心脏磁场模型
US11087549B2 (en) * 2018-10-15 2021-08-10 University Of Maryland, College Park Methods and apparatuses for dynamic navigable 360 degree environments

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014010838A (ja) 2012-06-29 2014-01-20 Disney Enterprises Inc 拡張現実感シミュレーション連続体

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A patient specific electro-mechanical model of the heart, Computer Methods and Programs in Biomedicine, 2011.
An Electromechanical Model of the Heart for Image Analysis and Simulation, IEEE TRANSACTIONS ON MEDICAL IMAGING, VOL. 25, NO. 5, MAY 2006
運動法則に基づいた映像からの運動モデリング, 2006

Also Published As

Publication number Publication date
GB201607639D0 (en) 2016-06-15
EP3452312B1 (en) 2020-09-30
SI3452312T1 (sl) 2021-03-31
CA3022768A1 (en) 2017-11-09
HRP20201999T1 (hr) 2021-02-05
ES2841304T3 (es) 2021-07-08
JP2019518942A (ja) 2019-07-04
EP3452312A1 (en) 2019-03-13
US10885647B2 (en) 2021-01-05
DK3452312T3 (da) 2021-01-04
RU2739711C1 (ru) 2020-12-28
US20190139241A1 (en) 2019-05-09
BR112018072597A2 (pt) 2019-02-19
KR20190003593A (ko) 2019-01-09
WO2017191146A1 (en) 2017-11-09
JP7051111B2 (ja) 2022-04-11

Similar Documents

Publication Publication Date Title
KR102403297B1 (ko) 디지털 이미지 및 모델-기반 필터링 기술에 의한 전기기계적 양의 추정
US11222471B2 (en) Implementing three-dimensional augmented reality in smart glasses based on two-dimensional data
JP2019087229A5 (ko)
Shao et al. Out-of-plane full-field vibration displacement measurement with monocular computer vision
EP4163873A1 (en) Method and apparatus with global localization
Sarrafi et al. A comparison of computer-vision-based structural dynamics characterizations
EP4224421A1 (en) Appratus and method with 3d modeling
Shao et al. 3D displacement measurement using a single-camera and mesh deformation neural network
Badias et al. Morph-dslam: Model order reduction for physics-based deformable slam
Shao et al. DIMMC: A 3D vision approach for structural displacement measurement using a moving camera
del-Castillo et al. Modeling non-linear viscoelastic behavior under large deformations
CA3022768C (en) Estimation of electromechanical quantities by means of digital images and model-based filtering techniques
Dufour et al. Displacement Measurements Using CAD-Based Stereo-DIC
Lang Deformable model acquisition and validation
Davis et al. Digital twins for photorealistic event-based structural dynamics
BR112018072597B1 (pt) Estimativa de grandezas eletromecânicas por meio de imagens digitais e técnicas de filtração baseadas em modelo
Garrett et al. Poisson Mesh Reconstruction for Accurate Object Tracking With Low-Fidelity Point Clouds
Jepping et al. Object deformations from image silhouettes using a kinematic finite element beam model
Ponomarov et al. Internal Stress Visualization by Aligning Simulated and Experimental Deformations via Computer Vision and Model-Based Feature Matching
Nietiedt et al. Integration of Kinematic Parameters into Object-based Image Sequence Matching
Curto et al. 3D Motion Estimation of Volumetric Deformable Objects from RGB-D Images Synthetically Generated by a Multi-camera System
JP5904976B2 (ja) ３次元データ処理装置、３次元データ処理方法及びプログラム
McCluskey Error characterization for digital image correlation measurements in industrial environments
Zheng Integrated Pipeline for Monocular 3D Reconstruction and Finite Element Simulation in Industrial Applications
Thaliyachira Reji et al. Workspace Reconstruction for Designing Modular Reconfigurable Manipulators

Legal Events

Date Code Title Description
PA0105 International application

Patent event date: 20181120

Patent event code: PA01051R01D

Comment text: International Patent Application

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20200312

Comment text: Request for Examination of Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20210903

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20220322

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20220525

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20220525

End annual number: 3

Start annual number: 1

PG1601 Publication of registration