KR20220132531A

KR20220132531A - 조사기 및 카메라 및/또는 센서를 사용하는 제어된 환경 원예를 위한 다중센서 이미징 방법 및 장치

Info

Publication number: KR20220132531A
Application number: KR1020227023415A
Authority: KR
Inventors: 이호르 리스; 니콜라스 마데라스
Original assignee: 아그네틱스, 인크.
Priority date: 2019-12-10
Filing date: 2020-12-10
Publication date: 2022-09-30
Also published as: AU2020402051A1; CA3161201A1; WO2021119363A2; WO2021119363A3; US12020430B2; US20250173859A1; IL293798A; EP4072264A2; US20210398281A1; CN115135136A; JP2023505677A

Abstract

다중 스펙트럼 이미징 장치는, 자외선(UV) 영역에서 단파장 적외선(SWIR) 영역까지의 제1 파장 범위에서 다수의 협대역 조사기를 갖는 조사원을 포함한다. 제1 카메라는 제1 시야 및 제1 파장 범위에서 UV-SWIR 이미지를 획득한다. 제2 카메라는 제1 시야 및 장파장 적외선(LWIR) 영역에서 LWIR 이미지를 획득한다. 제2 카메라가 연속적으로 LWIR 이미지를 획득하는 반면, 제1 카메라와 조사원은 주기적으로 활성화되어 UV-SWIR 이미지를 획득한다.

Description

조사기와 카메라 및/또는 센서를 사용하는 제어된 환경 원예용 다중 감각 이미징 방법 및 장치

관련 특허 출원에 대한 상호 참조

본 출원은, 발명의 명칭이 "MULTISPECTRAL IMAGING METHODS AND APPARATUS FOR CONTROLLED ENVIRONMENT HORTICULTURE USING ILLUMINATORS AND CAMERAS AND/OR SENSORS"이고 2019년 12월 10일에 출원된 미국 가출원 번호 제62/946,407호에 대한 우선권을 주장하며, 이의 전체 내용이 참조로서 본원에 포함된다.

농부는 작물 수확량을 개선하기 위한 노력으로 실외 작물의 농업 이미징을 점점 더 사용하고 있다. 종래의 농업 이미징 기술은 실외 작물의 더 쉬운 검사, 작물 모니터링의 더 큰 정밀도, 및 작물 문제, 예컨대 특정 영양 결핍, 곤충 침입 및 질환의 조기 감지를 용이하게 할 수 있다. 위성, 항공기 또는 무인 항공기(UAV)는 작물의 초분광형 또는 다스펙트럼 항공 이미지를 캡처하는 데 사용된다. 이들 항공 이미지는 식생 지수(VI)를 사용하여 처리되어 특정 작물의 특징부를 결정할 수 있다.

VI는 둘 이상의 스펙트럼 반사율 측정 대역의 스펙트럼 변환으로서, 상이한 스펙트럼 대역에서 식생으로부터의 광 반사율 차이를 활용한다. VI는, 식생의 양을 표시하는 것, 토양과 식생을 구별하는 것, 또는 식생의 이미지에서 대기 및 지형 효과를 감소시키는 것을 용이하게 할 수 있다. VI는 다양한 작물 특징, 예컨대 잎 면적 지수(LAI), 그린 커버 백분율, 엽록소 함량, 그린 바이오매스, 및 흡수된 광합성 유효 방사(APAR)와 상관될 수 있다. 정규화된 차이 식생 지수(NDVI)는 공통 VI로서, 가시광 적색 및 근적외선(NIR) 스펙트럼 반사율 대역을 비교한다. 다른 흔한 VI는 광화학적 반사율 지수(PRI), 차이 식생 지수(DVI), 비율 식생 지수(RVI), 및 작물 물 스트레스 지수(CWSI)를 포함한다. 하나 이상의 VI에 기초하여 생성되고/되거나 처리된 이미지는, 변화가 육안으로 보이기 전의 작물에서의 변화를 주 단위로 볼 수 있다. 이미지로부터의 이러한 통찰력은 자원 사용 효율을 개선하고; 특정 질환, 해충 및 물 스트레스로부터 작물을 보호하고; 작물 수율을 개선하는 데 사용될 수 있다.

종래의 농업 영상화 기술에서, 다수의 파라미터는 작물의 이미지의 효능 및 유용성에 영향을 미친다; 이러한 파라미터의 예는 픽셀 해상도(픽셀의 크기), 이미지 대역폭(이미징되는 파장의 스펙트럼 범위), 방사선 측정 해상도(픽셀 당 상대적 방사 반사율 값의 범위), 및 위치 정확도를 포함한다. 이들 파라미터 모두는 작물 모니터링을 위한 이미지의 유용성에 영향을 미친다. 특히, 충분한 이미징 해상도 및 정확성을 제공하는 농업 이미징 장비는 일반적으로 농부에게 증가된 비용을 의미한다. 일부 경우에, 농부에게 효과적인 농업 이미징 비용은 더 양호한 수율로 인해 증가된 수익을 상쇄할 수 있어서, 이러한 이미징의 잠재적인 농업 장점을 일부 농부에게는 와닿지 않는다.

제어된 환경 원예(CEH)(더 일반적으로는 제어된 환경 농업 또는 CEA로도 지칭됨)는, 다양한 환경 파라미터가 모니터링되고 조절되어 재배된 식물의 품질과 수율을 개선하는 제어된 환경에서 식물을 재배하는 과정이다. 식물 재배의 종래의 접근법과 비교하면, CEH는 식물의 연중 생산, 다양한 기상 조건에 대한 둔감성, 해충 및 질병을 감소시키고, 식물당 소비되는 자원의 수를 감소시킬 수 있다. 제어된 원예 환경은 통상적으로, 환경 조건에 대한 어느 정도의 제어를 제공하기 위해, 적어도 부분적으로, 온실, 재배실, 또는 경지의 일부에 대한 커버와 같은 빌딩 구조물에 의해 폐쇄된다. 추가적인 제어 시스템이 CEH에 배치되어 조명, 온도, 습도, 영양 수준, 및 이산화탄소(CO2) 농도를 포함하는 다양한 환경 파라미터를 조절할 수 있다. 예를 들어, 하나 이상의 인공 조명 시스템은 종종 이렇게 제어된 원예 환경에서 사용되어, 빌딩 구조물에 의해 차단되거나 연중 특정 기간(예, 겨울) 동안 불충분할 수 있는 자연 태양광을 보충 및/또는 대체한다.

CEH를 위한 농업 이미징 시스템을 적용하려는 다수의 시도가 있었다. 예를 들어, Story 및 Kacira의 문헌, "Design and Implementation of a Computer Vision-Guided Greenhouse Crop Diagnostics System", Machine Vision and Applications, Vol. 26 (2015), pp. 495-506에서, 저자는 CEH 재배 환경 주위에서 이미징 시스템을 이동시키기 위한 로봇식 위치 설정을 갖는 캐노피 이미징 시스템을 설명한다. 이미징 시스템은, 가시광선, 근적외선(NIR) 및 열화상 이미징에 대해 각각 세 대의 카메라를 사용하여, 온실 조명 조건 하에서 색, 질감, 형태 및 온도와 같은 작물 특징부를 결정하였다. 로봇식 위치 설정은, 작물 캐노피 위의 xy-좌표계 내에서 세 대의 카메라 하우징을 이동시켰다.

다른 예시로서, 국제 특허 공개 WO 2017/192566은 조명 장치 내의 리셉터클에 설치된 하나 이상의 모듈 장치, 예컨대 초분광형, 입체형 또는 적외선 카메라를 갖는 원예 조명 시스템을 설명한다. 모듈 장치는 시간에 따라 광 세기 감쇠 및 스펙트럼 이동을 식별하기 위해 재배 환경에 전달되는 광 수준 및 스펙트럼을 검증하는 데 사용될 수 있다.

제3 예시로서, 미국 특허 제8,850,742호는 온실 작물의 재배 및 속성을 조절하고 제어하는 데 사용되는 조명 시스템을 설명한다. 시스템은, CEH 내의 하나 이상의 식물을 조사하기 위한 상이한 범위의 파장을 갖는 고 전력 LED의 어레이뿐만 아니라, 작물로부터 반사되거나 방출된 광을 감지하기 위해 특정 컬러 필터를 갖는 센서 또는 카메라를 포함한다. 이 시스템은 센서 또는 카메라로부터 수집된 데이터를 사용하여 다양한 재배 조건에 대한 식물의 반응 및 성능을 예측하고 데이터에 기초하여 조명 시스템에 의해 생성된 조명을 조절한다.

이미징에 더하여, 보다 일반적으로 다수의 제조업체로부터 이용 가능한 다양한 환경 감지 장비가, 작물 및 이들의 환경 보호의 상이한 조건 및 양태를 모니터링하기 위해 통상적으로 사용되어 왔다. 농업 이미징과 마찬가지로, CEH에 다중 감지 기법을 통합하면 식물 개발, 작물 수율 및 작물 품질에 관한 환경 파라미터에 대한 더 큰 통찰력과 제어를 제공할 수 있다. 그러나, CEH에 배치된 다양한 유형의 종래의 센서는 종종 개별적으로 및/또는 조정되지 않은 방식으로 설치, 연결 및 제어된다(예, 특히 주어진 제조사로부터의 각각의 센서 유형이 독점적인 연결 메커니즘을 갖는 경우). 이는 결국 다양한 감지를 통해 작물의 증가된 모니터링의 잠재적 이점을 초과할 수 있고; 특히, 다양한 센서의 수를 증가시키면 감지 시스템의 복잡성을 과도하게 증가시켜 농부에게 더 많은 시간, 비용 및/또는 다른 자원 부담을 야기할 수 있다.

전술한 바와 같이, 항공 농업 이미징은 실외 농업 환경으로 제한된다. 따라서, (예를 들어, 위성, 비행기, 또는 UAV를 사용하여) 항공 이미징을 위해 작물에 근접할 수 없는 점을 감안할 때, 농업 이미징을 제어된 환경 원예(CEH)에 조정시키기 위해 다수의 고려 사항이 있다. 추가적으로, 하나 이상의 인공 조명 시스템은 종종 CEH에서 사용되어, 빌딩 구조물에 의해 차단되거나 연중 특정 기간(예, 겨울) 동안 불충분할 수 있는 자연 태양광을 보충 및/또는 대체한다.

발명자는 CEH로 종래의 농업 이미징 기술을 적응시키려는 이전의 노력이 일부 단점을 갖고 있음을 인식하고 이해하려 했다. 예를 들어, WO 2017/192566 및 Story와 Kacira에 개시된 것과 같은 일부 이전의 노력은, 이미징을 위한 충분한 광을 제공하기 위해 재배 환경(예, 인공 재배 광 또는 태양)으로부터의 조명에 의존하였다. 그러나, 발명자는 자체 조사 장치를 포함한 이미징 시스템으로 CEH용 인공 조명 시스템을 보강하는 이점을 인식하고 이해해 왔다. 이러한 이미징 시스템은 특정 좁은 스펙트럼 대역으로 작물을 조사하여, 이들 좁은 스펙트럼 대역 중 하나 이상에 특히 나타날 수 있는 작물 조건을 감지하고 이미지화하였다. 또한, 발명자는 이미징 시스템으로부터의 조사로 기인한 작물의 형태학적 변화에 반드시 영향을 미치지 않고서도, 인시츄로 작물의 스펙트럼 특성을 측정하는 것의 중요성을 인식하였다.

이를 위해, 발명자는, 몇몇 고출력 좁은 스펙트럼 대역 조사기를 사용하는 식물의 동시 조사를 채용한 미국 특허 제8,850,742호의 개시된 기술과 같은 이미징 기술의 한계 중 일부를 이해하였다. 그러나, 몇몇 비교적 높은 전력과 좁은 스펙트럼 대역으로 식물을 동시에 조사함으로써, 본 특허에 사용된 기술은 임의의 하나의 좁은 스펙트럼 대역에서 조사된 작물의 특정 특성을 단리하는 것을 어렵게 하거나 가린다. 비교적 낮은 해상도의 카메라를 함께 사용한 것을 고려하는 경우, 미국 특허 제8,850,742호의 개시된 기술은 정확성과 신뢰성을 손상시킨다. 또한, 개시된 고출력 조사 기술은 의도적으로 식물의 생화학적 속성을 변형시켰고, 따라서 제어된 환경의 명목 조건에서 인시츄로 식물의 다양한 양태를 측정하도록 배향되지 않았다.

전술한 내용을 고려하여, 본 개시는 일반적으로, 전체 재배 공간으로부터 재배 공간의 일부보다 작은 부분까지, 더 작게는 개별 식물, 잎, 싹, 또는 다른 식물 성분까지, CEH에서의 작물에 관한 보다 완전한 보충 정보를 제공하기 위해 다중 스펙트럼 이미징 및/또는 통합 감지를 포함한 다중 감각 이미징 방법 및 장치에 관한 것이다. 본원에서 논의된 예시적인 구현예에서, 종합적인 다중 감각 이미징은 주어진 재배 공간에서 비교적 큰 "시야"로 실현될 수 있으며(여기서, 주어진 이미지에서 캡처된 데이터의 해상도는 다수의 식물 또는 식물 그룹의 규모 또는 재배 공간의 더 큰 부분의 규모일 수 있음), 또한 비교적 작은 시야(여기서, 주어진 이미지에 의해 캡처된 데이터의 해상도는 단일 식물의 규모 또는 식물 부분의 규모일 수 있음)에서 실현될 수 있다. 하나의 현저한 양태에서, 사실상 임의의 크기의 시야 또는 임의의 이미지 해상도로부터 획득된 이미지를 구성하는 다양한 데이터는, 재배 공간 일부(또는 전부)에서 감지 노드의 1차원(1D), 2차원(2D) 또는 3차원(3D) 배열에서 지점을 나타내는 각각의 픽셀로서 인덱싱된다.

본원에 개시된 다양한 개념은 원예 이미징의 상당한 개선을 구성하고, 이는 비용을 감소시키고, 농부에게 농업 이미징의 액세스를 개선하고, 이미지 품질 및 이미지로부터 유래될 수 있는 정보의 양자화를 개선한다. 이들 개념은 또한 원예 감지에서의 상당한 개선을 구성하고, 이는 보다 일반적으로 비용을 절감하고, 농민에 대한 접근성을 개선하고, CED에 배치된 센서로부터 유도될 수 있는 정보의 양자화를 향상시킨다. 또한, 일부 예시적인 구현예에서, 개시된 개념은 CEH을 위해 농업 감지 및 이미징을 함께 통합하고, 또한 CEH를 위해 인공 조명 및 환경 컨디셔닝(예, HVAC)과 감지 및 이미징 개념을 통합하여 전체적인 제어 및 모니터링 솔루션을 제공한다.

예를 들어, 본원에 개시된 하나의 구현예는, 유체 냉각 발광 다이오드(LED) 기반 조명 기구(이하 "조명 기구" 또는 "조명기"로도 지칭됨)와 조합하여 배치되는, 다중 스펙트럼 이미징 시스템에 관한 것이다. 다중 스펙트럼 이미징 시스템은 협대역 스펙트럼(예, 약 2 nm 내지 약 40 nm)을 측정하기 위한 유한 스펙트럼 감지를 제공할 수 있다. 다중 스펙트럼 이미징 시스템에 의해 제공되는 유한 스펙트럼 감지 능력은 심층 식물 표현형 분석, 식물-환경 상호작용, 유전자형-표현형 관계, 재배 속도 상관 관계, 이미징, 및 화분, 용기 및/또는 지상 토양 내의 식물의 분석을 포함하나 이에 제한되지 않는 CEH 작물의 다양한 양태의 특성화를 가능하게 할 수 있다. 또한, 다중 스펙트럼 이미징 시스템은 (항공기에 배치된 이전의 이미징 시스템과 달리, 즉 1000 미터 초과의 길이와 달리) 100 미터 미만의 길이 스케일로 배치되고 사용하기에는 충분히 콤팩트하다.

일 양태에서, 다중 스펙트럼 이미징 시스템은 유선 또는 무선 연결을 통해 조명 기구 또는 조명 기구에 연결된 별도의 모듈(또는 부속품)과 통합될 수 있다. 다중 스펙트럼 이미징 시스템은 농업 환경에서 이미지 및 스펙트럼을 획득하기 위한 이미저/센서를 포함할 수 있다. 이미저/센서는 넓은 파장 범위(예, 자외선 내지 장파장 적외선)에 걸쳐 이미지 및/또는 스펙트럼을 획득하도록 구성될 수 있다. 일부 구현에서, 다중 스펙트럼 이미징 시스템은 UV부터 단파장 적외선(SWIR) 영역에서 이미지를 획득하기 위한 제1 이미저/카메라, 및 장파장 적외선(LWIR) 영역에서 이미지를 획득하기 위한 제2 이미저/카메라를 포함할 수 있다. 일부 구현에서, 제2 이미저/카메라는, UV-SWIR 이미지를 획득하기 위해 제1 이미저/카메라가 조명원(예, 온보드 LED 요소)과 조합하여 주기적으로 활성화되는 동안, LWIR 이미지를 연속적으로 획득할 수 있다.

일부 구현에서, 다중 스펙트럼 이미징 시스템은 상이한 파장에서 방사선으로 농업 환경을 비추기 위한 하나 이상의 방사선 공급원(예, LED 요소)을 포함할 수 있다. 이러한 방식으로, 이미저/센서는 각각의 파장에서 방사선에 대응하는 이미지를 획득할 수 있고, 그 다음 다중 스펙트럼 이미지를 형성하도록 중첩될 수 있다. 일부 구현에서, 다중 스펙트럼 이미징 시스템은, 대신에, 하나 이상의 파장에서 환경을 비추기 위해 조명 기구 내에 통합된 LED 광원을 사용할 수 있다. 조명기(예, LED 광원, 온보드 LED 요소)가 다수의 파장에서 방사선으로 환경을 비추는 경우, 다중 스펙트럼 이미징 시스템은 또한 하나 이상의 필터(예, 필터 휠)를 포함하여 특정 파장에서 이미지/스펙트럼 데이터를 선택적으로 획득할 수 있다.

하나의 예시적인 방법에서, 다중 스펙트럼 이미징 시스템은 다음 단계를 사용하여 농업 환경의 이미지/스펙트럼을 획득할 수 있다: (1) 다중 스펙트럼 이미징 시스템에서 제1 LED 요소를 켜서 제1 파장에서 방사선으로 농업 환경을 조사하는 단계, (2) 다중 스펙트럼 이미징 시스템에서 이미저/센서를 사용하여 환경의 이미지/스펙트럼을 획득하는 단계, 및 (3) 제1 LED 요소를 끄는 단계. 이 방법은, 예를 들어 다중 스펙트럼 이미징 시스템에서 다음 단계를 사용하여 추가 LED 요소에 대해 반복될 수 있다: (4) 다중 스펙트럼 이미징 시스템에서 제2 LED 요소를 켜서 제2 파장에서 방사선으로 농업 환경을 조사하는 단계, (5) 다중 스펙트럼 이미징 시스템에서 이미저/센서를 사용하여 환경의 이미지/스펙트럼을 획득하는 단계, 및 (6) 제2 LED 요소를 끄는 단계.

일부 구현에서, 다중 스펙트럼 이미징 시스템은 다른 조명원이 활성화되지 않는 동안 환경의 이미지/스펙트럼을 획득할 수 있다. 예를 들어, 조명 기구는, 광합성 활성 방사선(PAR)을 제공하는 LED 광원을 포함할 수 있다. LED 광원은, 다중 스펙트럼 이미징 시스템이 환경의 이미지/스펙트럼을 획득할 때 꺼질 수 있다. 상기 다른 방식으로, 다중 스펙트럼 이미징 시스템은 여러 파장에서 이미지/스펙트럼을 획득하기 위해 일련의 플래시(예, 짧은 방사선 펄스)로 어두운 환경을 조사하도록 구성될 수 있다.

다중 스펙트럼 이미징 시스템은 또한 보조 LED 요소를 포함할 수 있다. 일부 구현에서, 보조 LED 요소는 식물 및/또는 그 주변을 변형하는 데 사용될 수 있다. 예를 들어, 보조 LED 요소 중 하나 이상은 (예를 들어, 275 nm 파장 방사선을 사용하여) 해충을 퇴치하거나 곰팡이의 성장을 감소시키기에 충분한 밝기(및/또는 세기)를 갖는 UV 방사선을 방출할 수 있다. 다른 예에서, 보조 LED 요소 중 하나 이상은 (예를 들어, 730 nm 파장 방사선을 사용하여) 식물의 형태 및/또는 광 주기를 변경시킬 수 있다. 보조 LED 요소에 의해 제공되는 광 처리 기능성은 또한 PAR로 식물을 비추는 LED 광원에 의해 제공될 수도 있음을 이해해야 한다.

일부 구현에서, 다중 스펙트럼 이미징 시스템은 환경에 방사선을 제공하는 다른 조사기와 쌍을 이룰 수 있다. 조사기는 UV, 가시광선, 근적외선(NIR), 및/또는 SWIR 영역을 커버하는 방사선을 제공할 수 있다. 일부 구현에서, 조명 기구는 다른 이미저/센서와 쌍을 이룰 수 있다. 이미저/센서는 UV, 가시광선, NIR, SWIR, 및/또는 LWIR 영역을 커버하는 이미지/스펙트럼을 획득하도록 구성될 수 있다. 일반적으로, 이미저/센서는 환경의 2D 이미지 및/또는 3D 이미지(예, 라이다, 팬-틸트-줌 (PTZ) 카메라)를 획득할 수 있다. 이미저/센서는 또한, 하나 이상의 식물을 포함한 환경의 일부와 환경의 전체 공간 사이의 범위인 시야를 가질 수 있다. 환경은 다수의 공간을 포함할 수 있다.

일부 구현에서, 다중 스펙트럼 이미징 시스템은 환경에 배치된 다양한 교정 공급원을 사용하여 교정될 수 있다. 일례로, 팬텀은 UV 및 SWIR 영역 사이에서 획득된 이미지/스펙트럼을 교정하는 데 사용될 수 있다. 팬텀은 다양한 형상(예, 구, 다면체, 식물, 동물)을 갖는 공지된 광학 특성(예, 방사율, 흡수율, 반사율)을 갖는 물체일 수 있다. 하나 이상의 팬텀이 이미저/센서의 시야 내에 배치되어 이미저/센서에 의해 감지된 방사선의 크기 및 파장을 교정할 수 있다. 다른 예에서, 흑체 기준은 LWIR 영역에서 획득된 열화상 이미지/스펙트럼을 교정하는 데 사용될 수 있다. 흑체 기준은 히터 및 온도 센서를 포함한 물체일 수 있다. 흑체 기준은 LWIR 이미저/센서에 의해 획득된 히트맵에서 온도 값을 교정하는 데 사용될 수 있다.

다양한 구현에서, 본원에 개시된 이미징 시스템은, 예를 들어 포트(들)에 결합된 하나 이상의 보조 장치에 보조 DC 전력을 제공하기 위한 하나 이상의 통신 및/또는 보조 전력 포트를 포함할 수 있다. 이러한 포트의 예는, 하나 이상의 이더넷 전원 장치(PoE) 포트 및/또는 하나 이상의 범용 직렬 버스(USB) 포트를 포함하여, 다수의 조명 기구를 통신 가능하게 함께 결합하고/결합하거나 하나 이상의 보조 장치(예, 센서, 액추에이터, 또는 다른 외부 전자 장치)의 작동을 지원한다. PoE 또는 USB 포트 중 하나 이상을 통해 하나 이상의 이미징 시스템에 결합될 수 있는 다양한 센서의 예는 공기 온도 센서, 근적외선(NIR) 잎 수분 센서, 초분광형 카메라, 유한 스펙트럼 카메라, IR 잎 온도 센서, 상대 습도 센서, 및 이산화탄소 센서를 포함하지만, 이에 제한되지 않는다. PoE 또는 USB 포트를 통해 하나 이상의 이미징 시스템에 결합될 수 있는 보조 장치의 다른 예는 하나 이상의 팬, 보안 카메라, 스마트폰, 및 다중 스펙트럼 카메라(예를 들어, 토양 수분, 영양소 함량, 식물의 잎을 분석하기 위한 것)를 포함하지만, 이에 제한되지 않는다. 이러한 방식으로, 다양한 보조 장치가 이미징 시스템 상의 통신 포트의 유연한 배치로 인해 제어된 농업 환경에서 특히 분포될 수 있다.

일부 구현에서, 이미징 시스템의 프로세서는 하나 이상의 보조 장치를 제어하고/제어하거나 보조 장치로부터 데이터를 처리하는 데 사용될 수 있다. 그 다음, 프로세서는, 하나 이상의 조명 기구 작동을 조절하고 제어하기 위해(예, 조명 기구로부터의 PAR 출력을 조절하기 위해), 하나 이상의 냉각제 회로(예, 조명 루프, 수경 재배 루프, 및 냉각 루프를 포함한 냉각제 회로를 통해 유체 흐름을 조절하기 위해), 하나 이상의 팬, 하나 이상의 제습기, 또는 제어된 농업 환경에서 하나 이상의 에어컨의 작동을 조절하고 제어하기 위해 데이터를 이용할 수 있다. 일부 구현에서, 다양한 환경 조건이 측정되고 제어되어 환경에서 목표 증기압차를 제공한다.

아래에서 더욱 상세히 논의되는 전술한 개념 및 추가 개념의 모든 조합이(이들 개념이 상호 불일치하지 않는다면) 본원에 개시된 본 발명의 주제의 일부로서 고려됨을 이해해야 한다. 특히, 본 개시의 끝에서 나타나는 청구된 주제의 모든 조합은, 본원에 개시된 본 발명의 주제의 일부로서 간주된다. 또한 본원에 참조로서 통합된 임의의 개시에서 나타날 수도 있는 용어로서, 본원에서 명시적으로 사용된 용어에는, 본원에 개시된 특정 개념과 가장 일치하는 의미가 부여되어야 함을 또한 이해해야 한다.

특허 또는 출원 파일은 컬러로 실행된 적어도 하나의 도면을 포함한다. 컬러 도면(들)을 갖는 본 특허 또는 특허 출원 공개의 사본은, 요청이 있고 필요한 수수료가 지불된 경우 특허청에 의해 제공될 것이다.
당업자는, 도면들이 주로 예시적인 목적을 위한 것이며 본원에 기술된 본 발명의 주제의 범위를 제한하려는 것이 아님을 이해할 것이다. 도면은 반드시 일정한 비율은 아니며; 일부 경우에, 본원에 개시된 본 발명의 주제의 다양한 측면들은 도면에서 과장되거나 확대되어 상이한 특징의 이해를 용이하게 할 수 있다. 도면에서, 유사한 참조 부호는 일반적으로 유사한 특징(예, 기능적으로 유사한 요소 및/또는 구조적으로 유사한 요소)을 지칭한다.
도 1은 본 발명의 구현에 따른 다중 감각 이미징 시스템을 나타낸다.
도 2는 본 발명의 구현에 따른 다중 감각 이미징 시스템을 나타낸다.
도 3은 본 개시의 일부 구현에 따라 다중 스펙트럼 이미징 엔진의 블록 다이어그램이다.
도 4는 본 개시의 일부 구현에 따라 다중 스펙트럼 이미징 엔진의 블록 다이어그램이다.
도 5는 본 개시의 일부 구현에 따라 다중 스펙트럼 이미징 엔진을 나타낸다.
도 6은 도 5의 이미징 엔진의 상부, 전방, 좌측 사시도를 나타낸다.
도 7은 본 개시의 일부 구현에 따라 다중 스펙트럼 이미징 엔진을 나타낸다.
도 8은 캐리어 보드 및 프로세서를 갖는 도 7의 다중 스펙트럼 이미징 엔진을 나타낸다.
도 9는 캐리어 보드 및 프로세서를 갖는 도 7의 다중 스펙트럼 이미징 엔진의 다른 뷰를 나타낸다.
도 10은 본 개시의 일부 구현에 따라 원형 다중 스펙트럼 이미징 엔진을 나타낸다.
도 11은 기준 반사 타겟을 사용하는 다중 스펙트럼 이미징 시스템의 협대역 이미지 교정을 나타낸다.
도 12는 흑체 방사체를 사용하는 다중 스펙트럼 이미징 시스템의 열화상 이미지 교정을 나타낸다.
도 13은 다중 스펙트럼 이미징 시스템에 의해 수집된 구성 협대역 및 열화상 이미지로 다중 스펙트럼 이미지를 생성하는 데 사용되는 것을 나타낸다.
도 14는 본 개시의 일부 구현예에 따라, 특징부 세트로서 사용되는 값의 벡터이다.
도 15는 본 개시의 일부 구현예에 따라, 기준 조건 라이브러리를 나타낸다.
도 16은 본 개시의 일부 구현예에 따라, 이미지 처리 방법론의 블록 다이어그램을 나타낸다.
도 17은 본 개시의 일부 구현예에 따라, 머신 러닝 알고리즘 방법론의 블록 다이어그램을 나타낸다.
도 18은 본 개시의 일부 구현예에 따라, 특징부 세트로서 사용되는 값의 벡터이다.
도 19는 가시광 내지 단파장 적외선(SWIR) 영역에서 다양한 환경의 알베도 스펙트럼을 나타낸다.
도 20은 다양한 식물 관련 화합물의 스펙트럼 흡광도를 나타낸다.
도 21은 클로로필 a 및 클로로필 b의 스펙트럼 흡광도를 나타낸다.
도 22는 본 발명의 구현에 따른 다중 파장 이미징 시스템을 나타낸다.
도 23은 CEH 시스템에서 다중 스펙트럼 이미징 시스템을 나타낸다.
도 24는 본 발명의 구현에 따른 다중 감각 이미징 시스템을 나타낸다.
도 25는 본 발명의 구현에 따른 2D 센서 그리드를 나타낸다.
도 26은 본 발명의 구현에 따른 CEH 시스템에서 도 25의 2D 센서 그리드를 나타낸다.
도 27은 본 개시의 일부 구현에 따라, 센서 노드에서 여러 센서의 블록 다이어그램이다.
도 28은 다중 감각 이미징 시스템에 의해 수집된 센서 정보로부터 컴파일링된 구성 감각 이미지를 나타낸다.
도 29는 본 개시의 일부 구현에 따라, 특징부 세트로서 사용되는 값의 벡터이다.
도 30은 본 개시의 일부 구현에 따른 기준 조건 라이브러리를 나타낸다.
도 31은 본 발명의 구현에 따른 다중 감각 이미징 시스템의 3D 센서 그리드를 나타낸다.
도 32-1은 도 31의 다중 감각 이미징 시스템의 상부도를 나타낸다.
도 32-2는 도 31의 다중 감각 이미징 시스템의 측면도를 나타낸다.
도 32-3은 도 31의 다중 감각 이미징 시스템의 전방도를 나타낸다.
도 33은 본 개시의 일부 구현에 따라, 특징부 세트로서 사용되는 값의 벡터이다.
도 34는 본 발명의 구현에 따른 다중 감각 이미징 시스템을 나타낸다.
도 35는 본 개시의 일부 구현에 따라, 센서 노드에서 여러 센서 및 이미징 엔진의 블록 다이어그램이다.
도 36은 도 34의 다중 감각 이미징 시스템의 상부도이다.

제어된 환경 원예에 대한 다중 감각 이미징용 방법, 장치 및 시스템의 구현 및 이에 관련된 다양한 개념의 보다 상세한 설명과 용어집이 아래에 있다. 상기에서 도입되고 하기에서 보다 상세하게 논의되는 다양한 개념은 다양한 방식으로 구현될 수 있다는 것이 이해되어야 한다. 특정 구현예 및 적용의 예시는, 당업자에게 명백한 구현예 및 대안을 당업자가 실시할 수 있도록 주로 예시적인 목적으로 제공된다.

아래에서 설명되는 도면 및 예시적인 구현예는 본 구현예의 범위를 단일 구현예에 한정하기 위한 것은 아니다. 설명되거나 도시된 요소의 일부 또는 전부를 교환함으로써 다른 구현예가 가능하다. 또한, 개시된 예시적인 구현예의 특정 요소가 공지된 구성 요소를 사용하여 부분적으로 또는 완전히 구현될 수 있는 경우, 일부 경우에 본 구현예를 이해하는 데 필요한 이러한 공지된 구성 요소의 부분만이 설명되고, 이러한 공지된 구성 요소의 다른 부분에 대한 상세한 설명은 본 구현예를 모호하게 하지 않도록 생략된다.

아래 논의에서, 다중 감각 이미징 시스템의 다양한 예시, 다중 감각 이미지를 획득, 처리 및 정량화하는 방법, 및 다중 감각 이미징 시스템과 통합된 본 발명의 조명 시스템이 제공되며, 여기서 주어진 예시는 주어진 맥락에서 하나 이상의 특정 특징부를 나타낸다. 다중 감각 이미징 시스템의 주어진 예시와 관련하여 논의된 하나 이상의 특징부가 본 개시에 따른 다른 구현예에 사용될 수 있어서, 본원에 개시된 다양한 특징부는 (단, 각각의 특징부가 상호적으로 일치하지 않는 경우에) 본 개시에 따른 주어진 시스템에서 쉽게 조합될 수 있음을 이해해야 한다.

용어집

알베도: 용어 "알베도"는 물체로부터의 방사도 대 물체의 방사 조도(단위 면적 당 플럭스)의 비율을 지칭한다. 따라서, 이는 물체에 충돌하는 총 방사선에서 나오는 방사선 반사의 척도로서, 0(모든 입사 방사선을 흡수하는 흑체에 대응함) 내지 1(모든 입사 방사선을 반영하는 일체에 대응함)의 척도로 측정된다. 특정 파장 대역 또는 스펙트럼 영역에서 물체의 알베도가 측정될 수 있다. 예를 들어, UV 알베도는, 물체에 충돌하는 총 UV 방사선에서 나오는 물체 반사의 UV 방사선을 지칭한다. 다른 예로서, 협대역 알베도는, 물체에 충돌하는 총 협대역 방사선에서 나오는 물체 반사의 협대역 방사선을 지칭한다.

제어된 환경 원예: 제어된 환경 원예(CEH)(제어된 환경 농업 또는 CEA라고도 함)는 제어된 환경에서 식물을 재배하는 과정으로서, 제어된 환경에서 조명, 온도, 습도, 영양소 수준, 및 이산화탄소(CO₂) 농도와 같은 다양한 환경 파라미터가 모니터링되고 조절되어 식물의 품질과 수율을 개선시킨다. 식물 재배의 종래의 접근법과 비교하면, CEH는 식물의 연중 생산, 다양한 기상 조건에 대한 둔감성, 해충 및 질병을 감소시키고, 식물당 소비되는 자원의 수를 감소시킬 수 있다. 또한, CEH는 토양 기반 시스템 및 수경 재배 시스템을 포함하나 이에 제한되지 않는 다양한 유형의 재배 시스템을 지원할 수 있다.

제어된 농업 환경은 통상적으로, 환경 조건에 대한 어느 정도의 제어를 제공하기 위해, 적어도 부분적으로, 온실, 재배실, 또는 경지의 덮인 부분과 같은 빌딩 구조물에 의해 폐쇄된다. 하나 이상의 인공 조명 시스템은 종종 이렇게 제어된 농업 환경에서 사용되어, 빌딩 구조물에 의해 차단되거나 연중 특정 기간(예, 겨울) 동안 불충분할 수 있는 자연 태양광을 보충 및/또는 대체한다. 인공 조명 시스템의 사용은 또한, 조명 시스템의 세기 및 스펙트럼 특성이 식물의 광합성 속도를 개선하기 위해 맞춤될 수 있는, 또 다른 제어 수단을 제공할 수 있다. 고 세기 방출 램프, 발광 다이오드(LED), 및 형광 램프를 포함하나 이에 제한되지 않는 다양한 유형의 인공 조명 시스템이 사용될 수 있다.

방사율: "방사율"은 적외선 에너지를 방출하는 물체의 능력을 측정한 것이다. 방출된 에너지는 물체의 온도를 나타낸다. 방사율은 0(광택 미러)에서 1(흑체)까지의 값을 가질 수 있다.

특징부/표지된 특징부 세트: "특징"은 머신 러닝 시스템에 입력하기에 적합한 이산 측정 값의 구조화된 수학적 표현이다. 특징부는 머신 러닝 알고리즘이 측정에 관해 액세스할 수 있는 정보를 결정한다. 복수의 상이한 이산 측정은 기준 조건에 대한 "표지된 특징부 세트"를 개발하는 데 사용될 수 있다.

시야: "시야"는 일부 측정 가능한 성질의 측정이 하나 이상의 센서/카메라에 의해 포착될 수 있는 검사의 면적 또는 풋프린트를 지칭한다.

초분광 이미징: "초분광 이미징"은 생성된 이미지의 복수의 픽셀에서 각각의 픽셀에 대해 넓은 스펙트럼의 방사선(연속적 또는 다수의 이산적 측정)을 수집하고 처리하는 이미징 기술이다. 유한의 비연속적인 협대역을 측정하는 다중 스펙트럼 이미징과 달리, 초분광 이미징은 넓은 스펙트럼에 걸쳐 연속적인 파장 범위를 측정한다.

조명기: "조명기"는 조사기와 대조적으로, 감지용 방사선을 제공하는 데 주로 사용되지 않는 방사선 공급원, 예컨대 LED이다. 조명기는, 예를 들어 폐쇄된 구조물에 주변 조명을 제공하거나, CEH 시스템에 광합성 활성 방사선(PAR)을 제공할 수 있다.

조사기: "조사기"는 주로 감지용 광을 제공하는 방사원, 예컨대 LED이다. 예를 들어, 일련의 협대역 조사기가 물체를 조사하여 물체의 다중 스펙트럼 이미지를 수집하는 데 사용될 수 있다.

다중 감각 이미징: "다중 감각 이미징"은 복수의 이미지 및 감각 데이터를 수집하고 처리하여 다중 감각 이미지를 생성하는 이미징 기술이며, 생성된 이미지의 복수의 픽셀 중의 각각의 픽셀은 유한한 협대역 스펙트럼 데이터뿐만 아니라 감각 데이터를 포함한다. 생성된 이미지 내의 각각의 픽셀은 임의의 치수로 근접하거나 이격될 수 있다.

다중 스펙트럼 이미징: "다중 스펙트럼 이미징"은 복수의 유한하고 비연속적인 협대역 이미지를 수집하고 처리하는 이미징 기술이며, 생성된 이미지의 복수의 픽셀 중 각각의 픽셀은 유한한 협대역 스펙트럼 데이터를 포함한다.

협대역/협대역 이미지: "협대역"은 약 2 nm 및 40 nm의 대역폭을 갖는 좁은 파장의 방사 대역이다. 협대역 이미지는 하나 이상의 협대역을 사용하여 캡처된 이미지이다.

정규화하다/정규화: 용어 "정규화하다" 또는 "정규화"는 동일하거나 유사한 것에 관한 하나 이상의 서로 다른 데이터 조각을 수정하는 프로세스를 지칭하는 것으로, 동일하거나 유사한 것에 관한 데이터의 모든 조각이 어떤 방식으로 (예를 들어, 미리 결정된 표준 또는 포맷에 따라) 균질화되도록 한다.

픽셀: "픽셀"은 이미지에서 개별적으로 처리될 수 있는 이미지의 가장 작은 요소이다. 이미지는 적어도 하나의 픽셀을 포함한다. 일반적으로, 이미지 내의 각각의 픽셀은 시야 내의 공간 위치에서의 방사선 값을 나타낸다. 이미지 내의 각각의 픽셀은 임의의 치수로 (그 사이에 측정되지 않은 공간을 두고) 가깝거나(인접하거나) 멀리 떨어져 있을 수 있다.

방사선 값: "방사선 값"은 특정 파장 또는 스펙트럼 대역에서 감지된 방사선의 양을 나타낸다. 이미지 내의 각각의 픽셀은 방사선 값으로 디지털 표현될 수 있다. 예를 들어, 방사선 값은 카메라의 시야 내의 물체로부터 반사된 특정 협대역에서의 방사선의 진폭일 수 있다. 다른 예로서, 방사선 값은 카메라의 시야 내의 물체로부터의 형광 진폭일 수 있다.

기준 조건/기준 조건 라이브러리: "기준 조건"은 표지된 특징부 세트가 기준 조건 라이브러리에 존재하는 공지 조건이다. 작물에 대한 기준 조건의 예는, 특정 유형의 영양 결핍, 곤충 감염, 진균 감염, 또는 물 스트레스를 포함할 수 있다. 작물에 대한 기준 조건의 다른 예는 성장 단계, 전향적 작물 수율, 외관, 영양 조성물, 구조적 무결성, 개화, 및 수분화를 포함할 수 있다. 기준 조건은 작물에 제한되지 않으며, 상이한 환경에서 다른 물체의 알려진 조건을 설명할 수 있다. 기준 조건 라이브러리는 다양한 기준 조건에 대해 둘 이상의 표지된 특징부 세트를 포함한다. 머신 러닝 알고리즘은, 하나 이상의 기준 조건이 존재하는지 여부를 결정하기 위해 기준 조건 라이브러리와 실험 결과를 비교하는 데 사용될 수 있다.

다중 감각 이미징 시스템 및 방법의 개요

도 1은 본 발명의 구현예에 따른 다중 감각 이미징 시스템(5050)의 블록 다이어그램을 나타낸다. 도 1에 나타낸 바와 같이, 다중 감각 이미징 시스템(5050)은 집합 시야(5070)(FOV)를 갖는 센서(5080)의 공간 배열을 포함한다. 본 논의의 목적을 위해, "시야"는, 각각의 감지된 조건/속성에 대한 대표적인 값을 제공하기 위해 하나 이상의 조건 또는 속성이 감지될 수 있는(예를 들어, 하나 이상의 센서에 의해 획득되거나 포착된) 검사 영역 또는 부피를 지칭한다. 따라서, 시야(5070) 내에서, 다수의 측정 가능한 조건이 센서(5080)의 공간 배열의 각각의 센서에 의해 감지될 수 있다.

도 1의 도시에서, 센서(5080)의 공간 배열의 시야(5070)는 하나 이상의 식물(900)을 포함한다. 위에서 언급되고 이하에서 더 논의되는 바와 같이, 식물(900)은 제어된 원예 환경을 제공하는 빌딩 구조물(예, 온실, 밀폐된 재배실 또는 용기, 경지의 적어도 일부분에 대한 커버) 내에 있을 수 있다. 대안적으로, 센서의 공간 배열의 시야(5070)는 개방된 재배 공간 또는 경지(예를 들어, 자연 주변 광에 노출됨)에서 하나 이상의 식물 또는 다른 식생, 또는 다양한 조건이 측정될 수 있는 다른 관심 대상(들)을 포함할 수 있다. 전술한 바를 고려하면, 다중 감각 이미징 시스템(5050)은 CEH의 맥락에서 유용성과 이점을 가질 뿐만 아니라, 보다 일반적으로 본원에 개시된 개념에 따라 하나 이상의 측정 가능한 조건에 기초하여 관심 대상의 매우 다양한 물체/환경의 이미지를 생성하고 처리하기 위해 사용될 수 있음을 이해해야 한다.

상이한 구현 예시와 연관하여 이하에서 더욱 상세히 논의되는 바와 같이, 센서(5080)의 공간 배열은 센서 노드의 1차원(1D), 2차원(2D), 또는 3차원(3D) 어레이를 포함할 수 있다. 일 양태에서, 주어진 센서 노드는 시야(5070)의 이미지의 화상 요소 또는 "픽셀", 예를 들어 센서 노드의 1D, 2D 또는 3D 어레이에서 인덱싱된(또는 "어드레스 가능한") 요소로 간주될 수 있다. 전술한 것을 염두에 두고, 일반적으로 말하면, 센서의 공간적 배열은 따라서 1D, 2D, 또는 3D 공간 배열로 각각의 인덱싱되고/어드레싱 가능한 위치(픽셀)에 위치한 다수의 이산 센서(또는 통합 센서 어셈블리)를 포함할 수 있음을 이해해야 한다. 센서(5080)의 공간 배열을 구성할 수 있는 센서의 2D 공간 배열의 일부 예는 이하에서 더욱 상세히 논의되는 바와 같이, 디지털 카메라의 CCD, CMOS 또는 마이크로볼로미터 센서 어레이("이미징 칩")를 포함한다.

도 1을 다시 참조하면, 센서(5080)의 공간 배열을 구성하는 1D, 2D 또는 3D 어레이의 주어진 센서 노드(또는 픽셀)에서, 하나 이상의 센서가 주어진 센서 노드에서 적어도 두 개의 상이한 측정 가능 조건을 측정하도록 위치할 수 있다. 따라서, 주어진 센서 노드에서 감지되는 각각의 측정 가능한 조건은, 시야(5070)의 이미지에서 픽셀의 픽셀 값으로 표현될 수 있다. 따라서, 적어도 두 개의 상이한 측정 가능 조건이 주어진 센서 노드에서 감지될 수 있기 때문에, 시야(5070)의 이미지의 주어진 픽셀은 적어도 두 개의 상이한 측정 가능 조건을 나타내는 적어도 두 개의 픽셀 값을 각각 가질 수 있다.

도 1에 나타낸 바와 같이, 다중 감지 이미징 시스템(5050)은, (예를 들어, 시야(5070)의 하나 이상의 이미지의 각각의 픽셀에서 하나 이상의 픽셀 값으로 표시되는) 각각의 센서 노드에서 감지된 조건을 처리하기 위해, 센서(5080)의 공간 배열에 결합된 이미지 프로세서(5000)를 또한 포함한다. 예시적인 구현에서, 이미지 프로세서(5000)는 감지된 조건을 처리하고 시야(5070)에서 둘 이상의 상이하게 감지된 조건에 각각 대응하는 다수의 "단일 감각" 이미지(5090)를 생성하도록 구성된다.

보다 구체적으로, 도 1에서 쉽게 관찰되는 바와 같이, 다수의 단일 감각 이미지(5090) 중 각각의 단일 감각 이미지는, x-축 및 y-축을 따라 배열되고 시야(5070)에서 둘 이상의 감지된 조건의 상이한 조건을 나타내는, 픽셀의 2D 어레이로서 도시되어 있다. 따라서, 주어진 단일 감각 이미지 내의 각각의 픽셀은, 특정 조건이 감지된 시야 내의 공간 위치를 나타내는 픽셀 좌표에 의해, 디지털적으로 인덱싱(또는 "어드레싱")된다. 단일 감각 이미지의 각각의 픽셀은, 또한 해당 공간 위치에서 감지된 조건을 나타낸 픽셀 값("측정 값")을 갖는다.

도 1의 예에서, 이미지 프로세서(5000)는, 시야(5070) 내의 각각의 공간 위치에서 관찰된 하나 이상의 관심 환경 조건(5160)을 (예를 들어, 상당한 신뢰 또는 충분한 확률로) 추정하거나 결정하기 위해, 복수의 이미지(5090) 및 기준 조건 라이브러리(5120) 내의 각각의 픽셀 값에 적어도 부분적으로 기초하여, 복수의 단일 감각 이미지(5090)를 처리하도록 구성된다. 추정되거나 결정된 관심 환경 조건(들)(5160)은 주어진 공간 위치(예, 다수의 식물, 단일 식물, 또는 식물의 특정 부분)에서 하나 이상의 물체의 하나 이상의 상태 또는 조건과 관련될 수 있고, 주어진 공간 위치에서 하나 이상의 물체에 존재하는 물질 또는 화합물 및/또는 주어진 공간 위치에서 하나 이상의 주변 조건(예, 시야 내의 하나 이상의 식물 또는 다른 물체에 근접한 주변 조건)의 식별과 관련될 수 있다.

이를 위해, 일 구현에서, 이미지 프로세서(5000)는 복수의 단일 감각 이미지(5090)를 처리하여 다중 감각 이미지를 생성하되, 다중 감각 이미지의 각각의 픽셀은, 주어진 공간 위치에서 감지된 둘 이상의 측정 가능한 조건을 각각 나타내는 다수의 픽셀 값(측정 값)을 가질 수 있다. 예를 들어, 센서 노드의 2D 어레이 및 시야(5070)의 이미지에서 픽셀의 해당 2D 어레이를 잠시 고려하면, 아래의 표기는 제1 픽셀 P₁(x₁, y₁)을 나타내며, 여기서 시야에서 감지될 수 있는 제1 측정 가능 조건 C₁은 제1 픽셀 P₁에서 제1 측정 값 M₁을 갖고_, 시야에서 감지될 수 있는 제2 측정 가능 조건 C₂는 제1 픽셀 P₁에서 측정 값 M₂를 갖는다:

P1 (x1, y1) = [M1, M2].

전술한 내용을 염두에 두고, 기준 조건 라이브러리(5120)는 시야(5070)에서 전향적 관심의 다양한 기준 조건에 각각 대응하는 다수의 표지된 특징부 세트(5140)(표지된 특징부 세트의 "컬렉션")을 포함할 수 있고(이 중 일부 기준 조건은 주변 환경의 상태와 관련될 수 있는 물체 또는 물체 및 다른 기준 조건과 관련될 수 있음), 이는 적어도 부분적으로 시야 내의 각각의 공간 위치에서 두 개 이상의 측정 가능한 조건에 대해 의존한다. 예를 들어, 기준 조건 라이브러리(5120)은, 제1 기준 조건을 나타내고 제1 표지 L₁을 갖는 제1 특징부 세트 FS₁을 포함하는, 제1 표지된 특징부 세트(5140A)를 포함할 수 있다. 유사하게, 기준 조건 라이브러리(5120)은, 제2 기준 조건을 나타내고 제2 표지 L₂를 갖는 제2 특징부 세트 FS₂를 포함하는, 제2 표지된 특징부 세트(5140B)를 포함할 수 있고, 제3 기준 조건을 나타내고 제3 표지 L₃을 갖는 제3 특징부 세트 FS₃을 포함하는, 제3 표지된 특징부 세트(5140C), 등을 추가로 포함할 수 있다(도 1에서, 기준 조건 라이브러리(5120)은 M으로 표지된 특징부 세트의 컬렉션(5140)을 포함하는 것으로 나타나 있고, 여기서 M은 사실상 임의의 수의 전향적으로 유용한 관심 기준 조건임).

표지된 특징부 세트의 컬렉션(5140)에서의 각각의 특징부 세트 FS₁, FS₂, FS₃...FS_M은 "특징부"의 세트를 나타내고, 여기서 세트 내의 적어도 일부 각각의 특징부는 센서(5080)의 공간 배열에 의해 감지될 수 있는 각각의 측정 가능한 조건에 대응한다. 각각의 이러한 특징부에 대해, 특징부 세트는 각각의 측정 가능한 조건 중 하나의 측정 가능한 조건에 대응하는 기준 값을 포함한다. 따라서, 전술한 바와 같이, 제1 측정 가능 조건 C1은 시야(5070) 내의 주어진 공간 위치에서 감지될 수 있고, 제2 측정 가능 조건 C2는 또한 시야(5070) 내의 주어진 공간 위치에서 감지될 수 있고, 표지된 특징부 세트의 컬렉션(5140)에서의 각각의 특징부 세트 FS₁, FS₂, FS₃...FS_M은, 특징부 세트로서 특징부 세트에 대한 표지로서 역할하는 기준 조건을 나타낸 C1 및 C2 특징부에 대한 기준 값의 특정(및 고유) 조합을 포함한다. 표 1은, 적어도 부분적으로 측정 가능한 조건 C1 및 C2에 기초하여 표지된 특징부 세트의 컬렉션(5140)의 일부 예시, 및 전향적 관심 기준 조건에 대응하는 예시적인 표지를 제공한다:

일 구현에서, 이미지 프로세서(5000)는, 기준 조건 라이브러리(5120)에서 표지된 특징부 세트의 컬렉션(5140)에 기초하여, 시야 범위(5070)의 각각의 공간 위치에서 관찰된 하나 이상의 관심 환경 조건(5160)을 추정하거나 결정하기 위해 다중 감각 이미지를 처리하도록 다양한 이미지 처리 및 머신 러닝(ML) 기술을 사용한다. 일부 구현에서, 다양한 모델이 이미지 프로세서(5000)에 의해 훈련되고 이용되어, 다중 감각 이미지를 처리하고, 특정 수준의 신뢰도로 기준 조건 라이브러리(5120)에서 표지된 특징부 세트의 컬렉션(5140)으로 표시된 하나 이상의 대응하는 기준 조건을 매칭하는, 하나 이상의 조건에서 이들 이미지를 "검색"한다.

당업자에 의해 이해되는 바와 같이, 머신 러닝(ML)은, 시스템(예, 이미지 프로세서(5000)와 같은 지능형 제제)이 데이터로부터 학습하고, 패턴을 식별하고, 최소한의 인간 개입으로 결정을 내릴 수 있는 아이디어에 기초한 인공 지능의 갈래이다. 따라서, ML은, 지능형 제제(예, 이미지 프로세서(5000))가 특정 작업에서 이들의 성능을 점진적으로 개선하기 위해 사용하는 알고리즘 및 통계 모델에 관한 것이다. 좀 더 공식적인 용어로, ML 모델을 기초로 한 지능형 제제는, T의 작업에서의 성능이 P로 측정된 바와 같이 경험 E로 개선되는경우, 일부 작업 T 및 성능 측정 P의 클래스와 관해 경험 E로부터 학습한다. 딥 러닝은 인공 신경망(ANN)이라 불리는 알고리즘의 계층 구조를 사용하는 AI의 하위 집합이다.

머신 러닝 작업은 통상적으로 다수의 카테고리로 분류된다. "감독 학습"에서, ML 알고리즘은, 특정 작업을 수행함에 있어서 입력 및 원하는 출력 둘 다를 포함하는, 일련의 "훈련 데이터"의 수학적 모델을 구축한다. 예를 들어, 상기 작업이 관심 기준 조건에 대응하는 조건을 갖는 특정 물체를 이미지가 포함하는지 여부를 결정하는 경우, 감독 학습 알고리즘에 대한 훈련 데이터는, 제1 이미지 또는 특정 관심 조건을 갖는 물체의 이미지, 및 제2 이미지 또는 관심 조건(입력)을 갖지 않는 물체의 이미지를 포함할 수 있고, 각각의 이미지는 물체가 관심 조건을 가졌는지 여부를 지정하는 표지(출력)를 가질 것이다. "반 감독 학습" 알고리즘은, 샘플 입력의 일부가 원하는 출력을 누락하는 불완전한 훈련 데이터로부터 수학적 모델을 개발한다. "분류" 알고리즘 및 "회귀" 알고리즘은 감독 학습의 유형이다. 분류 알고리즘은, 제한된 값 세트(예를 들어, 부울 값 1과 0으로 표시됨)로 출력이 제한될 경우에 사용되는 반면, 회귀 알고리즘은 연속적인 출력(예, 값의 범위 내의 임의의 값)을 갖는다.

"미감독 학습"에서 ML 알고리즘은, 입력만 포함하고 원하는 출력은 없는 데이터 집합의 수학적 모델을 구축한다. 미감독 학습 알고리즘은 데이터 포인트의 그룹화 또는 클러스터링과 같이, 데이터의 구조를 찾는 데 사용된다. "특징부 학습"에서와 같이, 미감독 학습은 데이터의 패턴을 발견할 수 있고, 입력을 카테고리로 그룹화할 수 있다. "차원 감소"는 데이터 세트에서 "특징부"(예, 입력)의 수를 감소시키는 과정이다. "활성 학습" 알고리즘은, 예산에 기초하여 제한된 입력 세트에 대해 원하는 출력(훈련 표지)에 액세스하고, 훈련 표지를 획득할 입력의 선택을 최적화한다. 대화형으로 사용될 경우, 이러한 입력은 표지("주석")를 위해 인간 사용자에게 제시될 수 있다.

관련 분야에 공지된 다양한 ML 모델의 예는 선형 회귀, 로지스틱 회귀, 결정 트리, 지원 벡터 머신, 나이브 베이즈, kNN, K-평균, 랜덤 포레스트, 합성곱 신경망, 다층 퍼셉트론, 및 순환 신경망을 포함하나 이에 제한되지 않는다.

따라서, 전술한 것으로부터, 다중 감각 이미징 시스템이 다양한 응용, 특히 CEH를 위해 구현될 수 있음을 이해할 수 있다. 아래의 다른 예에서 설명된 바와 같이, 본원에 개시된 개념에 따른 다중 감각 이미징 시스템은, 시야(5070)의 다양한 크기(및 형상) 및 센서의 공간 배열에 대한 상이한 해상도를 포함하도록 구현될 수 있고 - 이들에 관해, 본원에 개시된 다중 감각 이미징 시스템의 기초가 되는 일반적인 개념은 이미지의 시야 및 해상도의 크기/규모에 얽매이지 않으며, 이에 따라 다양한 해상도로 시야의 상이한 크기/규모를 포함하도록 구현될 수 있다. CEH에 관해, 본 개시에 따른 다중 감각 이미징 시스템은 다양한 기간에 걸쳐 작물 그룹, 개별 식물, 또는 식물의 일부를 관찰하는 데 사용되어, 작물의 성장 및 그 재배 환경에 대한 풍부한 정보를 제공할 수 있다.

예시적인 다중 스펙트럼 이미징 시스템

예시적인 일 구현에서, 본 개시에 따른 다중 감각 이미징 시스템은, 보다 구체적으로 유한한 스펙트럼 감지를 제공하는 다중 스펙트럼 이미징 시스템으로서 구현된다. 이러한 방식으로, 이미징 시스템은 기준 조건의 존재를 감지하고/감지하거나 이를 정량화할 수 있다. 이들 기준 조건은 환경 내에서 시간 의존성 및/또는 공간 분포를 가질 수 있다. 또 다른 구현예에서, 이미징 시스템은 CEH 시스템과 통합될 수 있다. 이러한 방식으로, 다중 감각 이미징 시스템은 CEH 시스템에 제공된 특정 기준 조건의 존재를 감지하고/감지하거나 이를 정량화할 수 있다.

이미징 시스템은 환경 내에서 물체의 기준 조건을 특성화하는 데 사용될 수 있다. 이들 기준 조건은, 예를 들어 시간의 함수로서 환경 내 식물의 재배 및/또는 건강과 관련될 수 있다. 이는, 부분적으로, 상이한 파장의 방사선으로 식물 및/또는 다른 관심 대상물을 조사하고 상이한 파장에서의 조사에 반하여 시간에 따라 식물 및/또는 다른 관심 대상물의 스펙트럼 광학 특성을 측정기 위해, 이미징 시스템을 그 자체로서 또는 하나 이상의 광원 및/또는 조명기와 함께 사용함으로써 달성될 수 있다. 전술한 프로세스는 "동역학 유한 흡광도 및 반사율 분광법"으로 지칭될 수 있고, 여기서 시간의 함수로서, 특정 파장에서의 조사에 반응하여 식물 및/또는 다른 관심 대상물에 대해 상이한 유한 협대역 스펙트럼 이미지 및/또는 다른 정보가 수집되고, 그 다음 획득된 이미지/수집된 정보가 분석되어 식물 및/또는 다른 관심 대상물에서의 기준 조건을 결정한다.

도 2는 다양한 관심 파장에서 이미지(5090A) 및/또는 감각 데이터를 획득할 수 있는 다중 스펙트럼 이미징 시스템(5050A)의 예시적인 구현을 나타낸다. 시스템은, 일반적으로 적어도 하나의 플래시 제어기(5020), 협대역 방사선(5040)을 방출하는 적어도 하나의 협대역 조사기(1140), 이미지(5090A)를 획득하고/획득하거나 측정 값을 수집하는 적어도 하나의 이미저/센서(1005), 기준 조건 라이브러리(5120A)를 사용하여 관찰 가능한 조건(5160A)의 존재를 결정하도록 수집된 측정 및/또는 획득된 이미지(5090A)를 처리하는 적어도 하나의 이미지 프로세서(5000A)를 포함할 수 있다. 협대역 조사기(1140) 및 이미저(들)/센서(들)(1005)는 이미징 엔진 모듈(1100)에 통합될 수 있다.

플래시 제어기(5020)(예, 마이크로프로세서)는 협대역 조사기(1140)를 조절할 수 있다. 플래시 제어기(5020)는 이미징 시스템(5050A) 내의 각각의 협대역 조사기가 개별적으로 제어될 수 있도록 구성될 수 있다. 플래시 제어기(5020)는 또한 각각의 협대역 조사기가 짧은 기간 동안 활성화될 수 있도록 구성될 수 있다. 이러한 방식으로, 플래시 제어기(5020)는 복수의 협대역 조사기(1140)에서 각각의 협대역 조사기를 순차적으로 플래시하거나 펄스화하는 수단을 제공할 수 있다.

플래시 제어기(5020)는 설정된 시간 간격으로, 또는 하루의 특정 시간대에, 설정된 시간 동안 하나 이상의 협대역 조사기(1140)를 자동으로 활성화하도록 프로그래밍될 수 있다. 플래시 제어기(5020)는 또한, 협대역 조사기 제어를 결정하기 위해 원격 장치(예, 컴퓨터, 서버, 태블릿, 또는 스마트폰)로부터 통신을 수신하도록 구성될 수 있다.

플래시 제어기(5020) 또는 이미지 프로세서(5000A)(예, 랍스베리 파이 프로세서)는, 협대역 조사기(1140) 및 다른 장치와의 무선 통신을 용이하게 하기 위해, 하나 이상의 WiFi 안테나 및 수반되는 전기 회로(예, 칩셋, 프로세서)를 포함할 수 있다. 일부 구현에서, 플래시 제어기(5020) 또는 이미지 프로세서(5000A)는 하나 이상의 조명 기구, 환경 조건 제어기, 또는 원격 장치(예, 컴퓨터, 서버, 태블릿, 스마트폰, 또는 조명 기구 제어기)와 통신하기 위한 송신기 및/또는 수신기를 포함할 수 있다. 이러한 방식으로, 플래시 제어기(5020) 또는 이미지 프로세서(5000A)는 조명 기구 또는 다른 환경 조건 제어기를 제어하고/제어하거나 조정할 수 있어서, 이미징 시스템(5050A)이 특정 환경 설정에서 이미지를 획득하고/획득하거나 정보를 수집할 수 있다. 예를 들어, 플래시 제어기(5020) 또는 이미지 프로세서(5000A)는, 조명 기구가 일시적으로 꺼진 암흑 조건에서 측정/이미지가 이미징 시스템(5050A)에 의해 획득되는 동안, 협대역 조사기(1140)를 활성화시키도록 구성될 수 있다. 다른 예로서, 플래시 제어기(5020) 또는 이미지 프로세서(5000A)는, 이미지 획득 동안에 HVAC 또는 팬 작동을 정지시켜 물체가 가능한 한 정지하도록 구성될 수 있다.

다른 예에서, 플래시 제어기(5020) 또는 이미지 프로세서(5000A)는, 협대역 조사기(1140)의 작동을 조절하는 명령을 포함할 수 있는 신호를 원격 장치로부터 수신하는 수신기를 포함할 수 있다. 명령은, 획득된 이미지 및/또는 감지된 정보 사이의 시간 간격, 조사 시간 길이, 조사 세기, 하나 초과의 협대역 조사기가 점멸될 경우에 조사 순서의 조절하는 것 및/또는 특정 측정/획득을 위해 어느 조사기가 활성화되는지 결정하는 것을 포함할 수 있지만, 이에 제한되지 않는다.

플래시 제어기(5020)는 조사기에 전력을 공급할 수 있다. 플래시 제어기(5020)는 전력 그리드로부터 직접적으로 또는 다른 장치로부터 간접적으로 전력을 수신할 수 있다. 예를 들어, 플래시 제어기(5020)는 하나 이상의 조명 기구로부터, 또는 충전식 배터리와 같은 휴대용 에너지 저장 장치를 통해 전력을 수신할 수 있다.

플래시 제어기(5020)는 또한 하나 이상의 이미저/센서(1005)를 조절하여, 이미저/센서가 이미지를 획득하고/획득하거나 조사와 관련된 시간에 측정을 수집할 수 있도록 한다. 예로서, 플래시 제어기(5020)는, 협대역 조사기가 활성화되는 동안 이미지가 획득되도록, 협대역 조사기와 이미저를 동시에 활성화시킬 수 있다. 다른 예에서, 플래시 제어기(5020)는 상이한 시간에 협대역 조사기와 이미저를 활성화시킬 수 있다. 이미저는, 협대역 조사기가 활성화된 후에 이미지를 획득할 수 있다. 다른 구현예에서, 이미저/센서(1005)는 다른 제어기에 의해 제어될 수 있다. 이 경우, 다른 제어기는 플래시 제어기(5020)에 결합되어 조사기(1140)와 이미저/센서(1005)의 활성화 시간을 조정할 수 있다.

플래시 제어기(5020)에 의해 제어되는 협대역 조사기(1140)는, UV, 가시광선, NIR, SWIR 및 LWIR 영역을 포함하는 스펙트럼 범위 내의 파장에서 방사선을 제공한다. 각각의 협대역 조사기는 비교적 협대역 방사선을 제공할 수 있다. 예를 들어, 스펙트럼 대역폭은 약 2 nm 내지 약 40 nm일 수 있다. 다른 구현예에서, 각각의 협대역 조사기는 실질적으로 단색의 방사선을 제공할 수 있다. 협대역 조사기(1140)는, 각각의 협대역 조사기가 짧은 방사선 플래시 또는 펄스를 제공할 수 있도록, 플래시 제어기(5020)로부터의 신호에 신속하게 켜지거나 그리고/또는 신속하게 반응하도록 구성될 수 있다. 각각의 짧은 플래시는 길이가 최대 10초일 수 있다.

일부 구현에서, 협대역 조사기(1140)는 LED 요소의 어레이일 수 있다. LED 어레이의 스펙트럼 범위는 대략 275 nm 내지 대략 2060 nm를 포함할 수 있다. 이러한 방식으로, 본질적으로 단색인 LED 요소의 각각의 파장은 275 nm, 365 nm, 440 nm, 450 nm, 475 nm, 500 nm, 530 nm, 620 nm, 630 nm, 660 nm, 696 nm, 730 nm, 760 nm, 850 nm, 860 nm, 940 nm, 950 nm, 1450 nm, 1610 nm, 및 2060 nm를 포함할 수 있으나, 이에 제한되지 않는다. 특정 파장의 하나 초과의 LED 요소가, 이미저/센서(1005) 주위에 위치하여 보다 균일한 조사를 제공할 수 있다. 예를 들어, 특정 파장의 LED 요소는 이미저/센서(1005)의 대향 측면 상에 위치할 수 있다.

상이한 협대역 조사기에 대한 조사 프로파일은 실질적으로 균일할 수 있다. 일부 구현에서, 확산기 또는 렌즈와 같은 광학 요소가 조사 프로파일을 변화시키기 위해 사용될 수 있다. 일부 구현에서, 각각의 협대역 조사기는 방사선을 실질적으로 동일한 영역에 제공할 수 있다. 이러한 방식으로, 협대역 조사기(1140) 조사 영역은 이미저/센서(1005)의 전체 시야의 적어도 일부와 중첩할 수 있다.

협대역 조사기(1140)는, 이미지에 방사선을 제공하고/제공하거나 하나 이상의 식물(900) 또는 식물 구역으로부터 정보를 획득할 수 있다. 일부 구현에서, 협대역 조사기(1140)는 충분한 세기의 방사선을 방출하여, 식물(들)에 대한 화학적 및/또는 형태학적 변화(예, 광 형태 형성)를 야기하지 않고서 원하는 품질(예, 이미지/정보의 신호 대 노이즈 비가 미리 정의된 임계치를 초과함)로 이미지/정보를 획득하는 것이 바람직할 수 있다. 이러한 방식으로, 이미저(들)/센서(들)(1005)에 의해 획득된 다양한 이미지/정보는 비-조명 상태에서 식물(들)을 나타낸다. 예를 들어, LED 조사기(1140)는 약 6 와트 미만의 와트 정격을 가질 수 있다(와트 정격은 LED 조사기로부터의 방사선 출력과 상관될 수 있음).

일부 구현에서, 협대역 조사기(1140)는, 원하는 품질로 이미지/정보를 획득하기에 충분한 길이를 갖는, 플래시 또는 짧은 펄스로서 활성화될 수 있다. 이는, 다수의 이미지를 획득하는 데 걸리는 시간을 감소시키는 것이 바람직한 경우에 바람직할 수 있다(예를 들어, 이미지가 동일한 조건에서 획득되도록 보장함). 짧은 플래시는 또한 식물의 광학적 특성을 변경시킬 수 있는 식물에 대한 원치 않는 광 화학 변형을 방지할 수 있다.

이미징 시스템(5050A)은, 일반적으로 물체 및/또는 환경의 이미지, 비디오 및/또는 스펙트럼을 각각 획득하기 위해, 하나 이상의 이미저 및/또는 하나 이상의 센서(1005)를 포함할 수 있다. 일부 구현에서, 이미저/센서(1005)는, 이미저/센서의 시야(5070A) 내의 물체 및/또는 환경으로부터 이미지 및/또는 감각 데이터를 획득할 수 있다. 일반적으로, 이미저/센서는 환경의 2D 이미지 및/또는 3D 이미지(예, 라이다, 팬-틸트-줌 (PTZ) 카메라)를 획득할 수 있다. 카메라/센서는 또한, 하나 이상의 식물을 포함한 환경의 일부와 환경의 전체 공간 사이의 범위인 시야를 가질 수 있다. 환경은 다수의 공간을 포함할 수 있다.

이미저/센서는, 협대역 조사기(1100)에 의해 CEH 시스템 내의 식물 구역(900)의 조사에 반응하여, 이미지 및/또는 감각 데이터를 획득할 수 있다. 일부 구현에서, 이미저/센서(1005)는, 하나 이상의 협대역 조사기가 활성화되는 동안에 이미지 및/또는 감각 데이터를 획득할 수 있다. 일부 구현에서, 이미저/센서(1005)는 이미지를 획득하고/획득하거나 하나 이상의 협대역 조사기(1140)에 의한 조사 직후에 정보를 수집할 수 있다. 일부 구현에서, 이미저/센서(1005)는, 협대역 조사기(1140)에 의한 물체 및/또는 환경의 조사 없이, 시야(5070A) 내의 물체 및/또는 환경으로부터 이미지 및/또는 감각 데이터를 획득할 수 있다.

이미저(들)/센서(들)(1005)는 일반적으로 가시광선, NIR, SWIR, 및 LWIR 영역의 파장에서 이미지/스펙트럼을 획득할 수 있다. 예를 들어, 이미저/센서(1005)는 카메라를 포함할 수 있고, 이는 자외선 대역(예, 10 nm 내지 400 nm의 파장), 가시광 대역(예, 400 nm 내지 700 nm의 파장), 근적외선(NIR) 대역(예, 700 nm 내지 1.4 μm의 파장), 중적외선(MIR) 대역(예, 1.4 μm 내지 8 μm의 파장), 및 원적외선(FIR) 대역(예, 8 μm 초과의 파장)을 포함하나 이에 제한되지 않는 다양한 스펙트럼 대역에서 이미지를 획득한다. 이미저/센서는 바람직하게는 대략 275 nm 내지 대략 2060 nm 및 대략 8 μm 내지 대략 14 μm의 파장에서 이미지/스펙트럼을 획득할 수 있다. 일부 구현에서, 이미징 시스템(5050A)은 UV로부터 단파장 적외선(SWIR) 영역까지의 이미지를 획득하기 위한 제1 카메라 및 장파장 적외선(LWIR) 영역을 사용하여 열화상 이미지를 획득하기 위한 제2 카메라를 포함할 수 있다. 일부 구현에서, 제2 카메라는, 제1 카메라가 협대역 조사기(1140)와 조합하여 주기적으로 활성화되는 동안에 LWIR 열화상 이미지를 연속적으로 획득하여, UV-SWIR 이미지를 획득할 수 있다.

이미징 시스템은 다양한 조명 조건 하에서 이미지/스펙트럼을 획득할 수 있다. 전술한 바와 같이, 환경 내의 다른 방사선 공급원이 비활성화되는 동안에도 이미지를 또한 획득할 수 있다. 예를 들어, 조명 기구 내의 광원은, 이미징 시스템으로 이미지/스펙트럼을 획득하는 동안에 꺼질 수 있다. 일부 구현에서, 다른 방사선 공급원이 활성인 동안에 이미지를 획득할 수 있다. 일부 구현에서, 배경 빼기가 적용되어 다른 방사선 공급원에 의해 방출된 방사선을 제거할 수 있다. 예를 들어, 이미지/스펙트럼은 이미징 시스템의 LED 어레이에서 LED 요소로부터의 방사선을 갖고 그리고 갖지 않고 획득될 수 있다. 방사선이 식물의 광학 특성에 실질적인 변화를 일으키지 않는 경우(예를 들어, 식물의 광 화학성을 변경하지 않는 경우), LED 요소로부터의 방사선에 의해 반사된 광의 부분은 두 개의 이미지/스펙트럼 간의 차이를 취함으로써 추출될 수 있다. 다른 예에서, LED 광원(400)은 사용된 LED 요소의 수 및 유형에 부분적으로 기초하여 공지된 방사선 스펙트럼을 가질 수 있다. 스펙트럼은 식물 연구의 다양한 표준 및/또는 지침에 따라 보정될 수 있다(예, 국제통제환경위원회 지침). 식물 및 이미징 시스템에 대한 LED 광원(400)의 위치 및 배향이 알려져 있는 경우, LED 어레이의 LED 요소 및 LED 광원(400)이 모두 활성화될 경우에 획득된 이미지/스펙트럼로부터 LED 광원(400)의 방사선을 직접 뺄 수 있다.

일부 구현에서, 하나 이상의 이미저는 충분히 높은 픽셀 해상도를 갖는 카메라일 수 있다(예, 8 메가픽셀 카메라, 이미지는 4K 해상도로 획득됨). 이미저(들)/센서(들)는 또한 약 2 nm 내지 약 40 nm의 스펙트럼 해상도를 가질 수 있다. 다른 구현예에서, 상이한 스펙트럼 해상도를 갖는 이미저/센서가 사용될 수 있다.

이미저(들)/센서(들)(1005)는, 재배 구역(900)을 조사하는 광의 파장을 조절함으로써, 상이한 파장에서 시야(5070A) 내의 물체 및/또는 환경으로부터 스펙트럼 정보를 획득할 수 있다. 예를 들어, 협대역 조사기(1140)는 실질적으로 단색인 방사선(5040)으로 식물(900)을 비출 수 있고, 이미저/센서(1005)는 식물(900)로부터 반사된 반사 광(5060)에 대응하는 이미지 및/또는 스펙트럼을 획득할 수 있으므로, 따라서 획득된 이미지/스펙트럼(5090A)는 방사선의 특정 파장에 대응할 수 있다. 이러한 프로세스는 여러 개의 협대역 조사기(1140)를 이용한 방사선으로 순차적으로 반복될 수 있다. 이러한 방식으로, 이미징 시스템(5050A)은 일련의 협대역 이미지를 획득할 수 있으며, 각각의 협대역 이미지는 특정 협대역 조사(5040)에 대응한다. 여기서, 이미저/센서(1005)는 스펙트럼 필터를 사용하지 않고 다중 감각 이미지를 획득할 수 있다.

이미징 시스템(5050A)에 의해 수집된 이미지 및/또는 감각 데이터는 적어도 하나의 픽셀을 포함할 수 있으며, 여기서 픽셀은 개별적으로 처리될 수 있는 가장 작은 요소이다. 협대역 이미지는 복수의 픽셀을 포함할 수 있으며, 여기서 협대역 이미지의 각 픽셀은 시야(5070) 내의 공간 위치에서의 방사선 값을 나타낸다. 포인트 센서로부터 수집된 데이터는 단일 픽셀을 나타낼 수 있다.

이미징 시스템(5050A)은 하나 이상의 이미지 프로세서(5000A)를 포함할 수 있다. 이미지 프로세서(5000A)는 이미저/센서(1005)에 결합되어, 이미저/센서(1005)에 의해 획득된 이미지 및 감각 데이터(5090A)를 수신할 수 있다. 일부 구현에서, 이미지 프로세서(5000A)는 다중 스펙트럼 이미지를 생성하기 위해 여러 개의 협대역 이미지(5090A)를 처리할 수 있다. 일부 구현에서, 이미지 프로세서(5000A)는 시야(5070A) 내의 각각의 공간 위치에서 하나 이상의 조건(5160A)을 관찰하기 위해 이미지 및/또는 감각 데이터를 처리할 수 있다. 기준 조건 라이브러리(5120A) 및/또는 알고리즘을 사용해 이미지 및/또는 감각 데이터의 조건(5160A)을 관찰할 수 있다. 이미지 프로세싱은 획득된 이미지 및/또는 감각 데이터로부터 형태학적 데이터를 추출하고 광범위한 응용을 위해 이를 통합할 수 있다. 이들 개념은 이하에서 더욱 상세히 설명된다.

일부 구현에서, 카메라(들)/센서(들)(1005)는, 협대역 조사기(1140)에 의해 조사된 CEH 시스템 내의 환경 내 식물의 일부 및/또는 다른 관심 대상물에 근접한 감각 데이터를 획득하도록 구성될 수 있다. 다수의 이미저/센서(1005)를 사용하는 일부 예시적인 구현에서, 다수의 이미저/센서(1005)는 카메라 및/또는 센서의 각각의 시야(FOV)가 실질적으로 중첩되거나 실질적으로 동일하도록 (예를 들어, 서로 충분히 근접하게) 공동 위치할 수 있다. 이러한 방식으로, 상이한 유형의 감각 데이터는 환경의 동일한 영역에 대응할 수 있으므로, 환경에 대해 보다 포괄적인 분석을 가능하게 한다. 일부 구현에서, 협대역 조사기(1140)에 의해 조사된 식물 및/또는 다른 관심 대상물의 일부는, 이미징 엔진(1100) 상에 배치된/통합된 카메라/센서(1005)의 대응하는 세트를 각각 특징으로 하는 하위 영역으로 더 세분화될 수 있다.

이미징 시스템(5050A)은 원격으로 또는 자동으로 작동되도록 설계될 수 있다. 동일한 파장의 협대역 조사기 요소(1142)는, 소정의 사전 프로그래밍된 시간 간격으로 동시에 자동으로 켜질 수 있다. 대안적으로, 동일한 파장의 협대역 조사기 요소(1142)는 원격으로 활성화될 수 있다. 플래시 제어기(5020)는, 단독으로 또는 원격 장치와 통신하여, 자동으로 및/또는 원격으로 협대역 조사기 활성화를 제어할 수 있다. 이미지는, 협대역 조사기가 활성화될 때마다 이미저(들)/센서(들)(1005)를 사용하여 자동으로 획득될 수 있다(및/또는 정보가 수집될 수 있음). CEH에서의 보충 조명은, 이미지가 획득될 때 자동으로 꺼질 수 있다. 이미징 시스템은, 각각의 측정 간격에서 각각의 이용 가능한 협대역 또는 협대역의 조합에서 이미지를 획득할 수 있다. 대안적으로, 이미징 시스템은 각각의 측정 간격에서 이용 가능한 협대역 또는 협대역의 조합 중 일부에서만 이미지의 하위 집합을 획득할 수 있다.

일부 구현에서, LED 요소(1142)는 각각 비교적 짧은 기간 동안 (즉, 신속하게 켜고 끌 수 있는) 연속적(및 선택적으로 일부 패턴 또는 순서에 따라)으로 활성화될 수 있으므로, 카메라(들)/센서(들)(1005)를 사용하여 반사된 방사선에 관한 다양한 정보를 획득할 때 식물을 광의 짧은 "플래시"에 노출시킨다. 예를 들어, LED 요소(1142)는 약 1초 미만의 지속 시간 동안 방사선을 방출할 수 있다. 이러한 방식으로 LED 요소(1142)를 활성화하는 것은, (1) 획득된 다수의 이미지/정보가 동일한 환경 조건을 대표하도록 상이한 파장에서 이미지/정보를 획득하는 것 사이의 시간 지연을 감소시키고 (2) 식물 및/또는 다른 이미징 대상물이 방사선에 노출되는 기간을 감소시키는 다수의 장점을 포함할 수 있지만 이에 제한되지 않는다. 일부 구현에서, 카메라(들)/센서(들)(1005)는, LED 요소(1142)가 활성화될 때 카메라(들)/센서(들)(1005)가 이미지/정보를 획득하기 위해 트리거되도록, LED 요소(1142)와 동기화될 수 있다. 이러한 방식으로, 상이한 LED 요소(1142)로부터의 방사선으로 식물을 순차적으로 플래시 작동시키고, 카메라(들)/센서(들)(1005)를 사용하여 각각의 플래시 동안 이미지/정보를 캡처함으로써, 일련의 이미지/정보가 수집될 수 있다. 또 다른 구현에서, 상이한 스펙트럼 출력을 갖는 다수의 LED가 함께 활성화될 수 있는 반면에, 하나 이상의 이미지 및/또는 다른 정보는 조사된 식물 및/또는 다른 대상물에 의해 흡수되고/흡수되거나 반사되는 방사선과 관련하여 획득된다.

도 3은 본 발명의 구현예에 따라 다중 스펙트럼 이미징 엔진(1100)의 블록 다이어그램을 나타낸다. 협대역 조사기(1140) 및 이미저(들)/센서(들)(1005)는 이미징 엔진 모듈(1100)에 통합될 수 있다. 일부 구현에서, 이미징 엔진(1100)의 구성 요소 중 하나 이상은 조립 및/또는 설치가 용이하도록 모듈로서 함께 패키징된다. 모듈은 또한 다양한 구성 요소를 환경 내 물 및/또는 수분에 대한 노출로부터 보호할 수 있다.

이미징 엔진(1100)은 하나 이상의 카메라, 다른 이미징 장치(예, 열화상 이미저) 또는 이미징 엔진(1100) 내에 또는 그 위에 배치된(통합된) 다른 센서(통칭하여 참조 번호(1005)로 지칭됨)를 포함할 수 있다. 이미저(들)/센서(들)(1005)는, CEH 내의 환경에서 식물 및/또는 다른 관심 대상의 이미지(비디오 이미지 또는 정지 이미지뿐만 아니라 열화상 이미지)를 포함하지만 이에 제한되지 않는, 농업 환경에 관한 다양한 정보를 획득하는 데 사용될 수 있다. 이미저(들)/센서(들)(1005)에 포함될 수 있는 다양한 유형의 센서의 예는, 적어도 가시광 파장 및/또는 IR 파장의 범위에서 방사선에 반응하는 하나 이상의 카메라, 공기 온도 센서, 근적외선(NIR) 잎 수분 센서, 상대 습도 센서, 초분광스펙트럼 카메라, 이산화탄소, 적외선(IR) 잎 온도 센서, 기류 센서, 및 뿌리 구역 온도 센서를 포함하지만 이에 제한되지 않는다.

일부 구현에서, 도 3의 이미징 엔진(1100)은 UV-SWIR 이미지를 획득하기 위한 카메라(들)(1005A), LWIR 열화상 이미지를 획득하기 위한 카메라(1005B), 적외선(IR) 센서(1005C), 및 근접 센서(TOF)(1005D)를 포함할 수 있다. 이미징 엔진(1100)은 양자 센서(4220E)를 추가로 포함할 수 있다. 근접 센서는 레이저 범위 탐색기일 수 있다. 근접 센서(TOF)는 이미징 엔진으로부터 구역/FOV 내의 식물까지의 거리를 측정하는 데 사용된다. 양자 센서는, 캐노피 레벨에서, 캐노피 위를 포함하나 이에 제한되지 않는 CEH 내의 다양한 지점에서 PAR을 측정하는 데 사용되고, PAR 광은 조명 기구에서 반사한다. IR 센서는 지점에서 표면 온도를 측정하는 데 사용된다. 도 3은 이미징 엔진(1100) 상의 5개의 이미저/센서를 나타내지만, 상이한 수의 카메라/센서(1005)가 본원에 설명된 본 발명의 개념에 따라 이미징 엔진(1100)에 포함될 수 있고, 하나 이상의 카메라/센서가 CEH 내의 다양한 위치에서 다중 스펙트럼 이미징 시스템(5050A) 상에 배치되거나 이와 달리 통합될 수 있음을 이해해야 한다.

카메라/센서(1005A)의 일례는 랍스베리 파이 카메라 모듈 v2를 포함하지만, 이에 제한되지 않는다. v2 카메라 모듈은 소니 IMX219 8 메가픽셀 센서를 갖고 고해상도 비디오 및/또는 정지 사진을 획득하는 데 사용할 수 있다. 센서는, 정지 사진 캡처 외에 1080p30, 720p60 및 VGA90 비디오 모드를 지원한다. 센서는 15 cm 리본 케이블을 통해 랍스베리 파이의 카메라 시리얼 인터페이스(CSI) 포트에 부착한다. 카메라는 랍스베리 파이 1, 2 및 3을 포함하나 이에 제한되지 않는 다양한 랍스베리 파이 모델과 함께 작동한다. 카메라(1005A)는 멀티미디어 추상 계층(MMAL) 및 리눅스용 비디오(V4L) API를 사용하여 액세스되고 제어될 수 있다. 또한, 다양한 소프트웨어 환경(예, 파이카메라 파이썬 라이브러리를 사용하는 파이썬)에서 카메라(1005A)를 제어하기 위해 다수의 제3자 소프트웨어 라이브러리가 사용될 수 있다.

카메라/센서(1005A)의 다른 예는 적외선 카메라 모듈 v2(파이 NoIR)를 포함하지만, 이에 제한되지 않는다. v2 파이 NoIR는 소니 IMX219 8 메가픽셀 센서를 가지며, 이는 랍스베리 파이 카메라 모듈 v2 에 사용된 카메라와 동일하다. 차이는, 파이 NoIR이 적외선 필터를 포함하지 않으며(NoIR = 적외선 없음), 따라서 적외선 스펙트럼의 적어도 일부(예, NIR)의 이미지를 획득할 수 있다는 것이다. 일부 구현에서, 파이 NoIR은 녹색 식물의 건강을 모니터링하기 위해 사각형 청색 겔과 함께 사용될 수 있다. 파이 캠과 유사하게, 파이 NoIR은, 랍스베리 파이 1, 2 및 3을 포함하나 이에 제한되지 않는 다양한 랍스베리 파이 모델을 가질 수 있다. 또한, 파이 NoIR 카메라는 MMAL 및 V4L API 뿐만 아니라 제3자 라이브러리(예, 파이카메라 파이썬 라이브러리를 사용하는 파이썬)를 사용하여 소프트웨어에서 액세스되고 제어될 수도 있다.

카메라/센서(1005B)는 대략 8 μm 내지 대략 14 μm 범위의 파장(LWIR)에 반응하는 장파장 IR 열화상 이미저일 수 있다. 이러한 열화상 이미저의 일례는, 160 x 120 픽셀의 교정된 방사선 출력을 제공하는, FLIR 렙톤 3.5 마이크로 열화상 이미저를 포함하나, 이에 제한되지 않는다.

IR 단일 지점 센서(1005C)의 일례는, 비접촉식 온도 측정을 위한 멜렉시스 MLX90614 적외선 온도계를 포함하나, 이에 제한되지 않는다. IR 감응형 써모파일 감지기 칩 및 신호 컨디셔닝 주문형 집적 회로(ASIC)는 동일한 TO-39 캔에 통합된다. MLX90614는 또한 저소음 증폭기, 17-비트 아날로그-디지털 컨버터(ADC), 및 강력한 디지털 신호 프로세서(DSP) 유닛을 포함하여 온도계에 대한 높은 정확도와 해상도를 달성한다. 온도계는, 전체 온도 범위(들)에서 0.02℃의 분해능으로 측정된 온도에 접근할 수 있게 하는 디지털 SMBus 출력으로 공장에서 교정될 수 있다. 디지털 출력은 펄스 폭 변조(PWM)를 사용하도록 구성될 수 있다. 표준으로서, 10-비트 PWM은 -20℃ 내지 120℃ 범위의 측정된 온도를 0.14℃의 출력 분해능으로 연속적으로 송신하도록 구성된다.

근접 센서(1005D)의 일례는 VL53L1X 비행 시간 근접 센서를 포함하나, 이에 제한되지 않는다. 이 센서는 27°의 시야를 갖는 단일 지점 레이저 거리 측정기이다. 근접 센서는 940 nm 발광기 및 단일 포톤 애벌란치 다이오드를 갖는다. 이는 수신 어레이 상에 프로그래밍 가능한 관심 영역(ROI) 크기를 가져서, 센서 시야를 감소시킬 수 있다. 수신 어레이 상의 프로그래밍 가능한 ROI 위치는 다중 영역 작동을 제공한다.

양자 센서(4220E)의 일례는 아포지 SQ-520 또는 LI-190R을 포함하나, 이에 제한되지 않는다. 양자 센서는, 재배 캐노피 위에서, 재배 캐노피 및 반사 PAR을 포함하나 이에 제한되지 않는 CEH의 다양한 지점에서, 광합성 활성 방사선(PAR)을 측정하는 데 사용된다. 아포지 SQ-520은 전체 스펙트럼 PAR 센서이다. SQ-500 시리즈 양자 센서는 아노다이징 알루미늄 하우징에 장착된 주조 아크릴 확산기(필터), 간섭 필터, 포토다이오드 및 신호 처리 회로, 및 센서를 측정 장치에 연결하는 케이블로 구성된다. SQ-500 시리즈 양자 센서는, 실내 또는 실외 환경에서 연속 PPFD 측정을 위해 설계된다.

예시적인 방법에서, 상이한 파장의 이미지/스펙트럼는 다음 단계를 활용하여 직렬 방식으로 획득될 수 있다: (1) 이미징 시스템의 LED 어레이에서 LED 소자를 활성화시켜 제1 파장에서 방사선으로 식물을 조사하는 단계, (2) 이미징 시스템에서 카메라(들)/센서(들)를 사용하여 이미지/스펙트럼을 획득하는 단계, 및 (3) LED 요소를 비활성화하는 단계. 이들 단계는 상이한 파장에서 이미지/스펙트럼을 획득하기 위해 순차적으로 수행될 수 있다. 예를 들어, 이미징 시스템은 다음 경우에 이미지를 획득할 수 있다: (1) 275 nm 및 365 nm 방사선 하의 조명, (2) 다양한 광합성 및 테르펜 화합물 피크에 대응하는 가시광 방사선 하의 조명, (3) 수분 함량을 평가하기 위한 940 nm 및 1450 nm 하의 NIR 하에서의 조명, (4) 가스 및 다른 화합물의 감지를 위한 SWIR 하의 조명, 및 (5) 광원의 활성화 없이 획득될 수 있는 LWIR 히트 맵.

도 4는 본 발명의 구현예에 따라 다중 스펙트럼 이미징 엔진(1100)의 블록 다이어그램을 나타낸다. 이미저/센서(1005A-1005C)에 더하여, 도 4의 이미징 엔진(1100)은 복수의 협대역 조사기(1140)를 포함한다. 협대역 조사기는 다양한 파장에서 방사선으로 식물을 조사하여 하나 이상의 대응하는 다중 스펙트럼 이미지의 획득을 용이하게 하기 위한 LED 어레이이다(여기서, 대상 식물(들)에 의해 반사되거나 달리 방출되는 방사선은, 특정 파장(들)의 방사선을 갖는 LED/LED로부터 하나 이상의 플래시에 노출될 시 카메라/센서 중 하나 이상에 의해 감지/획득됨). 협대역 조사기(1140)는 365(근 UV), 450(청색), 530(녹색), 630(적색), 660, 730, 860 및 950 nm(NIR)의 파장을 구비한다. 따라서, 이미징 시스템(1100)은 단일 독립형 장치에서 다중 스펙트럼 조사 및 감지 모두를 제공한다.

LED 어레이(1140)는 하나 이상의 LED 요소(1142)를 포함할 수 있다. 어레이(1140)의 각각의 LED 요소(1142)는, 파장의 특정 대역 또는 본질적으로 단색 파장에서 방사선을 방출할 수 있고, 다른 LED 요소(1142)와 독립적으로 제어될 수 있다. 하나 이상의 LED 요소(1142)가 작동되어 비교적 좁은 대역 또는 실질적으로 단색의 방사선으로 환경의 원하는 부분(예, 조명 기구(1000) 아래의 식물)을 조사하는 경우, 카메라/센서(1005) 중 하나 이상(예, 카메라(1005A))은, 작동된 LED 요소(들)의 대응하는 파장(들)에서의 방사선에 대한 노출에 반응하여 시야 내의 식물 대상물에 의해 반사되거나 달리 방출되는 방사선을 포함하는 대응 이미지를 획득한다. 상이한 LED 요소(1142)는 상이한 파장에서 방사선으로 환경의 원하는 부분을 비추도록 활성화될 수 있고, 카메라/센서(1005)는 차례로, 활성화된 LED 요소의 각각의 상이한 파장/파장 대역으로부터 생성된 반사 및/또는 방출된 방사선에 관련해 대응하는 이미지 또는 다른 감지된 정보를 획득할 수 있다. 일부 예시적인 구현예에서, 다수의 파장/파장 대역에서 이미지 및/또는 다른 정보를 획득한 후, 각각의 획득된 이미지를 서로 정렬하고 중첩함으로써 다중 스펙트럼 이미지를 형성할 수 있다. 이러한 방식으로, 다중 스펙트럼 이미지는, 환경의 원하는 부분에 관한 공간 및 스펙트럼 정보를 포함할 수 있다(예를 들어, 다중 스펙트럼 이미지의 각각의 픽셀은 대응하는 스펙트럼을 포함함).

이미징 엔진(1100)은 또한 LED 어레이(1140)를 보강하고/보강하거나 식물의 화학적/형태학적 특성을 변경시키기 위해, 보조 LED 어레이(1150A 및 1150B)(총괄적으로 보조 LED 어레이(1150)로 지칭됨)를 포함할 수 있다. 이미징 엔진(1100)은 또한 LED 어레이(1140 및 1150) 및 카메라/센서(1005)의 작동을 지원하기 위해, 전력 전자 회로(1160)를 포함할 수 있다. 이미징 엔진(1100)은 또한 LED 어레이(11040 및 1150) 및/또는 카메라/센서(1005)를 제어하기 위해, 플래시 제어기(5020)(예, 랍스베리 파이 프로세서)를 포함할 수 있다. 이미징 엔진은 또한 하나 이상의 이더넷 전원 장치(POE) 포트(1184) 및/또는 하나 이상의 범용 직렬 버스(USB) 포트를 통신 및/또는 전원 포트로서 포함할 수 있다.

도 5 내지 도 8은, 하우징(1120)을 갖고, 갖지 않고, 네트워크 보드가 각각 있는 본 발명의 구현 예시에 따른 다중 스펙트럼 이미징 엔진(1100)의 여러 도면을 나타낸다. 나타낸 바와 같이, 이미징 엔진(1100)은, 전술한 카메라/센서(1005A, 1005B 및 1005C)를 지지하는 회로 기판(1110)을 포함할 수 있다. 이미징 엔진(1100)은 또한 다양한 파장에서 방사선으로 식물을 조사하여 하나 이상의 대응하는 다중 스펙트럼 이미지의 획득을 용이하게 하기 위한 LED 어레이(1140A 및 1140B)(총체적으로 LED 어레이(1140)으로 지칭됨)를 포함할 수 있다(여기서, 대상 식물(들)에 의해 반사되거나 달리 방출되는 방사선은, 특정 파장(들)의 방사선을 갖는 LED/LED로부터 하나 이상의 플래시에 노출될 시 카메라/센서 중 하나 이상에 의해 감지/획득됨). 이미징 엔진은 또한 근접 센서(1005D)(예, 단일 지점 레이저 거리측정기)를 포함할 수 있다. 회로 보드(1110)는, LED 어레이(1140 및 1150), 카메라/센서(1005), 레이저 거리 측정기(1005D), 및 이미징 엔진(1100)의 다른 구성 요소의 작동을 지원하기 위해, 전력 전자 회로(1160)를 포함할 수 있다. 이미징 엔진(1100)은, 카메라/센서(1005A, 1005B, 및 1005C), LED 어레이(1140 및 1150), 및 주변 환경으로부터 다른 전자 장치를 보호하기 위한 하우징(1120)을 포함할 수 있다.

이미징 엔진(1100)은 일반적으로 하나 이상의 LED 어레이(1140)를 포함할 수 있다. 각각의 LED 어레이(1140)는 하나 이상의 LED 요소(1142)를 포함할 수 있다. 예를 들어, 각각의 LED 어레이(1140)는 약 1 내지 약 100개의 LED 요소(1142)를 포함할 수 있다. LED 어레이(1140) 내의 LED 요소(1142)는 회로 보드(1110) 상에서 서로 근접하게 배치될 수 있다. LED 어레이(1140)는, 원하는 조명 프로파일을 제공하기 위해, 회로 보드(1110) 상에 배열될 수 있다. 예를 들어, LED 어레이(1140A 및 1140B)는 동일한 유형의 LED 요소(1142)를 포함할 수 있으며, 따라서 동일한 파장에서 방사선을 방출하는 다수의 방사선 공급원을 제공한다. 도 5는 LED 어레이(1140A 및 1140B)가 카메라(1005A)의 대향 측면 상에 배치될 수 있음을 나타낸다. 카메라(1005A)의 대향 측면으로부터 방사선으로 식물 및/또는 그 주변을 조사함으로써, 카메라(1005A)는 보다 균일한 조사 하에 이미지를 획득할 수 있다. 다른 조명 프로파일은 상이한 배열을 이용해/이용하거나 광학 요소를 사용하여 달성될 수 있다(예를 들어, LED 어레이(1140)의 전방에서 하우징(1120)의 일부를 성형하고, 별도의 확산기 또는 렌즈를 LED 어레이(1140) 상에 배치함).

LED 어레이(1140)는, 일반적으로 상이한 파장에서 각각 방사선을 방출하는 LED 요소(1142)를 포함할 수 있다. 예를 들어, LED 요소(1142)는 약 200 nm 내지 약 2 μm 범위의 파장에서 방사선을 방출할 수 있다. LED 요소(1142)의 수 및 이들이 광을 방출하는 파장은, 식물(도 19 내지 도 21 참조) 및/또는 CEH 시스템의 다른 관심 대상물과 연관된 다양한 화학 화합물의 공지된 스펙트럼 흡수 및/또는 반사 피크에 부분적으로 기초하여 선택될 수 있다. 예를 들어, LED 요소(1142)는 UV로부터 NIR 파장 범위로의 여러 상이한 유형의 화합물의 흡수 피크를 커버하도록 선택될 수 있다. 일부 구현에서, 식물 및/또는 다른 대상물의 다중 스펙트럼 이미지를 획득할 경우, 더 큰 스펙트럼 해상도를 제공하기 위해 더 작은 스펙트럼 대역폭(예, 본질적으로 단색 방사선)을 갖는 LED 요소(1142)를 사용하는 것이 바람직할 수 있다. 예를 들어, 본질적으로 단색인 것으로 간주되는 하나 이상의 LED 요소(1142)의 스펙트럼 대역폭은 약 50 nm 미만일 수 있다. 다른 LED 요소(1142)는 더 넓은 범위의 파장에서 방사선을 방출할 수 있으며, 예를 들어, LED 요소(1142) 중 하나 이상은, 발생된 방사선이 파장 대역을 커버하고 특정 컬러 온도에 대응하는 것으로 특정될 수 있는, 백색 LED일 수 있다.

LED 요소(1142)에 의해 방출된 방사선의 각각의 파장은 UV, 가시광선, NIR 및 SWIR 영역을 커버할 수 있다. 일 구현 예시에서, LED 어레이(1140)의 본질적으로 단색인 LED 요소(1142)의 각각의 파장은 275 nm, 365 nm, 440 nm, 450 nm, 475 nm, 500 nm, 530 nm, 620 nm, 630 nm, 660 nm, 696 nm, 730 nm, 760 nm, 850 nm, 860 nm, 940 nm, 950 nm, 1450 nm, 1610 nm, 및 2060 nm를 포함할 수 있으나, 이에 제한되지 않는다. 보다 일반적으로, LED 어레이(1140)의 LED 요소(1142)는 대략 275 nm 내지 대략 2060 nm의 방사선 파장을 가질 수 있다.

보조 LED 어레이(1150)는 추가 LED 요소(1152)를 포함할 수 있다. LED 요소(1152)는 전술한 LED 요소(1142)와 동일한 특징부 중 하나 이상을 가질 수 있다. 일례로, LED 요소(1152)는, 조사된 식물/다른 대상물과 관련된 이미지/정보를 획득할 경우에 방사선의 전체 세기를 증가시키기 위해 LED 요소(1142)와 동일한 파장 중 하나 이상에서 방사선을 방출할 수 있다(즉, LED 요소(1142 및 1152 둘 모두가 활성화됨). 일부 구현에서, LED 요소(1152)는 LED 요소(1142)보다 큰 방사선 출력을 제공할 수 있다. 예를 들어, LED 요소(1152)는 약 6 와트를 초과하는 와트 정격을 가질 수 있다. LED 요소(1152)에 의해 제공되는 더 높은 방사선 출력은 부분적으로, 환경 내의 식물에 대한 화학적 및/또는 형태학적 변화를 의도적으로 유도하기 위해 사용될 수 있다. 예를 들어, LED 요소(1152)는, 식물의 주간/야간 사이클을 변경(예, 식물 만개를 변경)하기 위해 730 nm에서 더 높은 방사선 출력을 제공할 수 있다. 다른 예에서, LED 요소(1152)는 환경 내 해충을 제거하기 위해 UV 광을 제공할 수 있다.

하우징(1120)은 부분적으로, 이미징 엔진(1100)의 다양한 구성 요소를 에워싸고 보호하고, CEH 내의 조명 기구의 프레임 상에 이미징 엔진(1100)의 설치를 용이하게 하도록 사용될 수 있다. 일부 구현에서, 하우징(1120)은, 수분 및/또는 물이 회로 보드(1110) 상의 다양한 전자 장치, 카메라, 및 센서와 접촉하는 것을 방지하기 위해 실질적으로 밀봉된 인클로저를 형성할 수 있다. 하우징(1120)은, 개스킷(1124)을 지지하기 위해 그의 주변부를 따라 홈을 포함할 수 있다. 하우징(1120)이 CEH 시스템에 설치될 경우, 개스킷(1124)은 변형되어 밀봉부를 형성할 수 있다. 일부 구현에서, 하우징(1120)은 실질적으로 수밀 밀봉부를 형성할 수 있다.

하우징(1120)은 다양한 플라스틱 및/또는 세라믹 재료로 형성될 수 있다. 일부 구현에서, 하우징(1120)은, 적어도 LED 요소(1142 및 1152)의 방출 파장에 대응하는 파장에서 광에 대해 실질적으로 투명한 재료로 형성될 수 있다. 따라서, LED 요소(1142 및 1152)에 의해 방출된 방사선은, 식물 및/또는 주변 환경을 조사할 경우에 하우징(1120)을 통해 투과할 수 있다. 일부 구현에서, 하우징(1120)은 원하는 방향을 따라 LED 요소(1142 및 1152)에 의해 방출된 방사선을 방향 전환하도록 형상화될 수 있다. 예를 들어, 하우징(1120)은 이미징/정보 획득을 위해 방사선을 보다 효율적으로 사용하기 위해, 이미징 엔진(1100) 바로 아래에 배치된 식물을 향해 더 넓은 각도로 방출된 방사선을 방향 전환하도록 형상화될 수 있다. 일부 구현에서, 하우징(1120)의 표면 마감은 방사선을 분산시키도록 변경될 수 있다(예를 들어, 경면 조명을 제공하기 위한 실질적으로 매끄러운 마감 또는 확산 조명을 제공하기 위한 실질적으로 거친 마감).

일부 구현에서, 하우징(1120)은 관심 파장 범위에 걸쳐 충분히 투명하지 않은 재료로 형성될 수 있다. 예를 들어, 카메라(1005A)는 UV로부터 SWIR 범위로의 이미지/정보를 획득할 수 있는 반면, 카메라(1005B)는 LWIR 범위 내의 이미지/정보를 획득할 수 있다. 재료는 일반적으로 이러한 큰 파장 범위에 걸쳐 투명하지 않다. 또한, 일부 경우에 하우징(1120)에 의한 기생 흡수는 카메라(들)/센서(들)(1005)에 의해 수집된 데이터에 영향을 미칠 수 있다. 전술한 바를 고려하여, 하우징(1120)은 카메라(들)/센서(들)(1005) 근처에 배치된 다수의 개구(1126)를 포함할 수 있고, 이들 개구는 각각의 카메라/센서(1005)의 적절한 파장 범위에 맞춰진 다양한 광학 요소를 지지하도록 형상화된다.

예를 들어, 도 6은 게르마늄(Ge) 윈도우(1130)가 카메라(1005B) 및 센서(1005C) 바로 위에 위치한 개구(1126) 내에 설치될 수 있음을 나타낸다. Ge 윈도우(1130)는 부분적으로, 더 높은 주파수(더 짧은 파장) 방사선의 투과를 실질적으로 감소(약화)시키는 적외선 필터로서 사용될 수 있으며, 따라서 카메라(1005B) 및 센서(1005C)가 MIR 및 FIR 범위에서 적외선 광을 수신하도록 보장한다. 유사하게, 글라스 윈도우(1132)는 카메라(1005A) 바로 위에 위치하는 개구(1126) 내에 배치되어 NIR 방사선에 UV를 전달할 수 있다. 일부 구현에서, Ge 윈도우(1130) 및 글라스 윈도우(1132)는 각각의 카메라(들)/센서(들)(1005)에 의해 투과되고 감지되는 광량을 증가시키기 위한 반사 방지 코팅을 포함할 수 있다. Ge 윈도우(1130) 및 글라스 윈도우(1132)는 두 개의 예시적인 재료이며 각각의 관심 파장 범위(들)에 적합한 다른 재료로 교환될 수 있음을 이해해야 한다. 예를 들어, 아연 셀레나이드(ZnSe) 윈도우가 IR 범위에 사용될 수 있다. 플루오르화 마그네슘(MgF₂), 사파이어(Al₂O₃), 및 플루오르화 칼슘(CaF₂)이 UV 및 NIR 범위에 사용될 수 있다.

도 8 및 도 9는 캐리어 보드(1180)를 포함한 이미징 엔진(1100)을 나타낸다. 캐리어 보드(1180)는 프로세서(5000A)(예, 랍스베리 파이 프로세서)를 지지한다. 캐리어 보드는 또한 하나 이상의 이더넷 전원 장치(POE) 포트(1184) 및/또는 하나 이상의 범용 직렬 버스(USB) 포트를 통신 및/또는 전원 포트로서 지지한다. 일부 구현에서, 프로세서(5000A)는 플래시 제어기(5020)로서 작용할 수도 있다. 이러한 구현예에서, 캐리어 보드는 이미징 엔진 및 파이에 대한 전력 변환 및 장착을 제공한다. 이는 또한 데이터 통신을 제공한다.

도 10은 일 구현 예시에 따른 다중 스펙트럼 이미징 엔진(1100)을 나타낸다. 이미징 엔진(1100)은, UV-SWIR 이미지를 획득하기 위한 단일 카메라(1005A) 및 카메라(1005A) 주위의 원 안에 배치된 LED 어레이(1140)를 포함한다. 카메라(1005A) 주위에 LED 요소(1142)를 배열하는 것은, 보다 균일한 조사를 제공할 수 있다. 이미징 엔진은 또한 LED 어레이(1140) 및 카메라(1005A)의 작동을 지원하기 위해, 전자 회로(1160)를 포함한다.

이미지 프로세서(5000A)는 하나 이상의 이미지 처리 단계를 수행할 수 있다. 일부 구현에서, 이미징 시스템(5050A)은, 카메라(들)/센서(들)(1005)에 의해 획득된 이미지 및/또는 센서 데이터의 이미지 프로세서(5000A)에 의한 교정을 용이하게 하기 위해, 하나 이상의 교정 기준을 사용할 수 있다. 예를 들어, 팬텀은 UV, 가시광, NIR, 및 SWIR 영역에서 이미지/스펙트럼을 교정하는 데 사용될 수 있다. 팬텀은, 다양한 파장에서 알려진 방사율, 흡수율, 및 반사율을 포함하나 이에 제한되지 않는 공지된 광학 특성을 갖는 물체일 수 있다. 일반적으로, 팬텀은, 상이한 파장에서 실질적으로 변하지 않는 파장 또는 광학 특성의 함수로서 변하는, 광학 특성을 가질 수 있다. 팬텀은 구체, 다면체, 식물, 진균, 및 동물(예, 포유동물, 어류)을 포함하나 이에 제한되지 않는 다양한 형상을 가질 수 있다. 팬텀은 또한 이미징되는 식물보다 더 작거나, 비슷하거나, 더 큰 전체 크기를 갖도록 치수화될 수 있다.

팬텀을 이미징되는 식물 근처에 배치함으로써, 팬텀은 측정되는 이미지/스펙트럼의 크기 및 파장 둘 다를 교정할 수 있다. 일부 구현에서, 다수의 팬텀이 카메라(들)/센서(들)의 시야 내에 배치되어 다수의 기준을 제공할 수 있다. 이러한 경우에, 다수의 팬텀은 이미지 왜곡(예, 이미지의 구면 수차) 및/또는 카메라(들)/센서(들)에 의해 방사선이 수용되는 각도를 교정하는 데 사용될 수 있다(예, 카메라/센서는 감지된 방사선의 입사각의 함수로서 변하는 반응성을 가질 수 있음).

도 11은 팬텀으로서 기준 반사율 타겟(950)을 사용하는 UV-SWIR 카메라(들)의 교정을 나타낸다. 이러한 교정은 다중 스펙트럼 이미징 시스템(5050A)에 의해 획득된 협대역 이미지(5090A)를 교정하는 데 사용될 수 있다. 방사선 교정의 형태로 교정하는 것은, 예를 들어 이미징 중에 입사 광 조건을 변경하는 것을 보상할 수 있다. 방사선 교정은 절대 반사율 값을 제공할 수 있고, 여러 광원으로부터의 반사율 정보를 비교할 수 있게 한다. 기준 반사율 타겟(950)은 모든 파장 대역에서 균일하게 알려진 양의 입사 광을 반사할 수 있다. 예를 들어, 기준 타겟(950)은 입사 광의 99%를 반사할 수 있다. 협대역 반사율 값은 기준 반사율 타겟(950)을 사용하여 결정된 보정 계수를 사용하여 보정될 수 있다. 보정 인자는, 가능한 최고 반사율을 기준 타겟(950)의 반사율로 나눈 비율일 수 있다.

도 12는 흑체 방사체를 사용하여 LWIR 열 카메라(들)를 교정한 것을 나타낸다. 흑체 방사체는 LWIR 영역에서 열화상 이미지/스펙트럼을 교정하는 데 사용될 수 있다. 흑체 방사체는, 공지된 온도로 가열되는 물체일 수 있다. 예를 들어, 흑체 방사체는 저항 히터 및 온도 센서(예, 서미스터, 열전대)를 포함할 수 있다. 따라서, 흑체 방사체는 열화상 이미지에서 측정된 온도를 교정하는 데 사용될 수 있다. 팬텀과 유사하게, 흑체 방사체는 구체, 다면체, 식물, 진균 및 동물(예, 포유동물, 어류)을 포함하나 이에 제한되지 않는 다양한 형상을 가질 수 있다. 흑체 방사체는 또한 이미징되는 식물보다 더 작거나, 비슷하거나, 더 큰 전체 크기를 갖도록 치수화될 수 있다.

또 다른 예로서, LWIR 열화상 카메라(들)에 의해 획득된 열화상 이미지는 작물 물 스트레스 지수(CWSI)를 사용하여 보정될 수 있다. CWSI는 열화상 이미지로부터 추출될 수 있고, 환경 파라미터의 변동성을 보상하는 데 도움을 줄 수 있다. 보다 정확한 온도 센서를 사용한 공기 온도 측정이 CWSI를 계산하는데 사용된다. CWSI는 다음과 같이 정의된다:

여기서, T _c 는 관심 영역의 평균 온도이고, T _a 는 보다 정확한 온도 센서에 의해 측정된 공기 온도이고, T _c,min 은 열화상 이미지의 관심 영역 내의 최저 픽셀 온도이고, T _c,max 는 열화상 이미지의 관심 영역 내의 최고 픽셀 온도이다. 결과적인 CWSI 값은 증산 및/또는 기공도를 감지하는 데 사용될 수 있다.

도 13은 다중 스펙트럼 이미징 시스템(5050A)에 의해 획득된 일련의 별개 이미지(5090A-1-5090A-5)를 나타낸다. 이들 별개 이미지(5090A-1-5090A-5)는 다중 스펙트럼 이미지를 생성하기 위해 중첩될 수 있다. 이미징 시스템(5050A)에 의해 획득된 다중 스펙트럼 이미지는 복수의 픽셀을 포함할 수 있으며, 여기서 각각의 픽셀은 시야에서 (예를 들어, x, y 평면에서) 2D 공간 위치를 나타내고 측정된 값 또는 스펙트럼에 대응한다. 예를 들어, 이미징 시스템은 UV-SWIR 카메라(1005A)에 의해 측정된 파장에 대응하는 네 개의 협대역 이미지뿐만 아니라 LWIR 카메라(1005B)에 의해 측정된 열화상 이미지를 획득할 수 있다. 이 경우, 생성된 다중 감각 이미지 내의 각각의 픽셀은, 네 개의 협대역 스펙트럼 이미지 값 및 써멀 히트 맵 값에 대응할 수 있다. 도 13은 다중 스펙트럼 이미지를 만들기 위해 중첩된 네 개의 별개 협대역 이미지 및 LWIR 히트 맵만을 나타낸다. 그러나, 협대역 조사기(1140)의 방사선 파장의 수치에 따라, 임의의 수의 협대역 이미지가 이미징 시스템(5050A)에 의해 획득될 수 있다.

다중 스펙트럼 이미지에서의 픽셀의 크기는 최고 해상도 카메라에 의해 정의될 수 있다. 이미징 엔진에 의해 획득된 이미지 및/또는 감각 데이터는, 쉽게 중첩될 수 있도록 실질적으로 중첩된 시야를 가질 수 있다.

일반적으로, 이미징 시스템(5050A)에 의해 생성된 다중 스펙트럼 이미지는 복수의 픽셀을 포함한다. 각각의 픽셀은 값의 벡터를 갖는다. 특정 픽셀에 대한 값의 벡터는, 각각의 협대역 조사기 파장에서의 각각의 반사율을 나타낼 수 있다. 특정 픽셀에 대한 값의 벡터는, LWIR 히트 맵에 대응하는 온도를 나타낼 수도 있다.

값의 벡터는, 관심 조건(5160A)의 식별을 용이하게 하기 위해 머신 러닝 또는 딥 러닝 알고리즘을 위한 특징부 세트에 대한 기초를 제공할 수 있다. 각 픽셀에서 측정된 값은, 알고리즘에 입력하기에 적합하도록 특징화될 수 있다. 즉, 측정된 픽셀 값은, 특징부라고 불리는 일련의 구조화된 수학적 표현 세트에 의해 표현될 수 있다. 이러한 방식으로, 알고리즘은 픽셀별 기초로 비파괴적이고 인시츄 실시간 측정으로부터 관심 조건(5160A)을 식별할 수 있다. 관심 조건을 나타내는 주어진 특징부 세트에서의 특정 값은 표지("주석")될 수 있고, 이에 따라 (예를 들어, 신뢰성 값을 갖는) 머신 러닝 매칭에 사용하기 위한 모델 훈련을 용이하게 하여, 물체(예를, 식물(들))의 실시간 측정에서 관찰된 관심 조건을 식별할 수 있다. 네 개의 협대역 스펙트럼 이미지 및 써멀 히트 맵을 갖는 예에서, 생성된 다중 감각 이미지 내의 각각의 픽셀은, 네 개의 협대역 스펙트럼 이미지 및 써멀 히트 맵에 대한 측정된 값을 포함하는 특징부 세트에 대응할 수 있다.

도 14는 모든 이용 가능한 조사 파장(λ₁, λ₂, λ₃, ...λ_n) 및 열화상 이미징으로부터의 온도(LWIR 온도) 측정을 사용하는 예시적인 특징부 세트를 나타낸다. 예를 들어, 여덟 개의 협대역 방사선 파장(5040)을 갖는 이미징 엔진, 각각의 픽셀에 대응하는 생성된 특징부 세트는 아홉 개의 요소(각 협대역 파장 이미지에 대한 여덟 개의 요소 및 열화상 이미징에 대한 하나의 요소)를 포함할 수 있다. 주어진 사용 사례의 경우, 주어진 측정 연습용 특징부 세트를 정의하기 위해, 이용 가능한 특징부의 임의의 서브세트가 선택될 수 있다. 즉, 특징부 세트는 2, 3, 4 또는 그 이상의 요소를 가질 수 있다. 관심 조건을 식별하기 위해 모든 측정이 필요한 것은 아니다.

도 15는 복수의 표지된 조건(5140A)을 포함한 기준 조건 라이브러리(5120A)를 나타내며, 이는 조건(5160A)를 관찰하기 위해 사용될 수 있다. 기준 조건 라이브러리(5120A)는 다양한 기준 조건에 대응하는 복수의 표지된 특징부 세트를 포함할 수 있다. 머신 러닝 알고리즘은, 하나 이상의 기준 조건이 픽셀별 기초로 존재하는지 여부를 결정하기 위해 기준 조건 라이브러리(5120A)와 실험 결과를 비교하고 상관시키는 데 사용될 수 있다.

도 16은, 머신 러닝 또는 딥 러닝 알고리즘에 입력하기 위한 다중 스펙트럼 이미지를 준비하는 데 사용될 수 있는, 방사 보정을 포함하는 이미지 처리 방법론을 나타낸다. 이미지 프로세서(5000A)는 이미징 시스템(5050A)에 의해 획득된 이미지 및/또는 감각 데이터를 정규화할 수 있다. 예를 들어, 협대역 이미지(5090A)로부터의 반사율 데이터는 다음 식에 따라 정규화될 수 있다:

여기서, Ri는 특정 파장에서 픽셀로부터의 반사율 값이고, R ₁ , R ₂ , R ₃ ,...R _n 은 다중 감각 이미지에서 각 파장에서 픽셀로부터의 반사율 값이다. 이미지 프로세서(5050A)는 이미지 및/또는 감각 데이터의 색 공간을 변환할 수 있다. 각각의 색 공간은, 상이한 응용에 대한 정보를 제공할 수 있는 상이한 속성을 갖는 색상을 정의한다. 상이한 색 공간은 몇몇 계산을 보다 편리하게 만드는 방식으로 이러한 정보를 제시하거나, 또는 이미지가 더 밝고 구별하기 쉽게 보일 수 있다. 예를 들어, RGB 색 공간을 사용하여 획득된 이미지는 HSV, HIS 또는 LAB과 같은 다른 색 공간으로 변환될 수 있다. 이미지 프로세서(5000A)는 이미지 처리 시스템(5050A)에 의해 획득된 이미지를 처리하여, 임계값 지정, 머신 러닝 및/또는 이미지 처리 알고리즘을 사용하여 이미지 내의 배경, 그림자 및/또는 외부 물체를 제거할 수 있다. 이 프로세스는 평활화, 선명화, 질감 측정, 노이즈 제거, 이미지 압축 및 이미지 등록을 위해 선형 및 비선형 이미지 필터링을 포함한다. 형태학적 연산은 합계 연산을 통해 전경 영역을 변경하기 위해 수행된다. 이 프로세스는 임계값 지정으로 인한 결과를 정리한다. 마스크와 같은 구조화 요소가 형태학적 결정을 위해 사용될 수도 있다. 블롭 또는 연결된 구성 요소가 추출될 수 있다.

도 17은 머신 러닝 또는 딥 러닝 알고리즘에 입력하기 위한 다중 스펙트럼 이미지를 제조하는 데 사용될 수 있는, 추가 이미지 처리 방법론을 나타낸다. 이미징 시스템(5050A)은, 알려진 조건의 표지된 특징부 세트를 사용하여 기준 조건 라이브러리(5120A)용 표지된 조건(5140A)을 생성할 수 있다. 이미징 시스템(5050A)에 의해 수집된 이미지 및 감각 데이터는, 기준 조건 라이브러리(5120A)에서 표지된 조건(5140A)을 차지하거나 미세 조정하는 데 사용될 수 있다. 이미징 시스템(5050A)에 의해 수집된 이미지 및 감각 데이터는, 머신 러닝 또는 딥 러닝 알고리즘을 훈련하는 데 사용될 수도 있다. 일단 이미징 시스템(5050A)으로부터의 데이터를 사용하여 훈련되면, 알고리즘은 다중 스펙트럼 이미지에서 관심 조건을 보다 정확하게 예측할 수 있다.

일부 구현에서, 이미지 프로세서(5000A)는 협대역 이미지(5090A)를 사용하여 식생 지수(VI)를 결정할 수 있다. 이러한 방식으로, 다중 스펙트럼 이미지 내의 각각의 픽셀은, 하나 이상의 VI 값을 갖는 하나 이상의 특징부 세트를 가질 수 있다. 예를 들어, 이미지 프로세서(5000A)는, 다음에 따라 협대역 반사 파장의 모든 가능한 결합 조합을 나타낸 정규화 차이 스펙트럼 지수(NDSI)를 생성할 수 있다:

여기서, R은 측정된 반사율이고, i 및 j는 특정 스펙트럼 대역을 지칭한다. NDSI는 스펙트럼 비율에 의해 생성된 스펙트럼 대역의 신규 조합일 수 있다. NDVI, GNDVI, RNDVI, NNIR, MCARI, 및 RENDVI를 포함하는 다른 VI가 생성될 수 있다.

도 18은, 이용 가능한 모든 협대역 조사 파장(λ₁, λ₂, λ₃, ...λ_n)으로부터 측정된 값, 열화상 이미징으로부터의 온도 측정(LWIR 온도), 및 두 개 이상의 협대역 이미지를 사용하여 생성된 NDSI 값을 사용하는 예시적인 특징부 세트를 나타낸다. 기준 조건 라이브러리(5120A)는, 특징부 세트에 하나 이상의 VI를 갖는 표지된 특징부 세트를 포함할 수 있다.

기준 조건 라이브러리(5120A)는, 관심 대상의 알려진 반사율 또는 알베도 값에 대응하는 표지된 특징부 세트를 포함할 수 있다. 라이브러리(5120A)는 관심 화학 성분의 각각의 스펙트럼을 포함할 수 있다. 표지된 특징부 세트 내의 각각의 특징부의 값은, 특징부 세트 내의 특징부로서 작용하는 특정 협대역 파장(예, 협대역 조사기(1140)의 파장)에서 공지된 스펙트럼으로부터 상승된 별개의 반사율(또는 흡광도) 값일 수 있다. 공지된 스펙트럼은 알베도(반사율) 또는 흡광 스펙트럼일 수 있다. 공지된 흡광 스펙트럼은 당업계에 공지된 변환(예, 반사율 = (1/흡광도))을 사용하여 반사율 스펙트럼으로 변환될 수 있다. 공지된 스펙트럼으로부터의 값은, 표지된 특징부 세트로서 사용하기 전에 또한 정규화될 수 있다.

도 19는, 기준 조건 라이브러리(5120A)에 대해 표지된 특징부 세트를 제공하도록 구별될 수 있는, 공지된 알베도 스펙트럼의 예를 나타낸다. 조사기(1140)의 협대역 파장에 대응하는 파장 또는 파장 대역에서의 알베도 값은, 도 19의 스펙트럼 중 하나로부터 추출되어 표지된 특징부 세트를 생성할 수 있다. 예를 들어, 여덟 개의 단색 협대역 조사기 파장(365 nm, 450 nm, 530 nm, 630 nm, 660 nm, 730 nm, 860 nm, 및 950 nm)을 갖는 다중 스펙트럼 이미징 시스템은, 동일한 파장 각각에서 스펙트럼으로부터 이산된 알베도 값을 추출할 수 있다. 도 19는 원을 사용하여 "코니퍼 숲"으로 불리는 기준 표지에 대한 추출된 알베도 값을 나타낸다. "코니퍼 숲"에 대한 이렇게 표지된 특징부 세트는, 이미징 시스템에 의해 획득된 이미지 또는 감각 데이터에서 코니퍼 숲의 존재를 식별하는 데 사용될 수 있다.

표지된 특징부 세트를 생성하기 위해 알려진 스펙트럼으로부터 이산 값을 추출하는 방법이, 알려진 임의의 관심 스펙트럼에 적용될 수 있다. 예를 들어, 도 20은, 클로로필 a(Chl-a), 클로로필 b(Chl-b), 광 수확 복합체 II(LHCII), 클로로필 d(Chl-d), 및 박테리아클로로필 a(BChl a)를 포함하는, 다양한 식물 관련 화합물에 대한 상대 흡광도 값을 나타낸다. 나타낸 바와 같이, 다양한 화학 화합물은 상이한 흡수 피크를 나타내며, 이는 화합물을 식별하고 화합물 사이를 구별하는 데 사용될 수 있다. 도 21은 클로로필 a(Chl a) 및 클로로필 b(Chl b)에 대한 흡광도 값을 나타낸다. 도 21은, 원을 사용하여 여덟 개의 협대역 조사기 파장(365nm, 450 nm, 530 nm, 630 nm, 660 nm, 730 nm, 860 nm, 및 950 nm)에 대응하는 스펙트럼으로부터 추출될 수 있는 흡광도 값을 나타낸다. 추출된 데이터는 클로로필 a 및 클로로필 b의 존재에 대한 특징부 세트를 생성하는 데 사용될 수 있다. 나타낸 바와 같이, 여덟 개의 파장에서 추출된 값은 쉽게 구별될 수 있다.

이미지 프로세서(5000A)는, 획득된 이미지 및/또는 감각 데이터 그리고 기준 조건 라이브러리를 사용하여 다양한 관심 조건을 감지할 수 있다. 이미징 시스템(5050A)에 의해 측정된 스펙트럼 및 감각 특징부는 특정 식물 특성을 나타낼 수 있다. 이들 측정된 특징부는, 표지된 특징부 세트와 비교함으로써 식물을 특성화하는 데 사용될 수 있다. 측정된 특징부는 기준 조건 라이브러리(5120A)에서 기준 조건과 상관될 수 있다. 예를 들어, 이미지 프로세서(5000A)는 식물 유형, 재배 단계, 질환, 영양소 결핍, 영양소 관련 형질, 화학 조성, 클로로필 추정, 및 생물 및 비생물 스트레스와 같은 조건을 식별할 수 있다. 식물의 특정 부분(예, 개화 부위) 및/또는 형태학적 특성 또한 이미지에서 식별될 수 있다.

또 다른 예로서, 이미지 프로세서(5000A)는 곰팡이, 흰곰팡이, 광합성 화합물, 물, NO₃, NO₂, P₄, K⁺, C₂H₄, CH₄, O₂, CO₂, 및 열 방사(예, LWIR 방사)를 포함하나 이에 제한되지 않는, 각각의 피크 흡수 및/또는 피크 반사율에 기초하여 다양한 화학 화합물을 감지할 수 있다. 이들 화합물의 존재는 상이한 식물 종 간에 다양할 수 있다. 특정 식물 종의 경우, 이미징 시스템(5050A)에 의해 측정된 바와 같이, 공칭 베이스라인에 대한 이들 화합물의 양은, 성장 단계, 전향적 작물 수율, 외관, 영양 조성물, 구조적 무결성, 개화 및 수분화를 포함하나 이에 제한되지 않는, 식물 성장의 다양한 양태에 대한 귀중한 정보를 제공할 수 있다.

이미징 시스템(5050A)에 의해 수집된 데이터는, 식물의 성장을 모니터링하고/모니터링하거나 CEH의 다른 구성 요소(예, 조명 광원에 의해 방출되는 광의 총 세기 또는 스펙트럼 세기)를 조절하기 위한 피드백을 제공하여 식물의 건강 및 성장을 개선하는 데 사용될 수 있다. 예를 들어, 이미징 시스템(5050A)이 해충에 의해 야기된 식물에 대한 손상을 감지하는 경우, 조명기는 해충 퇴치제의 형태로서 더 많은 UV 광을 갖는 식물을 비추도록 조절될 수 있다. 다른 예에서, 이미징 시스템(5050A)은 환경에서 흰곰팡이의 존재를 감지할 수 있다. 이에 반응하여, 조명기는 대응책으로서 275 nm에서의 UV 광의 양을 증가시킬 수 있다. 또 다른 예에서, 이미징 시스템(5050A)은 일반적인 주간/야간 사이클 동안 식물에 대한 변화(예, 짧은 주간/긴 주간 식물에 대해 개화)를 평가하기 위해 시간 경과에 따라 데이터를 획득할 수 있다. 이러한 정보는, 더 많은/낮은 근적외선 광(예, 730 nm 광)으로 식물을 비추기 위해 조명기를 조정함으로써 식물이 개화하는 시기를 변경하는데 사용될 수 있다. 이러한 방식으로, 식물은 더 빠른 속도로 성장될 수 있다. 이미징 시스템(5050A)은 또한 식물의 형태를 특성화할 수 있으며, 이는 상이한 파장(예, 730 nm 파장 방사선)에서 방사선으로 식물을 조사함으로써 결국 변형될 수 있다.

프로세서(5000A)는 또한 데이터 통신(예를 들어, 원격 장치(예, 원격 컴퓨터 또는 서버)에 대한 처리 및/또는 전송을 위해 이미저/센서(1005)에 제어 신호를 송신하고 이미저/센서(1005)에 의해 측정된 이미지 및 감각 데이터를 수신하는 것을 포함하는, 이더넷 케이블 또는 무선 통신을 통한 유선 통신)을 관리하는 데 사용될 수 있다. 획득된 이미지 및/또는 감각 데이터는 로컬 또는 원격 서버에 저장될 수 있다.

이미징 시스템(5050A)은 환경의 더 큰 부분을 이미징/감지하기 위해 하나 이상의 이미징 엔진(1100)을 포함할 수 있다. 예를 들어, 도 22는 두 개의 이미징 엔진(1100A 및 1100B)을 각각 갖는 이미징 시스템을 나타낸다. 각각의 이미징 엔진은, 동일하거나 상이한 플래시 제어기(5020)에 의해 제어될 수 있다. 각각의 이미징 엔진은, 각각의 이미징 엔진의 시야(5070)를 정의하는 적어도 하나의 이미저/센서(1005)를 포함할 수 있다. 두 개의 이미징 엔진은 각각 별도의 시야(5070A,1 및 5070A,2)를 가질 수 있다. 두 개의 이미징 엔진은 각각 부분적으로 중첩되는 시야(5070A,1 및 5070A,2)를 가질 수 있다. 이 경우, 이미지 프로세서(500A)는, 각각의 이미징 엔진에 의해 획득된 이미지(5090A,1 및 5090A,2)를 각각 쉽게 함께 중첩 및/또는 스티칭할 수 있다. 중첩된 시야는 더 높은 해상도, 더 연속적인 다중 스펙트럼 이미지를 제공할 수 있다. 대안적으로, 시야(5070A,1 및 5070A,2)는 중첩되지 않을 수 있다. 이 경우, 생성된 다중 스펙트럼 이미지는 더 낮은 해상도를 가질 수 있고/있거나 덜 연속적일 수 있다. 그러나, 이러한 구성은 환경의 더 큰 부분을 커버하는 더 큰 다중 스펙트럼 이미지를 제공할 수 있다.

일부 구현에서, 다양한 카메라(들)/센서(들)(1005)는 상이한 시야(5070)에서 이미지(5090)를 획득할 수 있다. 따라서, 이미지는, 다중 감각 이미지가 상이한 시야에 의한 왜곡을 포함하도록 스티칭 전에 정사 보정될 수 있다. 상기 다른 방식으로, 이미지 각각은 이미징된 물체(들) 및/또는 환경의 실질적으로 유사한 정사 뷰를 나타내도록, 이미지를 정사 보정할 수 있다.

일부 구현에서, 하나 이상의 이미징 엔진(1100)은 독립형 모듈일 수 있거나 CEH 시스템의 다른 구성 요소와 통합될 수 있다. 도 23은 CEH 시스템(2000)과 통합된 두 개의 이미징 엔진(1100A 및 1100B)을 나타낸다. 이미징 엔진은 CEH 시스템(2000)에 장착될 수 있어서, 그의 시야(5070A)가 선반(902) 또는 다른 지지 구조 상에 있는 복수의 식물(900)을 포함한다.

하나 이상의 이미징 엔진은 CEH 시스템(2000)에 인공 조명을 제공하는 조명 기구(1000)와 통합되거나 그 위에 배치될 수 있다. 이 경우, 조명 기구(1000)는, 각각의 이미징 엔진 및 획득된 이미지의 위치를 인덱싱하는 데 사용될 수 있는, (x,y) 좌표 평면을 정의할 수 있다. 대안적으로, 이미징 엔진은 유선 연결을 통해 조명 기구(1000)에 결합될 수 있다. 예를 들어, 이미징 엔진은 PoE 케이블 또는 USB 케이블을 통해 조명 기구(1000)의 포트에 결합될 수 있다. 다른 예에서, 이미징 엔진은, 별도의 유선 연결을 통해 하나 이상의 조명기를 제어하는 원격 장치(예, 컴퓨터, 서버)에 결합될 수 있다. 이미징 엔진은 무선 연결을 통해 조명기 또는 원격 장치에 결합될 수도 있다.

일 양태에서, 독립형 이미징 엔진은 설치 및 교체에 있어서 더 큰 용이성을 제공할 수 있다. 예를 들어, 이미징 엔진은 조명 기구(1000)로부터 쉽게 연결(또는 분리)될 수 있다. 플러그-앤-플레이 구성은, 이미징 엔진을 CEH 시스템(2000) 내의 임의의 원하는 조명 기구(1000)에 설치할 수 있다. 일부 구현에서, 이미징 엔진은 또한 업데이트되고/업데이트되거나 상이한 이미징 엔진으로 유지보수 또는 교체하기 위해, 조명 기구로부터 분리될 수 있다.

다른 양태에서, 이미징 엔진은 환경에서의 배치 측면에서 더 큰 유연성을 제공할 수 있다. 예를 들어, 이미징 엔진은, 환경의 원하는 커버리지에 따라 환경에 존재하는 조명 기구(1000)의 서브세트 용으로 설치될 수 있다. 이미징 엔진은 또한 CEH 시스템 내의 조명 기구의 위치에 구속되지 않고서 설치될 수 있다. 따라서, 조명 기구 및 이미징 엔진에 의해 제공되는 커버리지는 분리될 수 있다. 또한, 이미징 엔진은 시야가 상이한 관점(예, 식물 줄기의 측면 뷰, 식물 잎의 하향식 뷰)으로부터 환경을 커버하도록 배향될 수 있다. 상이한 관점은 3D 이미지를 획득하기 위한 수단을 제공할 수 있다.

분산형 센서 그리드를 사용하는 예시적인 다중 감각 이미징 시스템

일부 구현에서, 다중 감각 이미징 시스템은 다양한 유형의 측정을 수집하기 위해 CEH 시스템에 통합된 센서 어레이를 제공할 수 있다. 센서는, CEH 시스템의 큰 부분으로부터 측정치를 수집하기 위해, CEH 시스템 내에 공간적으로 배열될 수 있다.

일 구현 예시에서, 다수의 센서는 CEH 시스템 내에 분산형 센서 그리드로서 분산된다. 분산형 센서 그리드는 하나 이상의 노드 어레이를 포함하며, 여기서 각각의 노드 어레이는 제어된 농업 환경의 적어도 일부를 노드로, 예를 들어 환경 내에 알려진 위치(예, 절대 또는 상대 위치)를 갖는 공간 내의 별개 포인트로 분할한다. 다양한 양태에서, 분산형 센서 그리드의 주어진 노드 어레이는 (예를 들어, 제어된 농업 환경에서 재배 영역 및/또는 작물의 분포에 적어도 부분적으로 기초하여) 1차원, 2차원, 또는 3차원일 수 있다. 예를 들어, 일부 구현에서, 주어진 노드 어레이는, 식물의 행을 따라 이격된 실질적인 선형 또는 곡선형 방식으로 배열된 다수의 노드를 포함하여 1차원 노드 어레이를 제공할 수 있다. 다른 유형의 노드 어레이는 CEH 시스템의 바닥 또는 천장에 실질적으로 평행한 수평 평면에 배열된 다수의 노드를 포함하여, 2차원 노드 어레이를 제공할 수 있다. 또 다른 유형의 노드 어레이는 CEH 시스템의 바닥 또는 천장에 실질적으로 평행하게 배열된 다수의 수평 평면에 배열된 다수의 노드를 포함할 수 있으며, 여기서 노드의 각각의 수평 평면은 제어된 재배 환경(예, 토양, 식물, 조명 캐노피, 및 주변 환경)에서 상이한 관심 구역에 대응하는 다수의 수직 레벨을 구성한다.

분산형 센서 그리드는 CEH 시스템에서 복안으로서 작용할 수 있다. 각각의 센서 노드는 공간적으로 인덱싱된 픽셀로서 작용할 수 있고, 픽셀은 함께 복안 다중감각 이미지를 형성할 수 있다. 노드 어레이의 차원은 다중 감각 이미지의 차원을 결정한다. 예를 들어, 식물의 행을 따라 실질적인 선형으로 배열된 노드 어레이는 1D 다중 감각 이미지를 제공한다. CEH 시스템의 바닥에 실질적으로 평행한 수평 평면에 배열된 노드 어레이는, 2D 다중 감각 이미지를 제공한다. CEH 시스템의 바닥에 실질적으로 평행한 다중 수평 평면에 배열된 노드 어레이는, 3D 다중 감각 이미지를 제공한다.

도 24는 분산형 센서 그리드(4000)를 갖는 다중 감각 이미징 시스템(5050B)의 예시적인 구현을 나타낸다. 다중 감각 이미징 시스템(5050B)은 분산형 센서 그리드(4000)의 각 노드에서 다양한 유형의 감각 데이터를 수집할 수 있다. 노드 어레이의 공간 배열은 시야(5070B)를 정의한다. CEH 시스템에서의 관심 구역 또는 복수의 식물(900)을 포함하여, 다양한 관심 물체가 시야(5070B)에 포함될 수 있다. 이미징 시스템(5050B)은 일반적으로 다중 감각 이미지 프로세서(5000B)를 포함할 수 있다. 다중 감각 이미지 프로세서(5000B)는 센서 데이터를 컴파일하여 복안 다중 감각 이미지를 생성할 수 있다. 프로세서(5000B)는 다중 감각 이미지에서 관심 조건(5160B)을 결정하기 위해 기준 조건 라이브러리(5120B)를 사용할 수 있다.

도 25는 CEH 시스템에서의 다중 감각 이미징 시스템(5050B)의 예시적인 구현을 나타낸다. 분산형 센서 그리드(4000)는 하나 이상의 노드 어레이(4100)를 포함하고, 각각의 노드 어레이는 제어된 농업 환경에서 대응하는 좌표 위치(예, x, y 및 z 좌표)에 각각 위치한 다수의 노드(4200)를 포함한다. 주어진 노드(4200)에서, 분산형 센서 그리드는 노드에 근접한 재배 조건을 모니터링하기 위해 노드에 배치된 하나 이상의 센서(4220)를 추가로 포함한다. 도 25에 나타낸 예에서, 분산형 센서 그리드는 2차원 노드 어레이로서 배열되고, 여기서 조명 기구(1000)의 배열은 노드 어레이의 x 축 및 y 축에 의해 정의된 노드의 수평 평면을 구성한다("상부도" 참조).

노드 어레이

각각의 노드 어레이(4100)는 농업 환경의 적어도 일부를 커버한다. 일부 제어된 농업 환경에서, 하나의 노드 어레이는 재배 영역에서 식물의 특정한 수와 배열을 감안하면 충분할 수 있는 반면, 다른 환경에서는 (일부 경우에는 상이한 레이아웃 및/또는 상이한 작물을 갖는 환경 내의 다수의 재배 영역에 걸쳐) 분산형 센서 그리드를 유연하게 구성하기 위해 다수의 노드 어레이가 사용될 수 있다. 예를 들어, (상이한 재배 영역이 수직 배열로 서로 위에 쌓여 있는) 수직 농업에서, 하나 이상의 노드 어레이(4100)가 환경 내의 각각의 수직 적층 재배 영역에 대해 사용될 수 있다. 다른 예에서, 농업 환경은 별도의 온도 제어된 실로 분할될 수 있고, 각각의 실은 하나 이상의 노드 어레이(4100)를 갖는다. 각각의 노드 어레이(4100)는 농업 환경의 커버 부분을 노드(4200)의 그리드로 나누고, 여기서 각각의 노드(4200)는 노드 어레이(4100) 내의 알려진 좌표 위치를 갖는 별개 지점이다. 전술한 바와 같이, 각각의 노드(4200)는 주어진 노드에 근접한 (예를 들어, 노드에 배치된 센서(들)의 유형에 부분적으로 의존할 수 있는, 노드 주위의 공간 부피에서) 재배 조건을 모니터링하기 위한 하나 이상의 센서(4220)를 포함할 수 있다. 일부 구현에서, 노드 어레이(4100) 내의 노드(4200)의 수는 농업 환경에 부과되거나 농업 환경에 의해 부과되는 제약 조건에 따라 달라질 수 있다.

각 노드(4200)의 좌표 위치는 농업 환경에서 노드(4200)의 위치를 설명하기 위한 하나 이상의 좌표 구성 요소를 포함할 수 있다. 일부 구현에서, 노드(4200)의 좌표 위치는 공간 원점을 참조하여 농업 환경의 물리적 위치에 대응할 수 있다. 예를 들어, 재배 영역의 모서리는 좌표계의 원점으로서 설정될 수 있고, 노드(4200)는 하나 이상의 축(예, 각각의 X, Y 및 Z 축)을 따라 원점으로부터 알려진 거리 및/또는 정의된 거리에서 정의될 수 있다. 일부 구현에서, 좌표 위치는 농업 환경의 물리적 배열의 하나 이상의 양태(예, 하나 이상의 재배 영역의 치수 및/또는 형상, 주어진 재배 영역 내의 식물의 배열, 주어진 재배 영역 내의 제어 시스템의 배열)에 관련된 인덱싱 위치에 대응할 수 있다.

도 26은, 각각의 노드가 픽셀로서 작용할 수 있도록 x 및 y 좌표에 따라 인덱싱된 이미징 시스템(5050B)의 2D 노드 어레이(4100)의 하향식 뷰를 나타낸다. 공간적으로 인덱싱된 노드는 복안 다중 감각 이미지에서 픽셀로서 작용할 수 있다. 도 26은 재배 구역에서 일부 간격으로 서로 옆에 배치된 두 개의 세장형 선반(902A 및 902B)을 포함하는 농업 환경을 나타낸다. 세 개의 행의 식물이 선반의 긴 길이를 따라 각각의 선반 상에서 서로 옆에 위치한다. 일반적으로 식물의 세 행의 중간 행 위에 위치하는 각각의 선반 위에는 네 개의 조명 기구(1000)가 있다. 이 예에서, 노드 어레이에 대한 y-축은 선반(902A 및 902B)의 긴 길이에 평행하게 선택된다(따라서, x-축은 선반의 짧은 폭에 평행함). 선반 자체의 중심 라인은 x-축을 따라 인덱싱된 위치 1 및 2를 정의하며(예, 선반의 폭을 가로질러 절반) 선반(902A 및 902B)의 각각 위에 배치된 네 개의 조명 기구(1000)는 y-축을 따라 인덱싱된 위치 A, B, C 및 D를 각각 정의한다(예, 조명 기구의 중심은 인덱싱된 위치 A 내지 D에 대응할 수 있음). 이하에서 더욱 상세히 논의되는 바와 같이, 식물의 두 개의 선반, 선반 당 네 개의 조명 기구, 및 네 개의 수직 레벨에 기초한 도 26의 예시적인 노드 어레이가 주로 예시의 목적으로 제공되며, 다른 노드 어레이 구성이 본 발명에 따라 고려됨을 이해해야 한다. 예를 들어, 유사한 방식으로 배열된 1D 센서 어레이를 쉽게 상상할 수 있다.

센서

하나 이상의 센서(4220)가 재배 조건과 관련된 파라미터를 모니터링하기 위해 특정 노드(4200)에 배치될 수 있다. 센서(4220)는 가시광 센서, UV 광 센서, 공기 온도 센서, 상대 습도 센서, 기류 센서, CO2 센서, IR 온도 센서, 화학 센서, pH 센서, 및 전술한 바와 같이 다양한 스펙트럼 품질을 갖는 농업 환경의 정지 이미지 또는 동영상을 캡처하도록 구성된 카메라를 포함할 수 있으나, 이에 제한되지 않는다. 일부 구현에서, 다수의 센서(4220)는 배선 및 설치 용이성을 단순화하기 위해 일체형 센서 어셈블리에 패키징될 수 있다. 노드 어레이(4100) 내의 각각의 노드(4200)는 또한 노드(4200)가 위치하는 환경의 영역에 관한 센서(4220)의 상이한 조합을 포함할 수 있다. 예를 들어, 상이한 유형의 센서(4220)가 환경에서 관심 대상에 따라 배치될 수 있다.

도 27은 예시적인 구현예에 따른 특정 노드(4200)에서 센서(4220)의 블록 다이어그램을 나타낸다. 특정 노드(4200)는 가시광 방사선을 측정하기 위한 가시광 센서(4220A), CO₂를 측정하기 위한 CO₂ 센서(4220B), 공기 온도를 측정하기 위한 공기 온도 센서(4220C), 거리를 결정하기 위한 근접 센서(4220D), 상대 습도를 측정하기 위한 상대 습도 센서(4220E), NIR 방사선을 측정하기 위한 근적외선(NIR) 센서(4220F), 적외 방사선을 측정하기 위한 적외선 센서(4220G), 및 광자 진폭을 측정하기 위한 양자 센서(4220H)를 포함할 수 있다. 이들 센서 각각의 예는 이전 섹션에 나열되어 있다.

다중 감각 이미지

도 28은 다중 감각 이미징 시스템(5050B)에 의해 획득된 예시적인 별개 복안 이미지(5090B,1-5090B,5) 세트를 나타낸다. 각각의 센서 노드(4200)는 각각의 센서(4220)에 대한 측정 값을 갖는다. 각각의 센서 노드는 공간적으로 인덱싱된 픽셀로서 작용하고, 복수의 픽셀은 함께 복안 이미지를 형성한다. 도 28은 상이한 센서로부터의 측정에 대응하는 예시적인 복안 이미지 세트를 나타낸다. 이미지 5090B,1은 CO₂ 측정에 대응한다. 이미지 5090B,2는 상대 습도 측정에 대응한다. 이미지 5090B,3은 거리 측정에 대응한다. 이미지 5090B,4는 NIR 방사선 측정에 대응한다. 이미지 5090B,5는 가시광 방사선 측정에 대응한다. 이들 별개 이미지(5090B-1-5090B-5)는 다중 감각 이미지를 생성하기 위해 중첩될 수 있다. 도 28은, 노드 세트가 점유하는 공간에서 다섯 개의 감지된 조건에 대응하는 다섯 개의 별개 이미지를 나타낸다. 그러나, 임의의 수의 복안 감각 이미지가 상이한 센서(4220)의 수에 따라 이미징 시스템(5050B)에 의해 획득될 수 있다.

일반적으로, 이미징 시스템(5050B)에 의해 생성된 다중 감각 이미지는 복수의 픽셀(노드)을 포함한다. 각각의 픽셀은, 각각의 센서 유형에 대응하는 측정된 값의 벡터를 갖는다. 값의 벡터는, 관심 조건(5160B)의 식별을 용이하게 하기 위해 머신 러닝 또는 딥 러닝 알고리즘을 위한 특징부 세트에 대한 기초를 제공할 수 있다. 각 픽셀에서 측정된 값은, 알고리즘에 입력하기에 적합하도록 특징화될 수 있다. 즉, 측정된 픽셀 값은, 특징부라고 불리는 일련의 구조화된 수학적 표현 세트에 의해 표현될 수 있다. 이러한 방식으로, 알고리즘은 픽셀별 기초로 비파괴적이고 인시츄 실시간 측정으로부터 관심 조건(5160B)을 식별할 수 있다. 관심 조건을 나타내는 주어진 특징부 세트에서의 특정 값은 표지("주석")될 수 있고, 이에 따라 (예를 들어, 신뢰성 값을 갖는) 머신 러닝 매칭에 사용하기 위한 모델 훈련을 용이하게 하여, 물체(예를, 식물(들))의 실시간 측정에서 관찰된 관심 조건을 식별할 수 있다.

도 29는, 다중 감각 이미징 시스템(5050B)에서 일곱 개의 센서에 의해 측정된 일곱 개 값의 예시적인 2D 이미지 특징부 세트이다. 특징부 세트는 가시광 방사선(VIS), 근적외 방사선(NIR), 적외 방사선(IR), 대기 온도(AT), 상대 습도(RH), 이산화탄소(CO₂), 및 거리(TOF)의 측정치에 대한 값을 포함한다. 주어진 사용 사례의 경우, 주어진 측정 연습용 특징부 세트를 정의하기 위해, 이용 가능한 특징부의 임의의 서브세트가 선택될 수 있다. 즉, 특징부 세트는 2, 3, 4 또는 그 이상의 요소를 가질 수 있다. 관심 조건을 식별하기 위해 모든 측정이 필요한 것은 아니다.

도 30은 복수의 표지된 조건(5140B)을 포함한 기준 조건 라이브러리(5120B)를 나타내며, 이는 조건(5160B)를 관찰하기 위해 사용될 수 있다. 기준 조건 라이브러리(5120B)는 다양한 기준 조건에 대응하는 복수의 표지된 특징부 세트를 포함할 수 있다. 머신 러닝 알고리즘은, 하나 이상의 기준 조건이 픽셀별 기초로 2D 이미지에 존재하는지 여부를 결정하기 위해 기준 조건 라이브러리(5120B)와 실험 결과를 비교하고 상관시키는 데 사용될 수 있다.

도 31에 나타낸 예에서, 분산형 센서 그리드는 3차원 노드 어레이로서 배열되는데, 여기서 조명 기구(1000)의 배열은 노드 어레이의 X-축 및 Y-축에 의해 정의된 노드의 수평면을 구성하고("상부도" 참조), 노드 어레이는 또한 Z축을 따라 다수의 수직 레벨(4300)(예, 토양 레벨, 식물 레벨 및 조명 카노피 레벨에 각각 대응함, "측면도" 참조)을 포함한다. 하나 이상의 센서(4220)는 환경에서 재배 조건을 포괄적으로 모니터링하기 위해 노드 어레이 중 다수의 노드 또는 각각의 노드에 배치될 수 있다.

도 32는, 각각의 노드가 3D 이미지 내 픽셀로서 작용할 수 있도록 x, y, 및 z 좌표에 따라 인덱싱된 이미징 시스템(5050B)의 3D 노드 어레이(4100)의 하향식 뷰를 나타낸다. 도 32는 재배 구역에서 일부 간격으로 서로 옆에 배치된 두 개의 세장형 선반(902A 및 902B)을 포함하는 농업 환경을 나타낸다. 세 개의 행의 식물이 선반의 긴 길이를 따라 각각의 선반 상에서 서로 옆에 위치한다. 일반적으로 식물의 세 행의 중간 행 위에 위치하는 각각의 선반 위에는 네 개의 조명 기구(1000)가 있다. 이 예에서, 노드 어레이에 대한 y-축은 선반(902A 및 902B)의 긴 길이에 평행하게 선택된다(따라서, x-축은 선반의 짧은 폭에 평행함). 선반 자체의 중심 라인은 x-축을 따라 인덱싱된 위치 1 및 2를 정의하며(예, 선반의 폭을 가로질러 절반) 선반(902A 및 902B)의 각각 위에 배치된 네 개의 조명 기구(1000)는 y-축을 따라 인덱싱된 위치 A, B, C 및 D를 각각 정의한다(예, 조명 기구의 중심은 인덱싱된 위치 A 내지 D에 대응할 수 있음). 노드 어레이에 대한 z-축은 환경의 수직 높이를 따라 취하며, 도 32의 예에서 네 개의 인덱싱된 위치 또는 "레벨"(4300)(각각 L1, L2, L3 및 L4로 표지됨)로 분할된다. 따라서, 도 32의 예에서, 분산형 센서 그리드의 노드 어레이(4100)에는 총 32개의 노드(4200)가 있다.

도 33은, 다중 감각 이미징 시스템(5050B)에서 일곱 개의 센서에 의해 측정된 일곱 개 값의 예시적인 3D 이미지 특징부 세트이다. 특징부 세트는 가시광 방사선(VIS), 근적외 방사선(NIR), 적외 방사선(IR), 대기 온도(AT), 상대 습도(RH), 이산화탄소(CO₂), 및 거리(TOF)의 측정치에 대한 값을 포함한다. 주어진 사용 사례의 경우, 주어진 측정 연습용 특징부 세트를 정의하기 위해, 이용 가능한 특징부의 임의의 서브세트가 선택될 수 있다. 즉, 특징부 세트는 2, 3, 4 또는 그 이상의 요소를 가질 수 있다. 관심 조건을 식별하기 위해 모든 측정이 필요한 것은 아니다. 기준 조건 라이브러리(5120B) 및 머신 러닝 알고리즘은, 하나 이상의 기준 조건이 픽셀별 기초로 3D 이미지에 존재하는지 여부를 결정하는 데 사용될 수 있다.

노드 어레이(4100) 내의 노드(4200)는 또한 전력 및 네트워크 연결을 공유하도록 구성되어, 분산형 센서 그리드(4000)에서 다수의 센서(4220)의 통합을 단순화할 수 있다. 일부 구현에서, 복수의 조명 기구(1000)는 분산형 센서 그리드(4000)용 연결 플랫폼으로서 사용될 수 있다. 센서(4220)는 케이블 또는 동글을 사용하여 전력 및 네트워킹용 PoE 포트 또는 USB 포트에 결합할 수 있다. 일부 구현에서, 다양한 레벨(4300)에 위치한 다수의 센서(4220)가 단일 조명 기구(1000)에 연결될 수 있다. 예를 들어, 토양 센서는 USB 포트(1012B)에 매달린 긴 USB 연장 케이블을 통해 연결될 수 있고(예를 들어, 예시적인 이미지는 도 33S에 나타남), 조명 센서는 PoE 포트에 직접 연결될 수 있다. 복수의 조명 기구(1000)를 함께 연결함으로써, 센서(4220)는 또한 연결됨으로써 센서의 분산 어레이를 형성할 수 있다.

도 32의 예시적인 노드 어레이는 주로 예시의 목적으로 제공되며, 다른 노드 어레이 구성이 본 개시에 따라 고려됨을 이해해야 한다. 예를 들어, 조명 기구(1000)가 분산형 센서 그리드용 연결 플랫폼으로서 기능하는 일부 구현에서, 노드 어레이(4100)에서 지원되는 노드(4200)의 수는, 각각의 노드에 배치된 센서(4220)와의 연결을 위해 이용 가능한 전력 및 네트워크 포트의 수에 적어도 부분적으로 기초한다. 예를 들어, 도 32의 구성에서, 각각의 조명 기구(1000)는 하나 이상의 일체형 센서 조립체를 각각의 기구에 결합하기 위해 사용될 수 있는 USB 포트를 포함한다(여기서, 조립체는 각각의 노드에 배치된 센서(4220)로서 기능하고, 또한 조명 기구(1000)는 이러한 목적을 위해 하나 이상의 추가 USB 포트를 구비할 수 있음). 각각의 조명 기구는 또한 PoE 포트를 포함하며, 그 중 임의의 하나 이상의 포트는 하나 이상의 센서를 각각의 기구에 결합하기 위해 사용될 수 있다.

일부 구현에서, 노드(4200)의 수는 농업 환경에서 사용자 정의 밀도 및/또는 커버리지 영역에 의해 결정될 수 있다. 예를 들어, IR 온도 센서(4220G)는 유한 시야를 가질 수 있다. 따라서, 노드(4200)에 각각 대응하는 집적식 센서 어셈블리 어레이가 설치되고 이격되어, IR 온도 센서(4220G)의 각각의 시야가 충분히 중첩되어 환경 내 식물에 대한 감지 커버리지를 효과적으로 제공하도록 한다.

노드 어레이(4100) 내의 노드(4200)의 분포는 또한 공간적 및 정량적으로 변할 수 있다. 일부 구현에서, 노드(4200)는 균일하게 분포될 수 있다. 예를 들어, 전술한 바와 같이, 조명 기구(1000)의 균일한 어레이가 각각의 조명 기구(1000) 상의 USB 포트에 연결된 일체형 센서 어셈블리와 함께 배치될 수 있다. 일부 구현에서, 노드 어레이(4100) 내에 분포된 노드(4200)는 불균일할 수 있다. 예를 들어, 노드(4200)의 수는 식물 시스템의 각 레벨(4300)에 따라 달라질 수 있고, 여기서, 예를 들어 각각의 센서 유형에 의한 커버리지의 변화로 인해 주변 환경 조건보다 더 많은 노드(4200)가 토양 품질을 모니터링하는 데 사용될 수 있다. 또 다른 예에서, 농업 환경은 다양한 크기의 상이한 식물 종을 포함할 수 있다. 노드(4200)는 더 작은 크기의 식물의 경우 더 밀접하게 이격되고 더 큰 크기의 식물의 경우 더 희박할 수 있다. 또한, 노드(4200)는 센서(4220)를 포함하지 않을 수 있다. 이러한 빈 노드(4200)는, 노드(4200)의 균일한 분포를 갖는 센서(4220)의 불균일한 분포를 정의하는 데 사용될 수 있다. 예를 들어, 토양 품질 센서는 바닥 레벨(4300)에서 모든 노드(4200)를 점유할 수 있고, 주변 환경 센서는 상부 레벨(4300)에서 모든 다른 노드(4200)를 점유할 수 있고 그 사이에 빈 노드(4200)가 있다.

전술한 바와 같이, 노드 어레이(4100)는 제어된 재배 환경에서 다양한 관심 구역에 대응하는 다수의 레벨(4300)을 (예를 들어, z-축을 따라) 포함할 수 있다. 식물 시스템에서 관심 구역은 토양 레벨, 식물 레벨, 조명 캐노피 레벨, 및 주변 환경 레벨을 포함할 수 있다. 토양 레벨은 pH 값 및 화학적 조성과 같은 토양 조건에 대한 데이터를 제공할 수 있다. 식물 레벨은, 식물 근처의 잎 온도 또는 CO2 농도에 대한 데이터를 제공할 수 있다. 조명 캐노피 레벨은 조명원, 예를 들어 PPFD, 공기 온도, 상대 습도, 또는 열 소산 또는 조명 기구(1000)용 전력에 대한 데이터를 제공할 수 있다. 주변 환경 레벨은, 공기 순환 또는 농업 환경의 벽 또는 천장의 온도에 대한 데이터를 제공할 수 있다.

제어 시스템

농업 환경에서의 분산형 센서는, 다중 감각 이미징 시스템(5050B)에 의해 결정된 조건이 하나 이상의 제어 시스템의 작동 파라미터를 조절하는 데 사용될 수 있도록, 하나 이상의 제어 시스템에 결합될 수도 있다. 제어 시스템은 조명, 가열, 기류, 수경 재배, 및 습도 조절 시스템을 포함할 수 있으나, 이에 제한되지 않는다. 많은 농업 환경에서, 제어 시스템은 환경 내의 단일 또는 소수의 위치로부터 재배 조건에 영향을 미치도록 구성될 수 있다. 예를 들어, 공기 흐름에 영향을 미치는 HVAC 시스템은 환경에서 벽 또는 천장을 따라 간헐적으로 분산되어, 작동 파라미터가 변경될 경우에 다수의 노드(4200)에 영향을 미칠 수 있다. 다른 예에서, 조명 기구(1000)는 조명 기구(1000) 바로 아래 및 그 근처에 위치한 노드(4200)에서 재배 조건에 영향을 미칠 수 있다. 따라서, 하나 이상의 센서(4220)에 의해 획득된 데이터는, 다수의 노드(4200)에 걸쳐 재배 조건이 개선되거나 유지되도록, 제어 시스템을 조절하는 데 사용될 수 있다.

인간 기계 인터페이스

일부 구현에서, 분산형 센서 그리드(4000)는 도 24에 나타낸 바와 같이, 이미지 프로세서(5000B)에 연결될 수 있다. 프로세서(5000B)는 분산형 센서 그리드(4000) 내의 센서(4220)로부터 다양한 데이터를 처리하고 저장하는 컴퓨터 또는 서버일 수 있다. 프로세서(5000)는, 또한 사용자가 농업 환경의 다양한 양태를 모니터링하고 제어할 수 있게 하는, 도 32의 컴퓨터에 예시적인 구현예가 나타낸 인간-기계 인터페이스(HMI)(5100)를 포함할 수 있다. 예를 들어, 사용자는 센서(4220)에 의해 획득된 다양한 데이터에 액세스하고, 다양한 데이터를 보고 디스플레이하고, 하나 이상의 제어 시스템, 예를 들어 조명, 가열, 기류, 수경 재배 및 습도 조절 시스템을 제어할 수 있다.

일부 구현에서, HMI(5100)는, 사용자로 하여금 분산형 센서 그리드(4000)의 어레이(4100)로부터 하나 이상의 노드(4200)를 선택하게 하고, 이들 노드(4200)에 의해 수집된 데이터 또는 프로세서(5000B)에 의해 결정된 조건(5160B)을 디스플레이할 수 있게 한다. 노드(4200)의 선택을 용이하게 하기 위해, HMI(5100)는 농업 환경의 표현을 포함할 수 있다. 예를 들어, 도 32는 식물의 상이한 배열의 다양한 상부도 및 측면도를 나타낸다. 농업 환경의 표현은, 분산형 센서 그리드(4000)에 배치된 다양한 센서에 의해 기록된 데이터로 중첩될 수 있다. 나타낸 데이터는, 다양한 제어 시스템의 작동 파라미터(예, 조명 기구(1000)로부터의 전력 소모, 수경 재배 시스템 내의 펌프 전력) 및 환경 파라미터(예, 공기 온도, 잎 온도, 공기 유속, 상대 습도, PPFD, pH 레벨)를 포함할 수 있으나, 이에 제한되지 않는다. HMI(5100)는 또한 사용자로 하여금 상이한 노드 어레이(4100)(예, 환경 내의 별도 재배 구역 또는 실), 환경 뷰(예, 상부도, 측면도, 사시도), 및 센서(4220)에 결합된 제어 시스템(예, 다양한 조명 기구(1000))을 선택할 수 있게 한다. 데이터는 또한 실시간으로 업데이트되거나, 기록된 시간 목록에서 선택되거나, 일정 기간에 걸친 평균으로 디스플레이될 수 있다.

HMI(5100)는, 사용자로 하여금 프로세서(5000B)에 의해 결정된 이력 데이터 또는 조건(5160B)을 시간의 함수로서 디스플레이할 수 있게 한다. 예를 들어, 환경 온도, 상대 습도, 전력, 조명 기구(1000)의 온도, 이산화탄소 농도, 입수 온도(EWT), 출수 온도(LWT), 및 시스템 온 칩(SoC) 온도는 수 일의 기간에 걸쳐 남는다. 데이터는 실시간으로 연속적 또는 설정 시간 증분(예, 30분, 60분 및 3시간 마다)에 걸쳐 증분식으로 기록될 수 있다.

HMI(5100)는 또한 사용자로 하여금 제어 시스템을 조절시킬 수 있다(예, 일출 및 일몰을 시뮬레이션하기 위해 조명 기구(1000)의 출력을 조절함). 일부 구현에서, 프로세서(5000)는 하나 이상의 센서(4420)로부터의 데이터 및 사용자 정의 기준(예, 설정 온도, 상대 습도, CO2 농도)에 기초하여, 적어도 부분적으로 다양한 제어 가능 조건을 자동화할 수 있다.

전술한 바와 같이, 하나 이상의 카메라가 분산형 센서 그리드(4000)에 결합되어 농업 환경의 일부의 정지 이미지 또는 동영상을 기록하여 사용자로 하여금 환경을 원격으로 검사할 수 있게 한다. 일부 구현에서, 카메라의 선택은, 노드(4200) 또는 제어 시스템, 예를 들어 사용자에 의해 선택된 조명 기구(1000)와 관련해 카메라의 근접성 및 시야에 기초할 수 있다. 이미지 또는 비디오는 사용자에 의해 명령에 의해 획득되거나, 미리 설정된 일정에 따라 기록될 수 있다.

예시적인 다중-해상도 다중 감각 이미징 시스템

도 34의 a 및 도 34의 b는 CEH 시스템 내의 조명 기구(1000) 내에 통합된 다중-해상도 다중 감각 이미징 시스템의 센서 조립체의 예시적인 구현을 나타낸다. 센서 조립체는, 예시적인 다중 스펙트럼 이미징 시스템(5050A) 상의 섹션에서 전술한 이미징 엔진(1100)뿐만 아니라, 예시적인 다중 감각 이미징 시스템(5050B) 상의 섹션에서 설명된 바와 같은 분산형 포인트 센서(4220)를 포함한다.

도 34의 a는 상기 설명에 도입된 바와 같이 카메라/센서(1005)를 구비한 조명 기구(1000)를 나타내고, 여기서 카메라/센서는 다중 스펙트럼 이미징 엔진(1100)(본원에서 "이미징 엔진(1100)으로도 지칭됨)으로서 역할하는 모듈로서 통합된다. 도면에 나타낸 바와 같이, 일 구현 예시에서, 이미징 엔진(1100)은 LED 광원(400A, 400B) 사이의 프레임(1004)에 직접 장착될 수 있다. 조명 기구(1000)는 또한 조명 기구(1000)와 다른 장치(예, 다른 조명 기구(1000), 원격 장치, 액세서리) 사이의 데이터 전송을 위한 온보드 냉각(예, 냉각 파이프(1006A 및 1006B)) 및 다양한 통신 포트(PoE 포트(1008A-1008C), USB 포트(1012A))를 포함할 수 있다. 일부 구현에서, 이미징 엔진(1100)은, 이미징 엔진(1100)으로/으로부터 전력을 수신하고/수신하거나 데이터를 전송하기 위해, 조명 기구(1000)의 다른 구성 요소(예, 제어 회로 보드)에 전기적으로 결합될 수 있다.

도 34의 b는, 본 개시의 일부 구현예에 따라 하나 이상의 케이블형 USB 커플러/확장기(3206)를 통해, 도 34의 a에 나타낸 조명 기구(1000)의 측면 또는 말단 USB 포트(1012A)에 결합된 센서(4220)를 나타낸다. 센서 노드(4220)는 USB 케이블 확장기(3206)의 일 말단에 결합될 수 있고, 케이블 확장기(3206)의 다른 말단은 조명 기구의 USB 포트(1012A)에 결합될 수 있다. 조명 기구(1000) 아래의 상이한 거리에서 센서 어셈블리(3100)를 위치시키도록, 다양한 길이의 케이블 확장기가 확장기(3206)용으로 사용될 수 있다. 케이블 확장기(3206)는 단독으로 사용되거나, 하나 이상의 다른 케이블 확장기, 하나 이상의 구스넥형 확장기(3202), 하나 이상의 조절 가능한 각도형 확장기(3204), 하나 이상의 다른 유형의 확장기, 또는 전술한 것들의 조합과 함께 사용될 수 있다.

일부 구현에서, 다양한 레벨(4300)에 위치한 다수의 센서(4220)가 단일 조명 기구(1000)에 연결될 수 있다. 예를 들어, 토양 센서는 USB 포트(1012B)에 매달린 긴 USB 연장 케이블을 통해 연결될 수 있고(예를 들어, 예시적인 이미지는 도 33S에 나타남), 조명 센서는 PoE 포트에 직접 연결될 수 있다. 복수의 조명 기구(1000)를 함께 연결함으로써, 센서(4220)는 또한 연결됨으로써 센서의 분산 어레이를 형성할 수 있다.

도 35는 다중-해상도 다중 감각 이미징 시스템의 예시적인 센서 어레이를 나타낸다. 다중 감각 이미징 시스템은, 다중 스펙트럼 이미지를 획득하기 위한 이미징 엔진(1100), 가시광 방사선을 측정하기 위한 가시광 센서(4220A), CO₂를 측정하기 위한 CO₂ 센서(4220B), 공기 온도를 측정하기 위한 공기 온도 센서(4220C), 거리를 결정하기 위한 근접 센서(4220D), 상대 습도를 측정하기 위한 상대 습도 센서(4220E), NIR 방사선을 측정하기 위한 근적외선(NIR) 센서(4220F), 적외 방사선을 측정하기 위한 적외선 센서(4220G), 및 광자 진폭을 측정하기 위한 양자 센서(4220H)를 포함할 수 있다. 이들 센서 각각의 예는 이전 섹션에 나열되어 있다.

일부 구현에서, 이미징 시스템(1100)은, LED 요소(1142) 대신에 이미지/스펙트럼을 획득하기 위한 조명원으로서, 조명 기구(1000) 내의 LED 광원(400)을 이용할 수 있다. 전술한 바와 같이, LED 광원(400)은 공지된 파장에서 방사선을 방출하는 하나 이상의 LED 요소를 포함한다. 일부 구현에서, LED 광원(400) 내의 각각의 LED 요소는, LED 요소(1142)와 유사하게 독립적으로 활성화될 수 있다. 따라서, 일부 구현에서, 이미징 시스템(1100)은 환경 내의 다른 조명원(예, LED 광원(400))에 의존하는 대신에 온보드 조명원을 포함하지 않을 수 있다.

도 36은, 이러한 예시적인 다중 감각 이미징 시스템의 다중-해상도 특성을 나타낸다. 이 예에서, 각각의 센서 노드(4200)는 도 35에 설명된 센서 어레이를 포함하고, 이는 이미징 엔진(1100)과 여러 개의 포인트 센서(4220)를 포함한다. 시스템의 각각의 이미징 엔진(1100)은 마이크로 시야(5070A,1-5070A,3)를 정의한다. 다중 스펙트럼 이미지는 각각의 마이크로 시야(5070A,1-5070A,3)에 대해 획득된다. 또한, 각각의 센서 노드(4200)에서의 포인트 센서(4220)는 매크로 시야(5070B)에서 픽셀로서 작용한다. 다중 감각 복안 이미지는 각각의 센서 노드(4200)에서 센서 측정을 사용하여 생성된다.

다중 감각 이미징 시스템에 의해 생성된 각각의 픽셀에서의 값의 특징부 세트는, 포인트 센서(4220)로부터의 감각 데이터, 및 이미징 엔진(1100)으로부터의 다중 스펙트럼 이미징 데이터를 포함할 수 있다. 기준 조건 라이브러리(5120) 및 머신 러닝 알고리즘은, 하나 이상의 기준 조건이 픽셀별 기초로 다중 감각 이미지에 존재하는지 여부를 결정하는 데 사용될 수 있다.

결론

본원에 기술된 모든 파라미터, 치수, 재료 및 구성은 예시적인 것으로 의도되며 실제 파라미터, 치수, 재료 및/또는 구성은 본 발명의 교시가 사용되는 특정 적용분야 또는 적용분야들에 따라 달라질 것이다. 전술한 구현예들은 주로 예로서 제시되고, 첨부된 청구범위 및 이에 동등한 범위 내에서, 본 발명의 구현예들이 구체적으로 기술되고 청구된 것과 다르게 실시될 수 있다는 것을 이해되어야 한다. 본 개시의 발명의 구현예는 본원에 기술된 각각의 개별적인 특징, 시스템, 물품, 재료, 키트 및/또는 방법에 관한 것이다.

또한, 이러한 특징, 시스템, 물품, 재료, 키트 및/또는 방법이 서로 일치하지 않는 경우, 둘 이상의 이러한 특징, 시스템, 물품, 재료, 키트 및/또는 방법의 임의의 조합이 본 개시의 발명의 범위 내에 포함된다. 다른 치환, 변형, 변경 및 생략은 본 개시의 범위를 벗어나지 않고 예시적인 구현예의 각각의 요소의 설계, 작동 조건 및 배열에서 이루어질 수 있다. 수치 범위를 사용한다고 해서, 동일한 결과를 생성하기 위해 동일한 방법으로 동일한 기능을 수행하는 범위를 벗어나는 균등물을 배제하는 것은 아니다.

전술한 구현예는 여러 방식으로 구현될 수 있다. 예를 들어, 구현예는 하드웨어, 소프트웨어 또는 이들의 조합을 사용해 구현될 수 있다. 소프트웨어로 구현될 때, 소프트웨어 코드는 단일 컴퓨터에 제공되거나 다중 컴퓨터에 분산되어 있는지 여부에 관계없이 적합한 프로세서 또는 프로세서 모음에서 실행될 수 있다.

또한, 컴퓨터는 랙 장착 컴퓨터, 데스크톱 컴퓨터, 랩톱 컴퓨터, 또는 태블릿 컴퓨터와 같은 다수의 형태로 구현될 수 있음을 이해해야 한다. 또한, 컴퓨터는, 일반적으로 컴퓨터로 간주되지 않지만, PDA, 스마트폰, 또는 다른 임의의 적절한 휴대용 또는 고정된 전자 장치를 포함하는 적절한 처리 능력을 갖는 장치에 내장될 수 있다.

또한, 컴퓨터는 하나 이상의 입력 및 출력 장치를 가질 수 있다. 무엇보다 이들 장치는 사용자 인터페이스를 제시하기 위해 사용될 수 있다. 사용자 인터페이스를 제공하기 위해 사용될 수 있는 출력 장치의 예는, 출력의 시각적 프레젠테이션을 위한 프린터 또는 디스플레이 스크린이거나, 출력의 청각적 프레젠테이션을 위한 사운드 생성 장치 또는 스피커를 포함한다. 사용자 인터페이스에 사용될 수 있는 입력 장치의 예는 마우스, 터치 패드 및 디지털 태블릿과 같은 포인팅 장치 및 키보드를 포함한다. 다른 예로서, 컴퓨터는 음성 인식을 통하거나 다른 청각 포맷으로 입력 정보를 수신할 수 있다.

이러한 컴퓨터는 적합한 형태로 하나 이상의 네트워크에 의해 상호 연결될 수 있고, 기업 네트워크, 인텔리전트 네트워크(IN) 또는 인터넷과 같이, 로컬 영역 네트워크 또는 광역 네트워크를 포함한다. 이러한 네트워크는 적합한 기술에 기반할 수 있고, 적절한 프로토콜에 따라 작동할 수 있고, 무선 네트워크, 유선 네트워크 또는 광섬유 네트워크를 포함할 수 있다.

본원에서 요약된 다양한 방법 또는 프로세스는 다양한 운영 체제 또는 플랫폼 중 하나를 사용하는 하나 이상의 프로세서에서 실행가능한 소프트웨어로서 코딩될 수 있다. 이러한 소프트웨어는 다수의 적합한 프로그래밍 언어 및/또는 프로그래밍 툴 또는 스크립팅 툴 중 임의의 것을 사용해 작성될 수 있고, 또한 프레임워크 또는 가상 머신에서 실행되는 실행 가능한 기계 언어 코드 또는 중간 코드로 컴파일될 수 있다. 일부 구현예는 실행을 용이하게 하기 위해 특정 운영 체제 또는 플랫폼 및 특정 프로그래밍 언어 및/또는 스크립팅 툴 중 하나 이상을 구체적으로 사용할 수 있다.

또한, 다양한 본 발명의 개념이 하나 이상의 방법으로서 구현될 수 있으며, 그 중 적어도 하나의 예가 제공되었다. 본 방법의 일부로서 수행되는 동작들은 일부 경우에 상이한 방식으로 순서를 가질 수도 있다. 따라서, 본 발명의 일부 구현에서, 주어진 방법의 각각의 동작은 구체적으로 나타낸 것과 상이한 순서로 수행될 수 있으며, 이는 (이러한 동작이 예시적인 구현예에서 순차적인 동작으로 나타나더라도) 일부 동작을 동시에 수행하는 것을 포함할 수 있다.

본원에 언급된 모든 간행물, 특허 출원, 특허, 및 기타 참조문헌은 그 전체가 참고로 원용된다.

본원에 정의되고 사용된 모든 정의는, 사전적 정의, 참조로서 통합된 문서 내의 정의 및/또는 정의된 용어의 일반적인 의미를 통제하는 것으로 이해해야 한다.

본원에서 사용된 부정관사("일" 및 "하나")는, 달리 명백히 나타내지 않는 한 "적어도 하나"라는 의미로 이해해야 한다.

본원에서 사용된 "및/또는"이라는 문구는, 본 명세서 및 청구범위에서, 접합된, 즉 어떤 경우에는 결합하여 존재하고 다른 경우에는 분리적으로 존재하는 요소들 중 "둘 중 하나 또는 둘 다"를 의미하는 것으로 이해해야 한다. "및/또는"으로 열거된 다중 요소는 동일한 방식으로, 즉, 접합된 요소 중 "하나 이상의"로 해석되어야 한다. "및/또는" 절에 의해 구체적으로 식별된 요소들, 구체적으로 식별된 요소와 관련이 있거나 관련이 없는 다른 요소 이외의 다른 요소가 선택적으로 존재할 수 있다. 따라서, 비한정적인 예로서, "포함하는"과 같은 개방형 언어와 함께 사용될 때, "A 및/또는 B"에 대한 언급은: 일 구현예에서 A만(선택적으로 B이외의 요소를 포함); 다른 구현예에서, B만(선택적으로 A이외의 요소를 포함); 또 다른 구현예에서는 A 및 B 둘 다(선택적으로 다른 요소를 포함); 등을 지칭할 수 있다.

본 명세서 및 청구범위에 있어서 본원에서 사용되는 바와 같이, "또는"은 위에 정의된 바와 같이 "및/또는"과 동일한 의미를 갖는 것으로 이해해야 한다. 예를 들어, 목록에서 물품을 분리할 때 "또는" 또는 "및/또는"은 포괄적인 것, 즉 적어도 하나를 포함하되, 하나를 초과하는 숫자 또는 요소 목록, 및, 선택적으로, 추가적인 목록에 없는 물품 또한 포함하는 것으로 해석되어야 한다. 반대로, 예컨대 "단지 하나의" 또는 "정확하게 하나의", 또는 청구범위에서 사용될 때, "구성되는"과 같이, 명확하게 지시된 용어들 만이, 숫자 또는 요소 목록에서 정확히 하나의 요소를 포함하는 것을 지칭할 것이다. 일반적으로, 본원에서 사용되는 용어 "또는"은, 예컨대 "어느 하나의," "중 하나의," "단지 하나의," 또는 "정확히 하나의"와 같이 배타적인 용어가 앞에 올 때, 배타적 대안(즉, "하나 또는 다른 하나이되 둘 다는 아님")을 나타내는 것으로 해석되어야 한다. 청구범위에서 사용되는 경우, "본질적으로 이루어지는"은 특허법 분야에서 사용되는 바와 같이 통상적인 의미를 가질 것이다.

본 명세서 및 청구범위에 있어서 본원에서 사용되는 바와 같이, 하나 이상의 요소의 목록에 관하여 "적어도 하나의"라는 어구는, 요소 목록 내의 임의의 하나 이상의 요소로부터 선택된 적어도 하나의 요소를 의미하되, 요소 목록에 구체적으로 나열된 각 요소 및 모든 요소 중 적어도 하나를 반드시 포함하고, 요소 목록 내의 요소의 임의의 조합을 배제할 필요는 없다. 이러한 정의는, 또한, 구체적으로 식별된 요소 이외에 상응 요소가 구체적으로 식별된 요소와 관련이 있는지 여부와 상관없이, 문구 "적어도 하나"가 지칭하는 요소의 목록 내에 선택적으로 존재할 수 있게 한다. 따라서, 비한정적인 예로서, "A 및 B 중 적어도 하나"(또는, 등등하게 "A 또는 B 중 적어도 하나," 또는, 동등하게 "A 및/또는 B 중 적어도 하나")는: 일 구현예에서, B가 없이, 적어도 하나의 A, 선택적으로는 둘 이상(및 선택적으로 B외의 요소를 포함함); 다른 구현예에서, A가 없이, 적어도 하나의 B, 선택적으로 둘 이상(및 선택적으로 A외의 요소를 포함함); 또 다른 구현예에서, 적어도 하나의 A, 선택적으로 둘 이상, 및 적어도 하나의 B, 선택적으로 둘 이상(및 선택적으로 다른 요소를 포함함); 등을 지칭할 수 있다.

상기 명세서에서와 청구범위에서 "포함하는", "포함한", "갖는", "가지는", "함유하는", "수반하는", "보유하는", "구성되는" 등과 같은 모든 전환구는, 개방형으로서, 즉, 포함하되 이에 한정되지 않음을 의미한다는 것을 이해해야 한다. "구성되는" 및 "본질적으로 구성되는"의 전환구 만이, 미국 특허청 특허 심사 절차 매뉴얼 2111.03에 기술된 바와 같이, 폐쇄형 또는 반 폐쇄형 전환구에 상응한다.

Claims

다중 스펙트럼 이미징 장치(1100)로서,
자외선(UV) 영역에서 단파장 적외선(SWIR) 영역까지의 제1 파장 범위에서 복수의 협대역 조사기를 포함한 적어도 하나의 조사원(1140);
제1 시야 및 상기 제1 파장 범위에서 UV-SWIR 이미지를 획득하기 위한 적어도 하나의 제1 카메라(1005A);
상기 제1 시야 및 장파장 적외선(LWIR) 영역에서 LWIR 이미지를 획득하기 위한 적어도 하나의 제2 카메라(1005B); 및
상기 적어도 하나의 조사원 및 상기 적어도 하나의 제1 카메라를 제어하기 위한 적어도 하나의 제어기(5020)를 포함하되, 상기 적어도 하나의 제2 카메라는 상기 LWIR 이미지를 연속적으로 획득하는 동안, 상기 적어도 하나의 제어기는 상기 적어도 하나의 조사원과 조합하여 상기 적어도 하나의 제1 카메라를 주기적으로 활성화시켜 상기 UV-SWIR 이미지를 획득하는, 다중 스펙트럼 이미징 장치.
제1항에 있어서, 상기 적어도 하나의 조사원의 상기 복수의 협대역 조사기는 복수의 본질적으로 단색광인 LED를 포함하되, 상기 복수의 본질적으로 단색광인 LED 중 적어도 일부의 각각의 LED는 275 나노미터(nm) 내지 2060 나노미터(nm) 범위의 상이한 방출 파장을 갖는, 다중 스펙트럼 이미징 장치.
제2항에 있어서, 상기 복수의 본질적으로 단색광인 LED 중 적어도 일부의 각각의 LED의 상이한 방출 파장은 275 nm, 365 nm, 440 nm, 450 nm, 475 nm, 500 nm, 530 nm, 620 nm, 630 nm, 660 nm, 696 nm, 730 nm, 760 nm, 850 nm, 860 nm, 940 nm, 950 nm, 1450 nm, 1610 nm, 또는 2060 nm 중 적어도 두 개를 포함하는, 다중 스펙트럼 이미징 장치.
제2항에 있어서, 상기 복수의 본질적으로 단색광인 LED 의 적어도 일부의 각각의 LED의 상이한 방출 파장은 365 nm, 450 nm, 530 nm, 630 nm, 660 nm, 730 nm, 860 nm, 및 950 nm를 포함하는, 다중 스펙트럼 이미징 장치.
제2항에 있어서, 상기 UV-SWIR 이미지를 획득하기 위한 상기 적어도 하나의 제1 카메라는 팬-틸트-줌(PTZ) 카메라인, 다중 스펙트럼 이미징 장치.
제2항에 있어서, 비행 시간 근접 센서(1005D)를 추가로 포함하는, 다중 스펙트럼 이미징 장치.
제2항에 있어서, 상기 적어도 하나의 제어기는, 상기 다중 스펙트럼 이미징 장치의 작동 중에,
A) 상기 복수의 본질적으로 단색광인 LED의 제1 LED 요소를 활성화시켜 제1 파장에서 제1 방사선을 방출하고,
B) A) 동안, 제1 UV-SWIR 이미지를 획득하기 위해 적어도 하나의 제1 카메라를 제어하고,
C) 상기 제1 LED 요소를 비활성화하고,
D) 상기 복수의 본질적으로 단색광인 LED의 제2 LED 요소를 활성화시켜 제2 파장에서 제2 방사선을 방출하고,
E) D) 동안, 제2 UV-SWIR 이미지를 획득하기 위해 적어도 하나의 제1 카메라를 제어하고,
F) 상기 제2 LED 요소를 비활성화하도록 구성되는, 다중 스펙트럼 이미징 장치.
제7항에 있어서, 상기 적어도 하나의 제어기는,
G) 상기 다중 스펙트럼 이미징 장치의 작동 동안, D), E), 및 F)의 상기 제2 LED 요소 대신에 상기 복수의 본질적으로 단색광인 LED의 각각의 추가 LED 요소를 연속 대체함으로써, D), E), 및 F)를 반복하도록 구성되는, 다중 스펙트럼 이미징 장치.
제어된 환경 원예(CEH)용 밀폐된 환경(2000)을 제공하기 위한 빌딩 구조물(2050)로서, 상기 밀폐된 환경은 적어도 하나의 재배 영역(902)을 포함하고, 상기 빌딩 구조물은,
상기 제1 시야가 상기 밀폐된 환경의 적어도 하나의 재배 영역의 적어도 일부를 포함하도록 상기 빌딩 구조물 내에 배치된 제8항의 다중 스펙트럼 이미징 장치를 포함하는, 빌딩 구조물.
제9항에 있어서, 상기 빌딩 구조물은 100 미터 미만의 길이 스케일(2075)을 갖는, 빌딩 구조물.
제9항에 있어서, 상기 빌딩 구조물은 온실, 밀폐된 재배실, 또는 경지의 일부분에 대한 커버인, 빌딩 구조물.
제9항에 있어서, 상기 다중 스펙트럼 이미징 장치의 작동 동안, 상기 적어도 하나의 제어기는, 상기 밀폐된 환경의 적어도 하나의 재배 영역이 어두운 환경일 경우에 A), B), C), D), E), F), 및 G)를 수행하도록 구성되는, 빌딩 구조물.
제12항에 있어서, 상기 적어도 하나의 재배 영역에 광합성 활성 방사선(PAR)을 제공하기 위한 인공 조명 시스템(1000)을 추가로 포함하되,
상기 다중 스펙트럼 이미징 장치의 적어도 하나의 제어기는 상기 인공 조명 시스템을 끄는 동안에 상기 적어도 하나의 제어기는 A), B), C), D), E), F) 및 G)를 수행하도록 구성되는, 빌딩 구조물.
제13항에 있어서,
상기 인공 조명 시스템은 적어도 하나의 포트를 포함하고,
상기 다중 스펙트럼 이미징 장치는 상기 인공 조명 시스템의 적어도 하나의 포트에 통신 가능하게 결합되는, 빌딩 구조물.
제1항에 있어서, 상기 제1 시야에서 상기 적어도 하나의 제1 카메라에 의해 획득된 상기 UV-SWIR 이미지 및 상기 제1 시야에서 상기 적어도 하나의 제2 카메라에 의해 획득된 상기 LWIR 이미지를 중첩시켜, 상기 UV-SWIR 이미지 및 상기 LWIR 이미지를 포함한 적어도 하나의 다중 스펙트럼 이미지(5090A)를 생성하는 이미지 프로세서(5000A)를 추가로 포함하는, 다중 스펙트럼 이미징 장치.
제15항에 있어서,
상기 적어도 하나의 조사원의 상기 복수의 협대역 조사기는 복수의 본질적으로 단색광인 LED를 포함하되, 상기 복수의 본질적으로 단색광인 LED 중 적어도 일부의 각각의 LED는 275 나노미터(nm) 내지 2060 나노미터(nm) 범위의 상이한 방출 파장을 갖고,
상기 UV-SWIR 이미지는, 상기 상이한 방출 파장의 각각의 파장에서, 상기 상이한 방출 파장에 의해 상기 제1 물체를 조사하는 동안에 상기 제1 시야 내에 제1 물체(900)의 알베도를 기록하는 복수의 물체 이미지를 포함하고,
상기 이미지 프로세서는 상기 UV-SWIR 이미지의 상기 복수의 물체 이미지를 중첩시켜 상기 다중 스펙트럼 이미지를 생성하는, 다중 스펙트럼 이미징 장치.
제16항에 있어서, 상기 UV-SWIR 이미지를 획득하기 위한 상기 적어도 하나의 제1 카메라는 팬-틸트-줌(PTZ) 카메라인, 다중 스펙트럼 이미징 장치.
제16항에 있어서, 상기 다중 스펙트럼 이미징 장치와 상기 제1 물체 사이의 적어도 하나의 거리를 결정하기 위해, 상기 이미지 프로세서에 결합된 비행 시간 근접 센서(1005D)를 추가로 포함하는, 다중 스펙트럼 이미징 장치.
제18항에 있어서, 상기 이미지 프로세서는, 상기 비행 시간 근접 센서에 의해 결정된 상기 적어도 하나의 거리에 기초하여, 상기 다중 스펙트럼 이미지 내의 거리 정보를 포함하는, 다중 스펙트럼 이미징 장치.
제16항에 있어서, 상기 이미지 프로세서는, 상기 복수의 물체 이미지 내에 존재하는 흡광도 또는 반사율의 하나 이상의 피크에 적어도 부분적으로 기초하여, 상기 제1 물체에 존재하는 하나 이상의 화학 화합물 또는 성분을 감지 및/또는 정량화하기 위해 상기 상이한 방출 파장의 각각의 파장에서 상기 제1 물체의 알베도를 기록하는 상기 복수의 물체 이미지를 처리하도록 구성되는, 다중 스펙트럼 이미징 장치.
제20항에 있어서, 상기 하나 이상의 화학 화합물 또는 성분은 곰팡이, 흰곰팡이, 광합성 화합물, 물, NO₃, NO₂, P₄, K+, C₂H₄, CH₄, O₂ 또는 CO₂ 중 적어도 하나를 포함하는, 다중 스펙트럼 이미징 장치.
제20항에 있어서,
상기 이미지 프로세서는 상기 LWIR 이미지를 처리하여 상기 제1 물체의 하나 이상의 온도를 나타내는 히트 맵을 제공하도록 구성되고,
상기 이미지 프로세서에 의해 생성된 다중 스펙트럼 이미지는 상기 히트 맵을 포함하는, 다중 스펙트럼 이미징 장치.
제22항에 있어서,
상기 UV-SWIR 이미지는, 상이한 방출 파장의 각각의 파장에서, 공지된 광학 특성을 갖는 팬텀을 상기 상이한 방출 파장에 의해 조사하는 동안에 상기 제1 시야에서 상기 팬텀(950)의 복수의 UV-SWIR 교정 이미지를 포함하고,
상기 이미지 프로세서는, 상기 복수의 UV-SWIR 교정 이미지에 기초하여, 상기 복수의 물체 이미지를 처리하여 복수의 교정된 물체 이미지를 제공하도록 구성되는, 다중 스펙트럼 이미징 장치.
제23항에 있어서, 상기 팬텀은 반사율 기준 타겟을 포함하는, 다중 스펙트럼 이미징 장치.
제23항에 있어서,
상기 복수의 UV-SWIR 교정 이미지는, 주변 광 또는 인공 광 중 적어도 하나 및 상기 상이한 방출 파장에 의한 상기 팬텀을 조사하는 동안에 상기 제1 시야에서 상기 팬텀의 이미지인, 다중 스펙트럼 이미징 장치.
제22항에 있어서,
상기 LWIR 이미지는 상기 제1 시야에 흑체 방사체(975)의 적어도 하나의 LWIR 교정 이미지를 포함하고,
상기 이미지 프로세서는 상기 적어도 하나의 LWIR 교정 이미지를 처리하여 상기 제1 물체의 하나 이상의 온도를 나타내는 상기 히트 맵을 제공하도록 구성되는, 다중 스펙트럼 이미징 장치.
제15항에 있어서, 상기 이미지 프로세서에 결합되어 센서 데이터를 제공하는 적어도 하나의 집적 센서 어셈블리(4220)를 추가로 포함하되, 상기 적어도 하나의 집적 센서 어셈블리는 복수의 센서를 포함하고, 상기 복수의 센서는,
공기 온도 센서;
가시광 센서;
근적외선(NIR) 센서;
상대 습도 센서;
이산화탄소(CO2) 센서; 및/또는
적외선(IR) 센서를 포함하는, 다중 스펙트럼 이미징 장치.
제27항에 있어서, 상기 이미지 프로세서는 상기 다중 스펙트럼 이미지에서, 상기 적어도 하나의 집적 센서 어셈블리에 의해 제공된 상기 센서 데이터의 적어도 일부에 기초하여, 센서 정보를 포함하는, 다중 스펙트럼 이미징 장치.
이미징 시스템으로서,
상기 제1 시야에서 제1 UV-SWIR 이미지 및 제1 LWIR 이미지를 획득하기 위해 제1항에 따르는 제1 다중 스펙트럼 이미징 장치; 및
상기 제1 시야와 상이한 제2 시야에서 제2 UV-SWIR 이미지 및 제2 LWIR 이미지를 획득하기 위해 제1항에 따르는 제2 다중 스펙트럼 이미징 장치를 포함하는, 이미징 시스템.
제29항에 있어서, 상기 제1 및 제2 UV-SWIR 이미지와 상기 제1 및 제2 LWIR 이미지를 정사 보정하여 이미지 왜곡을 감소시키고 정사 보정된 제1 및 제2 UV-SWIR 이미지와 정사 보정된 제1 및 제2 LWIR 이미지를 제공하기 위해 상기 제1 다중 스펙트럼 이미징 장치와 상기 제2 다중 스펙트럼 이미징 장치에 결합된 이미지 프로세서를 추가로 포함하고, 상기 이미지 프로세서는, 상기 정사 보정된 제1 및 제2 UV-SWIR 이미지와 상기 정사 보정된 제1 및 제2 LWIR 이미지를 함께 스티칭하여 적어도 상기 제1 시야 및 상기 제2 시야를 커버하는 다중 스펙트럼 이미지를 제공하도록 추가 구성되는, 이미징 시스템.
다중 스펙트럼 이미징 방법으로서,
A) 제1 시야 및 장파장 적외선(LWIR) 영역에서 LWIR 이미지를 획득하는 단계; 및
B) A) 동안, 적어도 하나의 제1 카메라를 적어도 하나의 조사원과 조합하여 주기적으로 활성화시켜, 상기 제1 시야에서 UV-SWIR 이미지를 획득하는 단계를 포함하되,
상기 적어도 하나의 조사원은 자외선(UV) 영역에서 단파장 적외선(SWIR) 영역까지의 제1 파장 범위에서 복수의 협대역 조사기를 포함하는, 다중 스펙트럼 이미징 방법.
제31항에 있어서, 상기 적어도 하나의 조사원의 상기 복수의 협대역 조사기는 복수의 본질적으로 단색광인 LED를 포함하되, 상기 복수의 본질적으로 단색광인 LED 중 적어도 일부의 각각의 LED는 275 나노미터(nm) 내지 2060 나노미터(nm) 범위의 상이한 방출 파장을 갖는, 다중 스펙트럼 이미징 방법.
제32항에 있어서, 상기 복수의 본질적으로 단색광인 LED 중 적어도 일부의 각각의 LED의 상이한 방출 파장은 275 nm, 365 nm, 440 nm, 450 nm, 475 nm, 500 nm, 530 nm, 620 nm, 630 nm, 660 nm, 696 nm, 730 nm, 760 nm, 850 nm, 860 nm, 940 nm, 950 nm, 1450 nm, 1610 nm, 또는 2060 nm 중 적어도 두 개를 포함하는, 다중 스펙트럼 이미징 방법.
제32항에 있어서, 상기 복수의 본질적으로 단색광인 LED 의 적어도 일부의 각각의 LED의 상이한 방출 파장은 365 nm, 450 nm, 530 nm, 630 nm, 660 nm, 730 nm, 860 nm, 및 950 nm를 포함하는, 다중 스펙트럼 이미징 방법.
제32항에 있어서, B)는,
B1) 상기 복수의 본질적으로 단색광인 LED의 제1 LED 요소를 활성화시켜 제1 파장에서 제1 방사선을 방출하는 단계;
B2) B1) 동안, 제1 UV-SWIR 이미지를 획득하기 위해 적어도 하나의 제1 카메라를 제어하는 단계;
B3) 상기 제1 LED 요소를 비활성화하는 단계;
B4) 상기 복수의 본질적으로 단색광인 LED의 제2 LED 요소를 활성화시켜 제2 파장에서 제2 방사선을 방출하는 단계;
B5) B4) 동안, 제2 UV-SWIR 이미지를 획득하기 위해 적어도 하나의 제1 카메라를 제어하는 단계; 및
B6) 상기 제2 LED 요소를 비활성화하는 단계를 포함하는, 다중 스펙트럼 이미징 방법.
제35항에 있어서,
B7) B4), B5), 및 B6)의 상기 제2 LED 요소 대신에 상기 복수의 본질적으로 단색광인 LED의 각각의 추가 LED 요소를 연속 대체함으로써, B4), B5), 및 B6)를 반복하는 단계를 추가로 포함하는 다중 스펙트럼 이미징 방법.
제36항에 있어서,
B1), B2), B3), B4), B5), B6), 및 B7)을 어두운 환경에서 수행하는 단계를 포함하는 다중 스펙트럼 이미징 방법.
제31항에 있어서,
C) 상기 제1 시야에서 상기 적어도 하나의 제1 카메라에 의해 획득된 상기 UV-SWIR 이미지 및 상기 제1 시야에서의 상기 LWIR 이미지를 중첩시켜, 상기 UV-SWIR 이미지 및 상기 LWIR 이미지를 포함한 적어도 하나의 다중 스펙트럼 이미지(5090A)를 생성하는 단계를 추가로 포함하는 다중 스펙트럼 이미징 방법.
제38항에 있어서,
상기 적어도 하나의 조사원의 상기 복수의 협대역 조사기는 복수의 본질적으로 단색광인 LED를 포함하되, 상기 복수의 본질적으로 단색광인 LED 중 적어도 일부의 각각의 LED는 275 나노미터(nm) 내지 2060 나노미터(nm) 범위의 상이한 방출 파장을 갖고,
상기 UV-SWIR 이미지는, 상기 상이한 방출 파장의 각각의 파장에서, 상기 상이한 방출 파장에 의해 상기 제1 물체를 조사하는 동안에 상기 제1 시야 내에 제1 물체(900)의 알베도를 기록하는 복수의 물체 이미지를 포함하고,
C)는, 상기 UV-SWIR 이미지의 복수의 물체 이미지를 중첩하여 상기 다중 스펙트럼 이미지를 생성하는 단계를 포함하는, 다중 스펙트럼 이미징 방법.
제39항에 있어서,
D) 상기 복수의 물체 이미지 내에 존재하는 흡광도 또는 반사율의 하나 이상의 피크에 적어도 부분적으로 기초하여, 상기 제1 물체에 존재하는 하나 이상의 화학 화합물 또는 성분을 감지 및/또는 정량화하기 위해 상기 상이한 방출 파장의 각각의 파장에서 상기 제1 물체의 알베도를 기록하는 상기 복수의 물체 이미지를 처리하는 단계를 추가로 포함하는, 다중 스펙트럼 이미징 방법.
제40항에 있어서, 상기 하나 이상의 화학 화합물 또는 성분은 곰팡이, 흰곰팡이, 광합성 화합물, 물, NO₃, NO₂, P₄, K+, C₂H₄, CH₄, O₂ 또는 CO₂ 중 적어도 하나를 포함하는, 다중 스펙트럼 이미징 방법.
제40항에 있어서,
E) 상기 LWIR 이미지를 처리하여 상기 제1 물체의 하나 이상의 온도를 나타내는 히트 맵을 제공하는 단계; 및
F) 상기 다중 스펙트럼 이미지에 상기 히트 맵을 포함하는 단계를 추가로 포함하는, 다중 스펙트럼 이미징 방법.
제42항에 있어서,
상기 UV-SWIR 이미지는, 상이한 방출 파장의 각각의 파장에서, 공지된 광학 특성을 갖는 팬텀을 상기 상이한 방출 파장에 의해 조사하는 동안에 상기 제1 시야에서 상기 팬텀(950)의 복수의 UV-SWIR 교정 이미지를 포함하고,
상기 방법은,
G) 상기 복수의 UV-SWIR 교정 이미지에 기초하여, 상기 복수의 물체 이미지를 처리하여 복수의 교정된 물체 이미지를 제공하는 단계를 추가로 포함하는, 다중 스펙트럼 이미징 방법.
제43항에 있어서, 상기 팬텀은 반사율 기준 타겟을 포함하는, 다중 스펙트럼 이미징 방법.
제43항에 있어서,
상기 복수의 UV-SWIR 교정 이미지는, 주변 광 또는 인공 광 중 적어도 하나 및 상기 상이한 방출 파장에 의한 상기 팬텀을 조사하는 동안에 상기 제1 시야에서 상기 팬텀의 이미지인, 다중 스펙트럼 이미징 방법.
제42항에 있어서,
상기 LWIR 이미지는 상기 제1 시야에 흑체 방사체(975)의 적어도 하나의 LWIR 교정 이미지를 포함하고,
상기 방법은,
H) 상기 적어도 하나의 LWIR 교정 이미지를 처리하여 상기 제1 물체의 하나 이상의 온도를 나타내는 상기 히트 맵을 제공하는 단계를 추가로 포함하는, 다중 스펙트럼 이미징 방법.
이미징 시스템(5050)으로서,
상이한 조사 파장(λ₁, λ₂, λ₃...λ_N)을 갖는 광원 방사선(5040)을 각각 방출하기 위한 복수의 협대역 조사기(5030);
상기 복수의 협대역 조사기를 순차적으로 제어하여 상이한 조사 파장을 갖는 광원 방사선으로 적어도 하나의 물체(900)를 연속 조사하기 위한 플래시 제어기(5020);
상기 상이한 조사 파장을 갖는 방사선에 의한 상기 적어도 하나의 물체의 조사에 반응하여, 상기 적어도 하나의 물체에 의해 반사 또는 방출된 반사 또는 방출 방사선(5060)을 제1 시야(5070) 내에서 감지하는 적어도 하나의 센서(5080)(상기 적어도 하나의 센서는 상기 상이한 조사 파장에 각각 대응하는 복수의 협대역 이미지(5090)를 생성하되,
상기 복수의 협대역 이미지의 각각의 협대역 이미지는 복수의 픽셀을 포함하고,
상기 복수의 픽셀 중 각각의 픽셀은,
상기 적어도 하나의 센서의 시야에서 공간 위치를 나타내는 픽셀 좌표; 및
상기 시야 내의 상기 공간 위치에서, 감지된 방사선의 양을 나타내는 방사선 값으로 디지털 표현됨); 및
상기 적어도 하나의 물체의 기준 조건에 대응하는 복수의 표지된 특징부 세트(5140)를 포함한 기준 조건 라이브러리(5120)에 적어도 부분적으로 기초하여, 상기 적어도 하나의 센서의 시야 내의 각각의 공간 위치에서 상기 적어도 하나의 물체의 적어도 하나의 실제 조건을 추정하거나 결정하기 위해, 상기 복수의 협대역 이미지를 처리하는 이미지 프로세서(5000)(상기 복수의 표지된 특징부 세트 중 적어도 하나의 표지된 특징부 세트는 복수의 기준 값을 포함하고, 상기 복수의 기준 값의 각각의 기준 값은 상기 상이한 조사 파장 중 하나의 조사 파장에 대응함)를 포함하는, 이미징 시스템.
제47항에 있어서, 상기 상이한 조사 파장 중 하나에 대응하는 적어도 하나의 협대역 이미지에서, 적어도 일부 방사선 값은 상기 상이한 조사 파장 중 하나와 동일한 파장에 있는, 이미징 시스템.
제47항에 있어서, 상기 상이한 조사 파장 중 하나에 대응하는 적어도 하나의 협대역 이미지에서, 적어도 일부 방사선 값은 상기 상이한 조사 파장 중 하나보다 더 긴 파장에 있는, 이미징 시스템.
제47항에 있어서, 상기 시야에서 상기 적어도 하나의 물체의 열 방사선을 감지하고, 복수의 열화상 픽셀을 갖는 열화상 이미지를 생성하는 열화상 센서를 추가로 포함하되, 상기 복수의 열화상 픽셀에서 각각의 열화상 픽셀은,
상기 시야 내 공간 위치를 나타내는 픽셀 좌표; 및
상기 시야 내 공간 위치에서의 열 방사선 값에 의해 디지털 표현되는, 이미징 시스템.
제50항에 있어서,
상기 이미지 프로세서는, 상기 기준 조건 라이브러리에 적어도 부분적으로 기초하여, 상기 복수의 협대역 이미지와 함께 상기 열 이미지를 처리하여, 상기 시야 내의 각각의 공간 위치에서 상기 적어도 하나의 물체의 상기 적어도 하나의 실제 조건을 추정하거나 결정하고,
상기 기준 조건 라이브러리는, 복수의 기준 값을 포함한 상기 복수의 표지된 특징부 세트 중 적어도 하나의 표지된 특징부 세트를 갖고, 상기 기준 값 중 적어도 하나는 열 방사선 값에 대응하는, 이미징 시스템.
제47항에 있어서, 상기 적어도 하나의 센서는, 자외선, 가시광선 및 적외 방사선을 포함한 방사선의 스펙트럼에 반응하는, 적어도 하나의 카메라를 포함하는, 이미징 시스템.
적어도 하나의 물체의 복수의 협대역 이미지(5090)를 통해 상기 적어도 하나의 물체(900)의 적어도 하나의 조건을 결정하는 방법으로서, 상기 방법은,
상이한 조사 파장(λ₁, λ₂, λ₃... λ_N)을 갖는 방사선(5040)으로 상기 적어도 하나의 물체를 순차적으로 조사하는 단계;
상기 상이한 조사 파장을 갖는 방사선에 의한 상기 적어도 하나의 물체의 조사에 반응하여, 상기 적어도 하나의 물체에 의해 반사 또는 방출된 반사 또는 방출 방사선(5060)을, 시야(5070) 내에서 감지하는 단계;
상기 감지된 반사 또는 방출 방사선(5060)을 사용하여 상기 상이한 조사 파장에 각각 대응하는 상기 복수의 협대역 이미지(5090)를 생성하되,
상기 복수의 협대역 이미지의 각각의 협대역 이미지는 복수의 픽셀을 포함하고,
상기 복수의 픽셀 중 각각의 픽셀은,
상기 시야 내 공간 위치를 나타내는 픽셀 좌표; 및
상기 시야 내의 상기 공간 위치에서, 감지된 방사선의 양을 나타내는 방사선 값으로 디지털 표현되는 단계; 및
상기 적어도 하나의 물체의 기준 조건에 대응하는 복수의 표지된 특징부 세트(5140)를 포함한 기준 조건 라이브러리(5120)에 적어도 부분적으로 기초하여, 상기 시야 내의 각각의 공간 위치에서 상기 적어도 하나의 물체의 적어도 하나의 실제 조건을 추정하거나 결정하기 위해, 상기 복수의 협대역 이미지를 처리하는 단계(상기 복수의 표지된 특징부 세트 중 적어도 하나의 표지된 특징부 세트는 복수의 기준 값을 포함하고, 상기 복수의 기준 값의 각각의 기준 값은 상기 상이한 조사 파장 중 하나의 조사 파장에 대응함)를 포함하는, 방법.
제53항에 있어서, 상기 적어도 하나의 물체의 환경이, 상기 적어도 하나의 물체를 순차적으로 조사하기 이전에 그리고 상기 반사되거나 방출된 방사선을 감지하는 동안에 어둡도록, 상기 적어도 하나의 물체의 환경에서 조명원을 비활성화하는 단계를 추가로 포함하는, 방법.
제53항에 있어서, 상기 적어도 하나의 물체는 적어도 하나의 식물인, 방법.
다중 감각 이미징 시스템(5050)으로서,
시야(5070) 내에서, 상기 시야 내의 복수의 측정 가능한 조건을 감지하기 위한 센서의 공간 배열부(5080)(상기 센서의 공간 배열부는 센서 노드의 일차원(1D), 이차원(2D), 또는 삼차원 어레이를 포함하고, 상기 복수의 센서 노드 중 적어도 일부 센서 노드는 상기 복수의 측정 가능한 조건 중 적어도 두 개의 상이한 측정 가능 조건을 감지하는 적어도 하나의 센서를 포함함); 및
상기 센서의 공간 배열부에 결합되어 상기 적어도 두 개의 상이한 측정 가능 조건에 각각 대응하는 복수의 단일 감각 이미지(5090)를 생성하는 이미지 프로세서(5000)를 포함하되,
상기 복수의 단일 감각 이미지의 각각의 단일 감각 이미지는 복수의 픽셀을 포함하고,
상기 복수의 픽셀 중 각각의 픽셀은,
상기 적어도 하나의 센서의 시야에서 공간 위치를 나타내는 픽셀 좌표; 및
상기 시야 내의 공간 위치에서, 상기 적어도 두 개의 상이한 측정 가능 조건 중 하나의 측정된 조건을 나타낸 측정 값에 의해 디지털 표현되고,
상기 이미지 프로세서는, 기준 조건에 대응하는 복수의 표지된 특징부 세트(5140)를 포함한 기준 조건 라이브러리(5120)에 적어도 부분적으로 기초하여, 상기 시야 내의 각각의 공간 위치에서 적어도 하나의 환경 조건을 추정하거나 결정하기 위해, 상기 복수의 단일 감각 이미지를 처리하도록 구성되되, 상기 복수의 표지된 특징부 세트 중 적어도 하나의 표지된 특징부 세트는 복수의 기준 값을 포함하고, 상기 복수의 기준 값의 각각의 기준 값은 상기 적어도 두 개의 상이한 측정 가능 조건 중 하나의 측정 가능 조건에 대응하는, 다중 감각 이미징 시스템.