CN118043646A - 图像处理装置、摄像装置、图像处理方法及图像处理程序 - Google Patents

图像处理装置、摄像装置、图像处理方法及图像处理程序 Download PDF

Info

Publication number
CN118043646A
CN118043646A CN202280065367.4A CN202280065367A CN118043646A CN 118043646 A CN118043646 A CN 118043646A CN 202280065367 A CN202280065367 A CN 202280065367A CN 118043646 A CN118043646 A CN 118043646A
Authority
CN
China
Prior art keywords
image
wavelength range
light
infrared
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280065367.4A
Other languages
English (en)
Inventor
岛田智大
下津臣一
藤川哲也
河合智行
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN118043646A publication Critical patent/CN118043646A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—Two-dimensional [2D] image generation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Studio Devices (AREA)

Abstract

本发明的一个实施方式提供一种能够从图像中高精度地提取被摄体的异常区域的图像处理装置、摄像装置、图像处理方法及图像处理程序。在本发明的一个方式所涉及的图像处理装置中，处理器进行如下处理：基于可见图像和第1近红外图像，生成表示在被摄体表面存在异常的第1区域和包含在被摄体的内部存在异常的区域的第2区域的第1掩模图像；获取在利用第2波长范围的光对焦于被摄体的状态下利用第2波长范围的光拍摄的被摄体的第2近红外图像；及基于第1掩模图像和第2近红外图像，提取第1区域及第2区域中的异常区域。

Description

图像处理装置、摄像装置、图像处理方法及图像处理程序
技术领域
本发明涉及一种用于从被摄体的图像中提取异常区域的图像处理装置、摄像装置、图像处理方法及图像处理程序。
背景技术
关于用于从图像中提取异常区域的技术，例如在专利文献1中记载了从通过拍摄得到的可见光图像和近红外图像中分别单独提取特征量的情况。并且，在专利文献2中记载了关于从通过拍摄得到的可见光图像和近红外图像中分别单独提取损伤的情况。
以往技术文献
专利文献
专利文献1：日本特开2014-052800号公报
专利文献2：日本特开2020-051981号公报
发明内容
通过比较可见光区域的图像和近红外光区域的图像，例如能够检测水果内部的凹痕。为了了解如这样的凹痕的异常部分的准确的大小，需要在检测到异常的近红外的焦点位置进行拍摄。另一方面，即使想要通过获取在可见光的焦点位置拍摄的可见图像与在近红外光的焦点位置拍摄的近红外图像的差分来提取异常部分，关于没有异常的部分，模糊程度也大不相同，因此差分变大，很难仅提取异常部分。然而，如上述专利文献1、2那样的现有技术没有充分考虑到这样的情况。
本发明的技术所涉及的一个实施方式提供一种能够从图像中高精度地提取被摄体的异常区域的图像处理装置、摄像装置、图像处理方法及图像处理程序。
用于解决技术课题的手段
本发明的第1方式所涉及的图像处理装置具备处理器，所述图像处理装置中，处理器进行如下处理：获取在利用包含可见光的波长范围的第1波长范围的光对焦于被摄体的状态下利用第1波长范围的光拍摄的被摄体的可见图像；获取在利用第1波长范围的光对焦于被摄体的状态下利用包含近红外的波长范围且与第1波长范围不同的第2波长范围的光拍摄的被摄体的第1近红外图像；基于可见图像和第1近红外图像，生成表示在被摄体表面存在异常的第1区域和包含在被摄体的内部存在异常的区域的第2区域的第1掩模图像；获取在利用第2波长范围的光对焦于被摄体的状态下利用第2波长范围的光拍摄的被摄体的第2近红外图像；及基于第1掩模图像和第2近红外图像，提取第1区域及第2区域中的异常区域。
在第1方式及以下各方式中，“异常区域”例如是损伤、变形等存在异常的区域，但在本发明中，“异常区域”并不限于存在这样的缺陷或不良的区域，也可以是“虽然是正常或通常的区域，但具有与周围的区域不同的特征(构成的物质、密度、温度等不同的区域)的区域”。并且，“异常区域”还能够限定被摄体的表面、内部中的任意一个。关于具体的异常区域的例子，在“本发明中的观察对象及异常区域的例子”的项目中后述。
第2方式所涉及的图像处理装置在第1方式中，处理器获取将近红外的波长范围作为第2波长范围拍摄的图像作为第1近红外图像及第2近红外图像。
第3方式所涉及的图像处理装置在第1或第2方式中，处理器获取将包含可见及近红外的波长范围作为第2波长范围的光拍摄的图像作为第1近红外图像及第2近红外图像。
第4方式所涉及的图像处理装置在第1至第3方式中任一方式中，处理器基于可见图像与第1近红外图像的差分来生成第1掩模图像。
第5方式所涉及的图像处理装置在第1至第4方式中任一方式中，处理器将可见图像输入到异常检测用第1神经网络，生成第1掩模图像。
第6方式所涉及的图像处理装置在第1至第5方式中任一方式中，处理器将可见图像或第1近红外图像输入到异常检测用第2神经网络，生成第2掩模图像，并进一步使用第2掩模图像提取异常区域。
第7方式所涉及的图像处理装置在第1至第6方式中任一方式中，处理器提取异常区域的周缘部作为轮廓。
第8方式所涉及的图像处理装置在第1至第7方式中任一方式中，处理器基于第1掩模图像中的异常区域的检测结果，判断是否获取第2近红外图像。
第9方式所涉及的图像处理装置在第1至第8方式中任一方式中，处理器基于第1波长范围与第2波长范围的差分，判断是否获取第2近红外图像。
第10方式所涉及的图像处理装置在第1至第9方式中任一方式中，处理器将可见图像和/或第1近红外图像中存在第1掩模图像的区域与其他区域识别显示。
本发明的第11方式所涉及的图像处理装置具备处理器，所述图像处理装置中，处理器进行如下处理：获取在利用包含可见光的波长范围的第1波长范围的光对焦于被摄体的状态下利用第1波长范围的光拍摄的被摄体的可见图像；获取在利用第1波长范围的光对焦于被摄体的状态下利用包含近红外的波长范围且与第1波长范围不同的第2波长范围的光拍摄的被摄体的第1近红外图像；基于可见图像和第1近红外图像，生成表示在被摄体表面存在异常的第1区域和包含在被摄体的内部存在异常的区域的第2区域的第1掩模图像；及处理器基于第1掩模图像中的异常的检测结果，判断是否获取在利用第2波长范围的光对焦于被摄体的状态下利用第2波长范围的光拍摄的被摄体的第2近红外图像。
第12方式所涉及的图像处理装置在第11方式中，在判断为获取第2近红外图像的情况下，处理器进行如下处理：获取第2近红外图像；及基于第1掩模图像和第2近红外图像，提取第1区域及第2区域中的异常区域。
本发明的第13方式所涉及的摄像装置具备：光学系统，使第1波长范围的光及第2波长范围的光透射；滤光器切换机构，将降低第1波长范围的光中的至少一部分的透射率的第1滤光器和降低第2波长范围的光中的至少一部分的第2滤光器中的任一个配置于光学系统的光路上；成像元件，输出与透射光学系统和第1滤光器或第2滤光器的光对应的图像信号；及第1至第12方式中任一方式所涉及的图像处理装置，处理器基于从成像元件输出的图像信号，获取可见图像、第1近红外图像及第2近红外图像。
第14方式所涉及的摄像装置在第13方式中，光学系统具备对焦位置调整透镜，处理器进行如下处理：将表示第1滤光器配置于光路上时的对焦位置的对焦位置信息预先存储于存储器中；及根据第1滤光器和第2滤光器中的哪一个配置于光路上，参考对焦位置信息来变更对焦位置调整透镜的位置。
本发明的第15方式所涉及的图像处理方法由具备处理器的图像处理装置执行，所述图像处理方法中，处理器进行如下处理：获取在利用包含可见光的波长范围的第1波长范围的光对焦于被摄体的状态下利用第1波长范围的光拍摄的被摄体的可见图像；获取在利用第1波长范围的光对焦于被摄体的状态下利用包含近红外的波长范围且与第1波长范围不同的第2波长范围的光拍摄的被摄体的第1近红外图像；基于可见图像和第1近红外图像，生成表示在被摄体表面存在异常的第1区域和包含在被摄体的内部存在异常的区域的第2区域的第1掩模图像；获取在利用第2波长范围的光对焦于被摄体的状态下利用第2波长范围的光拍摄的被摄体的第2近红外图像；及基于第1掩模图像和第2近红外图像，提取第1区域及第2区域中的异常区域。第15方式所涉及的图像处理方法可以进一步执行与第2至第12方式相同的结构。
本发明的第16方式所涉及的图像处理方法由具备处理器的图像处理装置执行，所述图像处理方法中，处理器进行如下处理：获取在利用包含可见光的波长范围的第1波长范围的光对焦于被摄体的状态下利用第1波长范围的光拍摄的被摄体的可见图像；获取在利用第1波长范围的光对焦于被摄体的状态下利用包含近红外的波长范围且与第1波长范围不同的第2波长范围的光拍摄的被摄体的第1近红外图像；基于可见图像和第1近红外图像，生成表示在被摄体表面存在异常的第1区域和包含在被摄体的内部存在异常的区域的第2区域的第1掩模图像；及处理器基于第1掩模图像中的异常的检测结果，判断是否获取在利用第2波长范围的光对焦于被摄体的状态下利用第2波长范围的光拍摄的被摄体的第2近红外图像。第16方式所涉及的图像处理方法可以进一步执行与第2至第12方式相同的结构。
本发明的第17方式所涉及的图像处理程序使具备处理器的图像处理装置执行图像处理方法，在图像处理方法中，处理器进行如下处理：获取在利用包含可见光的波长范围的第1波长范围的光对焦于被摄体的状态下利用第1波长范围的光拍摄的被摄体的可见图像；获取在利用第1波长范围的光对焦于被摄体的状态下利用包含近红外的波长范围且与第1波长范围不同的第2波长范围的光拍摄的被摄体的第1近红外图像；基于可见图像和第1近红外图像，生成表示在被摄体表面存在异常的第1区域和包含在被摄体的内部存在异常的区域的第2区域的第1掩模图像；获取在利用第2波长范围的光对焦于被摄体的状态下利用第2波长范围的光拍摄的被摄体的第2近红外图像；及基于第1掩模图像和第2近红外图像，提取第1区域及第2区域中的异常区域。第17方式所涉及的图像处理程序可以进一步执行与第2至第12方式相同的结构。记录了这些方式的图像处理程序的计算机可读取代码的非临时性记录介质也包含在本发明的范围内。
本发明的第18方式所涉及的图像处理程序使具备处理器的图像处理装置执行图像处理方法，在图像处理方法中，处理器进行如下处理：获取在利用包含可见光的波长范围的第1波长范围的光对焦于被摄体的状态下利用第1波长范围的光拍摄的被摄体的可见图像；获取在利用第1波长范围的光对焦于被摄体的状态下利用包含近红外的波长范围且与第1波长范围不同的第2波长范围的光拍摄的被摄体的第1近红外图像；基于可见图像和第1近红外图像，生成表示在被摄体表面存在异常的第1区域和包含在被摄体的内部存在异常的区域的第2区域的第1掩模图像；及处理器基于第1掩模图像中的异常的检测结果，判断是否获取在利用第2波长范围的光对焦于被摄体的状态下利用第2波长范围的光拍摄的被摄体的第2近红外图像。第18方式所涉及的图像处理程序可以进一步执行与第2至第12方式相同的结构。记录了这些方式的图像处理程序的计算机可读取代码的非临时性记录介质也包含在本发明的范围内。
附图说明
图1是表示第1实施方式所涉及的摄像装置的整体结构的图。
图2是表示成像透镜的透光率分布的曲线图。
图3是从图1的A-A方向观察的滤光器切换部的概略图。
图4是表示摄像装置的概略结构的框图。
图5是表示计算机的概略结构的图。
图6是表示实施例1中的摄像顺序的流程图。
图7是表示实施例1中的图像处理的顺序的图。
图8是概念性地表示拍摄的图像及掩模图像的图。
图9是概念性地表示通过图像处理得到的图像的图。
图10是概念性地表示通过图像处理得到的图像的另一图。
图11是概念性地表示通过图像处理得到的图像的又一图。
图12是表示实施例1的变形例中的图像处理的顺序的图。
图13是表示实施例2中的摄像顺序的流程图。
图14是表示实施例2中的图像处理的顺序的图。
图15是表示实施例3中的图像处理的顺序的图。
图16是表示实施例3的变形例中的图像处理的图。
图17是表示光瞳分割型光学系统的结构的图。
具体实施方式
本发明所涉及的图像处理装置、摄像装置、图像处理方法及图像处理程序的一个实施方式如下所述。在说明中，根据需要参考附图。
[第1实施方式]
[摄像装置的结构]
图1是表示第1实施方式所涉及的摄像装置的整体结构的图。如图1所示，摄像装置1(摄像装置)具备成像透镜100和摄像部130。摄像部130具备成像元件132。
[成像透镜的结构]
成像透镜100是具有多个透镜的透镜。成像透镜100从接物侧朝向成像侧具备物镜10、聚焦透镜12、变焦透镜14、光圈30、滤光器切换部50及调整透镜16。“接物侧”是指摄像对象(被摄体)存在的一侧，“成像侧”是指摄像对象的光学像成像的一侧，即成像元件132存在的一侧。另外，“成像透镜”是指例如用于通过多个透镜使摄像对象的光学像成像于成像元件132的成像面132A上的光学系统。“成像透镜”不仅包括透镜，还可以包括光圈、滤光器、半反射镜、和/或偏转元件等光学元件。
物镜10固定于透镜等保持各光学元件的壳体90，并且使来自摄像对象的光聚光。
聚焦透镜12是调节对象像的对焦位置的光学系统。变焦透镜14是调节变焦倍率的光学系统。聚焦透镜12及变焦透镜14例如通过凸轮机构(省略图示)相互联动地沿着成像透镜100的光轴OP(光路)前后移动。由此，变更倍率且调节对焦位置，使得对焦位置位于成像元件132的成像面132A上。聚焦透镜12及变焦透镜14例如通过由变焦透镜驱动机构20旋转变焦凸轮(省略图示)而被驱动。根据从用户向摄像装置1赋予的指示，由控制部110(处理器)控制变焦透镜驱动机构20。
光圈30是遮挡杂散光等不需要的光并缩小光束的光学元件。滤光器切换部50(滤光器切换机构)是用于在可见光下的摄像和近红外光下的摄像中切换为不同的滤光器的装置。在图1中，光圈30配置于变焦透镜14与滤光器切换部50之间，但光圈30的位置并不限定于此，例如，也可以可移动地配置于聚焦透镜12与变焦透镜14之间。
[成像透镜的透光率]
对成像透镜100(光学系统)的透光率进行说明。成像透镜100的各透镜被涂层以使可见光及近红外光的特定波长区域具有高透光率。涂层优选通过在透镜面上以薄膜状层叠TiO2、Ta2O5、Al2O3、SiO2、MgF2等透射光的材料的涂层而由多个层构成。通过调整形成薄膜的材料的折射率、厚度、层数，能够提高特定波长区域的透光率，降低特定波长区域的透光率。用于提高特定波长区域的透光率并降低特定波长区域的透光率的涂层材料、涂层厚度及涂层层数能够通过计算机模拟等来设计。
透光率是指使一定波长的光入射到例如透镜时的、从透镜射出的光的强度(出射光强度)相对于入射到透镜的光的强度(入射光强度)的比例，由下式表示。
透光率(％)＝100ד出射光强度”/“入射光强度”
虽然在图1中简化了描述，但物镜10、聚焦透镜12、变焦透镜14及调整透镜16也可以分别由1片以上的透镜组构成。成像透镜100作为整体也可以由几片到几十片透镜构成。成像透镜100的各透镜被涂层以在可见光和近红外光中的特定波长范围具有高透光率(即，对于该特定波长范围以外的波长范围具有相对低的透光率)。涂层可以仅实施于全部透镜中的一部分。然而，更优选对全部透镜实施涂层。
[可见光及近红外光下的对焦位置的差异]
在上述成像透镜100中，可见光和近红外光的焦点位置存在差异。差异取决于光学系统的具体的结构，但例如为0.5mm～2.0mm左右。当在利用可见光对焦于被摄体的状态下进行拍摄时，发射近红外光的区域成为散焦状态。
[成像透镜的透光率分布]
图2是表示成像透镜100的透光率分布的图。图2的横轴是波长，纵轴是成像透镜100的透光率。如图2所示，成像透镜100的透光率分布在1450nm到1650nm的近红外光峰值波长区域NIR中具有第1透光率峰值PK1。即，比近红外光峰值波长区域NIR更靠短波长侧的透光率随着波长从近红外光峰值波长区域NIR的短波长端(1450nm)的透光率变短而减小。并且，比近红外光峰值波长区域NIR更靠长波长侧的透光率随着波长从近红外光峰值波长区域NIR的长波长端(1650nm)的透光率变长而减小。
从图2可知，第1透光率峰值PK1的透光率在1520nm的波长下大约为92％。并且，波长1490nm到1560nm的范围的透光率为90％以上。
并且，成像透镜100的透光率分布在450nm到700nm的可见光峰值波长区域VIS具有第2透光率峰值PK2。即，比可见光峰值波长区域VIS更靠短波长侧的透光率随着波长从可见光峰值波长区域VIS的短波长端(450nm)的透光率变短而减小。并且，比可见光峰值波长区域VIS更靠长波长侧的透光率随着波长从可见光峰值波长区域VIS的长波长端(700nm)的透光率变长而减小。
如图2可知，第2透光率峰值PK2的透光率在570nm到580nm的波长下大约为96％。并且，波长480nm到660nm的范围的透光率为90％以上。
并且，可见光波长区域中包含的蓝色波长区域中的短波长侧的波长区域的透光率比蓝色波长区域中的长波长侧的波长区域的透光率低。具体而言，蓝色波长区域的450nm以下的波长区域的透光率低于比450nm长的波长区域的透光率。并且，波长400nm到430nm的透光率为50％以下。当使波长400nm到430nm的透光率高于50％时，作为成为近红外波长范围的峰值的3倍波的波长1200nm到1290nm的透光率也变高。这表示近红外波长区域的峰值变宽，并且有可能导致波长1550nm附近的透光率降低或残留波纹等特性降低。
而且，成像透镜100在近红外光峰值波长区域与可见光峰值波长区域之间的波长900nm到1100nm的范围内具有与近红外光峰值波长区域和可见光峰值波长区域相比透光率低的低透光率区域LOW。低透光率区域LOW的透光率优选为5％以下。低透光率区域LOW是伴随在近红外光峰值波长区域NIR中形成近红外光波长区域中的透光率峰值并且在可见光峰值波长区域VIS中形成可见光波长区域中的透光率峰值而产生的区域。然而，低透光率区域LOW的波长是无助于可见光下的摄像及近红外光下的摄像的波长区域，因此低透光率区域LOW的透光率低不是问题。
图2所示的透光率分布在近红外光峰值波长区域NIR中具有1个透光率峰值PK1，并且在可见光峰值波长区域VIS中具有1个透光率峰值PK2。然而，本发明的透光率分布并不限于此。在近红外光峰值波长区域NIR中可以具有由多个透光率峰值形成的波形的形状(波纹)。并且，在可见光峰值波长区域VI S中可以具有波纹。波纹是表示透光率的变动的1个特性的形状。如此，只要是在近红外光峰值波长区域NIR中具有透光率峰值并且在可见光峰值波长区域VIS中具有透光率峰值的分布即可，波纹的有无、即透光率峰值的数量没有限定。
在近红外光峰值波长区域NIR中形成的第1透光率峰值PK1优选半峰宽度尽可能窄。当波长范围扩大时，与可见光相比波长长的近红外光的色差比可见光容易出现。因此，优选拍摄的波长范围尽可能窄。
如图2所示的透光率分布是以使基本波的3分之1波长的透光率峰值存在于可见光峰值波长区域中的方式进行涂层而得到，该基本波通过由在近红外光峰值波长区域中具有透光率峰值的基本波的涂层引起的干涉而产生。基本波优选在1550nm附近具有峰值。通过将涂层构成为不出现基本波的2分之1波长的透光率峰值，并且增大3分之1波长的透光率峰值，从而可以得到满足上述条件的透光率分布。通过现有技术，能够设计并形成可以得到满足上述条件的透光率分布的涂层。
[滤光器切换部]
如图3(从图1的A-A方向观察的滤光器切换部的概略图)所示，滤光器切换部50是在圆板上配置有4个滤光器52、54、56及58的转塔式切换装置。该切换装置通过马达等转塔驱动机构22使圆板旋转，将各滤光器配置于光路OP上。旋转可以是顺时针旋转，也可以是逆时针旋转。滤光器切换部50具备用于检测配置于光路OP上的滤光器的未图示的传感器。传感器的设置位置可以不是滤光器切换部50，而是转塔驱动机构22。根据从用户向摄像装置1赋予的指示，由控制部110(处理器；转塔驱动部116)控制转塔驱动机构22。
另外，在图1中滤光器切换部50配置于变焦透镜14与调整透镜16之间，但滤光器切换部50的位置并不限定于此。滤光器切换部50能够配置于比物镜10更靠对象物侧到比调整透镜16更靠成像侧之间。例如，滤光器切换部50可以配置于调整透镜16与成像元件132之间。
并且，摄像装置1也可以是收容成像透镜100的壳体90与摄像部130能够分离的结构。例如，摄像装置1也可以构成为，将壳体90设为可更换的透镜部，将摄像部130设为相机部，能够将多种透镜部中的任一个安装于1个相机部上。在该情况下，滤光器切换部50可以配置于摄像部130、即相机部。
滤光器52(第2滤光器)是降低近红外光中的至少一部分波长范围的透光率的带通滤光器。“近红外光中的至少一部分波长范围的透光率”是指例如与成像透镜100的近红外光区域中的光透射区域相关的透光率。在此，“近红外光区域”是指例如近红外光波长区域中的1100nm以上的波长区域。并且，“近红外光区域中的光透射区域”是指例如后述的近红外光峰值波长区域。滤光器52(带通滤光器)是本发明的技术所涉及的第2滤光器的一例。在由摄像装置1利用包含可见光的波长范围的第1波长范围的光进行拍摄的情况下，滤光器52配置于光路OP上。
滤光器54(第1滤光器)是降低可见光中的至少一部分波长范围的透光率的带通滤光器。“可见光中的至少一部分波长范围的透光率”是指与成像透镜100的可见光区域中的光透射区域相关的透光率。在此，“可见光区域”是指例如800nm以下的波长区域。并且，“可见光区域中的光透射区域”是指例如后述的可见光峰值波长区域。在利用包含近红外光的波长范围且与第1波长范围不同的第2波长范围的光进行摄像的情况下，滤光器54配置于光路OP上(光路上)。
滤光器56是具有接近其他滤光器52、54及58的折射率的透明玻璃板。另外，在本实施方式中，“透明”是指使可见光及近红外光透射。滤光器56是用于在不使用其他滤光器52、54及58的情况下尽可能不使光路长度从使用滤光器52、54及58时的光路长度改变的光路长度调整滤光器。滤光器58是光量调整用ND(Neutral Density：中性密度)滤光器。
滤光器52的作为折射率和厚度的的乘积的ND值大于滤光器54的作为折射率和厚度的乘积的ND值。这是为了减小作为摄像对象的光切换可见光和近红外光时的光路长度之差，并且减小可见光下的对焦位置与近红外光下的对焦位置之差。即，滤光器52使可见光透射，但可见光下的焦距比近红外光下的焦距短。因此，使滤光器52的ND值大于透射近红外光的滤光器54的ND值，从而延长光路长度。利用该结构，能够减小可见光下的对焦位置与近红外光下的对焦位置的偏差。改变滤光器52的ND值和滤光器54的ND值的结构在仅通过以下记载的调整透镜16无法完全调整可见光下的对焦位置与近红外光下的对焦位置的偏差的情况下有用。
[调整透镜]
调整透镜16(对焦位置调整透镜)是用于在切换滤光器52和滤光器54时调整可见光下的焦距与近红外光下的焦距的差异的透镜。波长比可见光长的近红外光的焦距比可见光的焦距长。当聚焦透镜12及变焦透镜14被构成为联动地移动以使可见光下的变倍时的对焦位置与成像元件132的成像面132A对准时，无法调整近红外光下的对焦位置。因此，在近红外光下的摄像时，即在光路OP上配置滤光器54(第1滤光器)的情况下，基于后述的对焦位置数据(对焦位置信息)，移动调整透镜16以使对焦位置与成像面132A对准。
调整透镜16由调整透镜驱动机构24驱动。根据来自用户的指示，由控制部110(处理器；调整透镜驱动部118)控制调整透镜驱动机构24。具体而言，控制部110控制调整透镜驱动机构24，以使根据由用户指示的摄像条件，将调整透镜16的位置调整到对焦位置。在此，摄像条件是指例如根据用户的指示选择是可见光还是近红外光和选择变焦倍率。另外，调整透镜16的对焦位置是指用于在对焦状态下使光成像于成像元件132的成像面132A上的调整透镜16的位置。
或者，控制部110可以基于来自设置于滤光器切换部50的传感器的滤光器位置信息来识别配置于光路OP上的滤光器，并且基于对焦位置数据来调整调整透镜16的位置。例如，当由用户经由后述的输入部28对控制部110指示可见光下的摄像时，由控制部110将滤光器52配置于光路OP上。并且，当由用户经由输入部28对控制部110指示近红外光下的摄像时，由控制部110将滤光器54配置于光路OP上。控制部110通过设置于滤光器切换部50的传感器来检测光路OP上的滤光器的种类，基于检测到的滤光器的种类来调整调整透镜16的位置。另外，调整透镜16也能够用于更换摄像部130时的法兰距调整。
另外，成像透镜100的结构并不限定于上述方式。例如，变焦透镜或聚焦透镜的透镜结构已知有各种形式，并且还已知有用于变焦控制或聚焦控制的结构(送出整个透镜组或送出透镜组的一部分等)，在本发明中也能够采用这些结构。
[成像元件]
成像元件132(成像元件)是将由成像透镜100成像的摄像对象的光学像转换为电信号并输出图像信号的器件，例如能够使用InGaAs(铟、镓、砷)传感器等对可见光和近红外光这两者具有灵敏度的图像传感器来构成。
[计算机的结构]
作为一例，如图4(表示摄像装置的概略结构的框图)所示，摄像装置1由控制部110(处理器)控制。控制部110具备计算机200(处理器)。作为一例，如图5(表示计算机的概略结构的图)所示，计算机200具有利用总线112相互连接的处理器202(处理器)、RAM204(RAM：random access memory(随机存取存储器))及闪存206(flash memory)。
处理器202控制整个摄像装置1。RAM204是用作执行控制程序时的工作区等的例如易失性存储器。闪存206(存储器)是存储摄像装置1的控制(包括本发明所涉及的图像处理方法的执行)中使用的控制程序210(图像处理程序)及对焦位置数据212(对焦信息)等的例如非易失性存储器(非临时性记录介质)。也可以使用ROM(read only memory：只读存储器)或EEPROM(el ectrically erasable programmable read-only memory：电可擦除可编程只读存储器)等非临时性记录介质来代替闪存206。
[处理器的功能]
上述结构的处理器202(处理器)具有进行以下处理的功能。
(1)滤光器切换
(2)聚焦控制、变焦控制、对焦位置的调整
(3)可见图像、第1近红外图像、第2近红外图像的获取的判断、及基于判断的图像的获取
(4)掩模图像的生成
(5)异常区域的提取
(6)作为第1、第2神经网络的动作
(7)图像处理(亮度的调整、光亮度校正、像高转换、扩大或缩小、变形、畸变校正、二值化、点像复原、轮廓提取中的1个以上)
(8)图像和/或图像处理结果的显示控制(包括识别显示)、对闪存206等记录介质的输出控制
例如，这些处理器202的功能能够使用1个或多个CPU(Central Process ingUnit：中央处理器)、GPU(Graphics Processing Unit：图形处理器)、FPGA(FieldProgrammable Gate Array：现场可编程门阵列)、PLD(Programmable Logic Device：可编程逻辑器件)等处理器来构成。
[图像处理的顺序]
关于上述结构的摄像装置1的图像处理的顺序，分为图像的获取模式(利用哪个波长范围的光对焦于被摄体，利用哪个波长范围的光拍摄图像的组合)进行说明。
[实施例1]
[实施例1中的摄像]
首先，对实施例1中的摄像进行说明。图6是表示实施例1中的摄像顺序的例子的流程图，如图6所示，在实施例1中，获取可见图像、第1近红外图像及第2近红外图像。图像的获取顺序可以与以下说明的例子不同。另外，当以下记载为“处理器202执行处理”时，还包括处理器202根据需要使用RAM204和/或闪存206执行的情况、及处理器202(计算机200)经由构成控制部110的其他各部执行的情况。
当根据用户对输入部28的指示，对处理器202(处理器)指示可见图像及第1近红外图像的摄像时(步骤S100中“是”)，计算机200在光路OP上配置滤光器52(第2滤光器)(步骤S110)。滤光器52是降低(截止)近红外光(第2波长范围的光)中的至少一部分的透射率的滤光器。处理器202经由变焦透镜驱动部114及变焦透镜驱动机构20等利用第1波长范围的光(包含可见光的波长范围的光)对焦于被摄体(步骤S120)，并且在该对焦状态下拍摄可见图像(步骤S130)。
同样地，处理器202(处理器)将降低可见光中的至少一部分的透射率的滤光器54(第1滤光器)配置于光路OP上(步骤S140)，利用第1波长范围的光对焦于被摄体(步骤S150)。此时，处理器202参考存储于闪存206(存储器)中的对焦位置数据212(对焦位置信息)来调整(变更)调整透镜16(对焦位置调整透镜)的位置，并且使对焦位置与成像面132A对准。处理器202在该对焦状态下拍摄第1近红外图像(步骤S160)。
同样地，当根据用户对输入部28的指示，对处理器202指示第2近红外图像的摄像时(步骤S170中“是”)，处理器202将降低可见光中的至少一部分的透射率的滤光器54(第1滤光器)配置于光路OP上(步骤S180)，利用第2波长范围的光(包含近红外的波长范围且与第1波长范围不同的波长范围的光)对焦于被摄体(步骤S190)。处理器202在该对焦状态下拍摄第2近红外图像(步骤S200)。
处理器202重复上述顺序直到获取所需的图像为止(直到在步骤S210中成为“是”为止)。控制部110能够基于用户对输入部28的指示来进行步骤S210的判断。另外，处理器202也可以将所拍摄的图像(可见图像、第1近红外图像、第2近红外图像)显示在图像显示部26等显示装置上，使得用户能够确认图像。
[实施例1中的图像处理]
图7是表示实施例1中的图像处理的顺序的图。处理器202可以在拍摄全部图像之后(例如，在图6的处理全部结束之后)进行图7所示的图像处理，也可以并行地进行摄像和图像处理。
[第1掩模图像的生成]
处理器202对第1近红外图像302(第1近红外图像)进行图像处理500，例如使亮度与可见图像300(可见图像)一致的图像处理，对可见图像300与处理后的第1近红外图像302的差分实施二值化等图像处理502，生成掩模图像304(第1掩模图像)。由于掩模图像304(第1掩模图像)基于可见图像与近红外图像的差分，因此是粗略地表示表面及内部的异常部分(异常区域)的图像，但图像所示的异常部分的位置、大小、形状等不一定准确。这是因为，在第1近红外图像中利用可见光对焦于被摄体，因此内部的异常部分散焦(模糊)，有时以与实际不同的位置、大小、形状等映现等。
图8是概念性地表示拍摄的图像及掩模图像的图。图8的(a)部分表示可见图像320(可见图像)。在可见图像320中，表面的异常区域322(第1区域)清晰，但内部的异常区域324(第2区域)几乎无法判别。另一方面，图8的(b)部分表示第1近红外图像330。由于利用包含近红外光的第2波长范围的光拍摄第1近红外图像330，因此表面的异常区域322A(与异常区域322对应；第1区域)几乎无法判别。并且，由于在利用包含可见光的第1波长范围的光对焦的状态下进行拍摄，因此内部的异常区域326(第2区域)模糊，映现得比实际的异常区域324A(第2区域)大。另外，有时在表面和/或内部存在多个异常区域。
图8的(c)部分表示基于可见图像320和第1近红外图像330生成的第1掩模图像340(第1掩模图像)。在与表面的异常区域322(第1区域)及异常区域322A(第1区域)对应的区域342(第1区域)、和与内部的异常区域324(第2区域)及异常区域326(第2区域)对应的区域344A(第2区域；比作为真正的异常区域的区域346变宽)中，像素值为1(图中的无着色部分)，在除此以外的区域中，像素值为零(图中的黑色部分)。
[异常区域的提取]
处理器202对第2近红外图像306(第2近红外图像)实施变形等图像处理504而与掩模图像304相乘，对相乘的结果实施轮廓提取等图像处理506，生成异常部分图像308(参考图7)。图9是概念性地表示通过图像处理得到的图像的图，图9的(a)部分表示第2近红外图像350(第2近红外图像)。在第2近红外图像350中，几乎无法判别表面的异常区域352(第1区域)，但由于第2近红外图像350是在利用包含近红外光的第2波长范围的光对焦于被摄体的状态下拍摄的图像，因此内部的异常区域354(第2区域)被清晰地映现。
另外，处理器202可以根据可见光(第1波长范围的光)下的对焦位置进行变形等图像处理，并基于可见图像及第1近红外图像修正该图像处理的结果。由此，能够提高变形等的精度。
图9的(b)部分表示将第2近红外图像350与第1掩模图像340相乘的结果(图像360；对应于图7的异常部分图像308)。
※在图像360中，被摄体表面中的异常区域362以与实际的异常区域及第2近红外图像中的异常区域352大致相同的大小被提取，但对于被摄体的内部，提取出比实际的异常区域364大的异常区域366。
处理器202能够通过比较第2近红外图像350和第1掩模图像340来判定各异常区域是表面的异常区域(第1区域)还是内部的异常区域(第2区域)。在图9所示的例子中，由于第2近红外图像350中的异常区域352与第1掩模图像340的区域342的大小大致相同，因此判定为是表面的异常区域，由于异常区域354比区域346小，因此能够判断为“是在被摄体的内部存在异常的区域(第2区域)”。
处理器202能够提取判断为“是内部的异常区域”的区域。例如，如图9的(c)部分所示，能够从作为相乘结果的图像360中提取判断为“是内部的异常区域”的异常区域366(包含异常区域364)。在该部分所示的图像370中，异常区域374、376分别对应于异常区域366、364。并且，如图9的(d)部分所示，处理器202也可以从第2近红外图像350中提取内部的异常区域，生成图像370A(异常区域374对应于异常区域354)。
同样地，处理器202能够从可见图像320中提取判定为“是表面的异常区域”的异常区域322。这样的提取的例子是图10(概念性地表示通过图像处理得到的图像的另一图)的(a)部分所示的图像380(异常区域382对应于异常区域322)。如图10的(b)部分所示，处理器202可以将表面的异常区域392(对应于异常区域322、382)和内部的异常区域394(对应于异常区域374)合成为1个图像390来生成图像390。并且，处理器202也可以从可见图像或第1、第2近红外图像中提取异常区域以外的区域(正常区域)，并进一步合成。
[图像处理及识别显示等]
处理器202能够对所生成的图像进行各种图像处理和/或识别显示。例如，如图11(概念性地表示通过图像处理得到的图像的又一图)的(a)部分所示，也可以提取表面及内部的异常区域的周缘部作为轮廓402、404来生成图像400。若这样提取轮廓，则能够容易地测量异常区域的大小或形状等。处理器202也可以对所生成的图像(可见图像、第1近红外图像、第2近红外图像及使用这些图像生成的图像)实施图像处理，并使用实施该图像处理的图像提取轮廓。
并且，如图11的(b)部分所示，处理器202可以将框线(边界框)413、418附加到所提取的异常区域412、414进行识别显示。此外，处理器202也可以进行包含异常区域的轮廓强调、在表面或内部颜色区分等识别显示的着色、填充等。
处理器202可以对可见图像、第1近红外图像、第2近红外图像进行图像处理和/或识别显示，而不是对提取异常区域的图像或合成图像进行图像处理和/或识别显示。并且，处理器202能够将进行图像处理和/或识别显示的结果显示在图像显示部26(显示装置)等。
除了所生成的图像的显示以外，或代替该显示，处理器202可以测量异常区域的特征量(位置、大小、形状、数量等)并输出。处理器202能够基于公知的图像处理技术(包括神经网络等机器学习的方法)进行这样的测量。
处理器202能够将所生成的图像与其测量结果等建立关联，并记录在闪存206等记录介质中。
[实施例1的效果]
如以上说明，在实施例1中，从可见图像中提取表面的异常区域，使用可见图像及第1近红外图像生成第1掩模图像，粗略地提取内部的异常区域的位置、大小、形状等。并且，能够使用第1掩模图像和第2近红外图像高精度地提取内部的异常区域。
[第2近红外图像获取的判断]
在上述实施例1中，使用3个图像(可见图像、第1近红外图像、第2近红外图像)生成最终的异常部分图像(在图7中，异常部分图像308)，但也能够使用3个图像中的一部分图像生成异常部分图像。例如，计算机200(处理器)可以使用可见图像及第1近红外图像来确定(判断)“是否拍摄第2近红外图像”。在判断为获取第2近红外图像的情况下，计算机200(处理器)能够按照上述顺序提取异常区域。当在可见图像及第1近红外图像中完全或几乎未检测到异常时，能够通过不拍摄用于提高异常的检测精度的第2近红外图像来缩短处理时间。
另外，“使用可见图像及第1近红外图像来确定(判断)”是指例如基于第1掩模图像中的异常的检测结果，或基于生成第1掩模图像时的可见图像与第1近红外图像的差分图像(通过二值化等生成第1掩模图像之前的图像)中的异常的检测结果来确定(判断)。
并且，可以代替异常的检测结果，或除此以外，基于可见图像与第1近红外图像的波长的差分(例如，峰值波长的差分、中心波长的差分等)来确定“是否拍摄第2近红外图像”。这是因为，若可见图像与第1近红外图像的波长的差分小，则散焦量变少，因此通过使用第2近红外图像来提高检测精度的程度也变低。
[实施例1的变形例]
在变形例中获取的图像与实施例1相同(可见图像、第1近红外图像、第2近红外图像)，因此能够按照与实施例1相同的顺序(参考图6)进行摄像。在变形例中，与实施例1的不同点在于，在图像处理中使用神经网络。图12是表示实施例1的变形例中的图像处理的顺序的图。计算机200(控制部110；处理器)将可见图像300及第1近红外图像302输入到异常检测用神经网络311(第1神经网络)，生成异常部分映射图310，并且对该异常部分映射图310实施二值化等图像处理，生成掩模图像304(第1掩模图像)。并且，计算机200将掩模图像304和实施上述图像处理504之后的第2近红外图像输入到异常检测用神经网络312(第1神经网络)，生成异常部分图像308。另外，神经网络311、312能够在内部进行图像的相乘。
神经网络311、312能够通过例如DNN(Deep Neural Network：深度神经网络)、CNN(Convolutional Neural Network：卷积神经网络)、RNN(Recu rrent Neural Network：循环神经网络)、U-NET等(包括它们的衍生版或改良版)来实现，但并不限于这些例子，能够使用各种神经网络。
[神经网络的结构等]
在变形例中，计算机200可以将与作为检测对象的异常的特征相对应的特性(后述)的神经网络用作神经网络311、312。“异常的特征”是指例如是表面的异常还是内部的异常、异常的种类(裂纹、剥离、气泡、异物、凹痕、空腔等)、数量、大小、形状等(也可以包含这些项目的波动范围)，但并不限定于这些项目。当摄像装置1具有多个神经网络时，计算机200可以根据作为检测对象的异常的特征来切换神经网络，用作神经网络311和/或神经网络312。由此，能够根据异常的特征来选择适当的特性网络。
神经网络311和神经网络312可以是相同的层结构(layer structure)的神经网络。“相同的层结构”是指例如卷积层和池化(pooling)层的重复模式、全部结合层的有无或数量、分支的有无或其模式等，但并不限定于这些点。
神经网络311、312能够通过机器学习的方法来构建。当进行学习时，能够将对神经网络311(第1神经网络)和神经网络312(第2神经网络)中的一个神经网络进行了学习的状态下的权重系数作为另一个神经网络中的权重系数的初始值，进行上述另一个神经网络的学习。按照这样的顺序，能够有效地进行学习。另外，在学习中，能够将掩模图像或异常部分图像作为教师数据赋予。
并且，可以在神经网络311和神经网络312中采用相同的层结构，并且改变特性。“改变特性”是指例如能够举出与神经网络311相比，神经网络312增加卷积层的滤光器数、增大滤光器尺寸、减少滤光器的步幅数、减少膨胀(dilation)数、减小最大池化(Maxpooling)的滤光器尺寸等，但改变的特性并不限定于这些项目。在变形例中，神经网络312用于比神经网络311更高精度地检测异常部分，但为此，这样改变特性是有效的。
神经网络311和/或神经网络312可以是两级结构的神经网络。具体而言，例如，这些神经网络可以具备：被摄体检测用神经网络，从图像(可见图像、第1近红外图像、第2近红外图像、掩模处理后的图像)中检测被摄体；及异常检测用神经网络，检测所检测到的被摄体中的异常。
另外，对神经网络311和神经网络312为相同的层结构的情况进行了上述说明，但神经网络311和神经网络312也可以是不同的层结构。
[实施例2]
对本发明中的图像处理的其他例进行说明。在实施例2中，与上述实施例1及变形例1的不同点在于，获取第1近红外图像、第2近红外图像的波长范围。
图13是表示实施例2中的摄像顺序的流程图。若以与图6的差异部分为中心进行说明，则计算机200(处理器)将透明滤光器56配置于光路OP上(步骤S140A)，使可见光及近红外光透射成像透镜100，在该状态下，利用可见光(第1波长范围)的光对焦于被摄体(步骤S150)，拍摄第1近红外图像(步骤S160)。同样地，计算机200将透明滤光器56配置于光路OP上(步骤S180A)，使可见光及近红外光透射成像透镜100，在该状态下，利用近红外光(第2波长范围)的光对焦于被摄体(步骤S190)，拍摄第2近红外图像(步骤S200)。
图14是表示实施例2中的图像处理的顺序的图。在图14中，第1近红外图像303是在图13的步骤S160中获取的第1近红外图像，第2近红外图像307是在步骤S200中获取的第2近红外图像。其他处理能够以与实施例1相同的方式(参考图7)生成异常部分图像308。另外，在实施例2中，也能够与实施例1及其变形例同样地进行图像处理、图像的识别显示、合成、记录等。
[实施例3]
对本发明中的图像处理的其他例进行说明。实施例3与上述实施例1、变形例1及实施例2的不同点在于，使用2个掩模图像。获取的图像(波长范围、对焦状态)与实施例2相同，能够按照与图13相同的顺序进行拍摄。
图15是表示实施例3中的图像处理的顺序的图。如图15所示，在实施例3中，计算机200(处理器)对可见图像300进行物体检测的图像处理501，并基于该结果生成掩模图像304A(第2掩模图像)。另外，图像处理501也可以通过神经网络进行。计算机200将实施图像处理504后的第2近红外图像307、掩模图像305(第1掩模图像)、掩模图像304A(第2掩模图像)相乘，对其结果实施轮廓提取等图像处理506，生成异常部分图像308。
[实施例3的变形例]
在图15所示的例子中，基于3个图像的相乘来生成异常部分图像308，但也可以以与其不同的模式生成异常部分图像308。具体而言，如图16(表示实施例3的变形例中的图像处理的图)所示，计算机200可以计算掩模图像305(第1掩模图像)与掩模图像304A(第2掩模图像)的逻辑和生成掩模图像309(第3掩模图像)，并将该掩模图像309与图像处理504后的第2近红外图像307相乘。此后的生成异常部分图像308的处理能够与图15的例子同样地进行。
在上述实施例3中，也能够与实施例1及变形例、实施例2同样地进行图像处理、图像的识别显示、合成、记录等。
[摄像装置的其他结构例]
在本发明中，可以由与摄像装置1不同结构的摄像装置获取图像。
图17是表示光瞳分割型光学系统的结构的图。图17所示的透镜装置100A具备收纳变焦透镜及聚焦透镜的壳体102。与上述成像透镜100同样地，这些透镜能够使用使可见光及近红外光透射的透镜。
在壳体102中，在光学系统的光瞳位置或光瞳附近位置形成有狭缝108，并且滤光器单元134插入到该狭缝108中。滤光器单元134具备框体135，并且在框体135上设置有开口区域135A～135D。在这些开口区域中配置降低近红外光的透射率而使可见光(第1波长范围的光)透射的滤光器(第2滤光器；上述滤光器52等)和降低可见光的透射率而使近红外光(第2波长范围的光)透射的滤光器(第1滤光器；上述滤光器54等)。也可以将使可见光和近红外光这两者透射的滤光器(如上述滤光器56那样的透明滤光器)配置于任意开口区域。并且，也可以由与R(red：红)、G(green：绿)、B(blu e：蓝)的各色对应的滤色器构成使可见光透射的滤光器，使得能够获取彩色图像。另外，也可以仅使用一部分开口区域，并且屏蔽剩余开口区域。
在是图17所示的光瞳分割型光学系统的情况下，使用选择性地接收透射开口区域135A～135D中的任一个的光的成像元件。在该成像元件中，能够配置可见光用像素和近红外光用像素。也可以设置接收可见光及近红外光这两者的像素。也可以将滤色器配置于可见光用像素中。并且，为了选择性受光，也可以通过在开口区域和/或成像元件中配置使特定偏振方向的光透射的偏振元件来实现选择性受光。基于这种结构的成像元件输出的图像信号，能够同时获取可见图像及近红外图像。另外，此时，优选根据像素的排列图案进行图像信号的去马赛克化(也称为同步化)。
[本发明中的观察对象及异常区域的例子]
在本发明中，能够将农林水产品、文化遗产或美术品、配管、树脂板、金属板等工业产品、以及桥梁、道路、水坝、隧道、建筑物等结构物(也可以是混凝土结构物)作为观察对象(被摄体)。在观察这些的情况下，异常区域例如是表面的损伤、内部的凹痕或空腔等，但如上所述，在本发明中，“异常区域”并不限定于存在缺陷或不良的区域。
并且，在本发明中，还能够将活体(例如，管腔状的器官等)作为观察对象。在该情况下，例如能够将粘膜表面附近的血管或病变、深层部分(内部)的血管或病变作为“异常区域”来观察。
以上，对本发明的实施方式及变形例进行了说明，但本发明并不限定于上述方式，可以在不脱离本发明的精神的范围内进行各种变形。
符号说明
1-摄像装置，10-物镜，12-聚焦透镜，14-变焦透镜，16-调整透镜，20-变焦透镜驱动机构，22-转塔驱动机构，24-调整透镜驱动机构，26-图像显示部，28-输入部，30-光圈，50-滤光器切换部，52-滤光器，54-滤光器，56-滤光器，58-滤光器，90-壳体，100-成像透镜，100A-透镜装置，102-壳体，108-狭缝，110-控制部，112-总线，114-变焦透镜驱动部，116-转塔驱动部，118-调整透镜驱动部，130-摄像部，132-成像元件，132A-成像面，134-滤光器单元，135-框体，135A-开口区域，135B-开口区域，135C-开口区域，135D-开口区域，200-计算机，202-处理器，204-RAM，206-闪存，210-控制程序，212-对焦位置数据，300-可见图像，302-第1近红外图像，303-第1近红外图像，304-掩模图像，304A-掩模图像，305-掩模图像，306-第2近红外图像，307-第2近红外图像，308-异常部分图像，309-掩模图像，310-异常部分映射图，311-神经网络，312-神经网络，320-可见图像，322-异常区域，322A-异常区域，324-异常区域，324A-异常区域，326-异常区域，330-第1近红外图像，340-第1掩模图像，342-区域，344A-区域，346-区域，350-第2近红外图像，352-异常区域，354-异常区域，360-图像，362-异常区域，364-异常区域，366-异常区域，370-图像，370A-图像，374-异常区域，376-异常区域，380-图像，382-异常区域，390-图像，392-异常区域，394-异常区域，400-图像，402-轮廓，404-轮廓，412-异常区域，413-框线，414-异常区域，418-框线，500-图像处理，501-图像处理，502-图像处理，504-图像处理，506-图像处理，LOW-低透光率区域，NIR-近红外光峰值波长区域，VIS-可见光峰值波长区域，OP-光轴，PK1-第1透光率峰值，PK2-第2透光率峰值，S100～S210-图像处理方法的各步骤。

Claims (19)

1.一种图像处理装置，其具备处理器，所述图像处理装置中，
所述处理器进行如下处理：
获取在利用包含可见光的波长范围的第1波长范围的光对焦于被摄体的状态下利用所述第1波长范围的光拍摄的所述被摄体的可见图像；
获取在利用所述第1波长范围的光对焦于所述被摄体的状态下利用包含近红外的波长范围且与所述第1波长范围不同的第2波长范围的光拍摄的所述被摄体的第1近红外图像；
基于所述可见图像和所述第1近红外图像，生成第1掩模图像，所述第1掩模图像表示在所述被摄体表面存在异常的第1区域和包含在所述被摄体的内部存在异常的区域的第2区域；
获取在利用所述第2波长范围的光对焦于所述被摄体的状态下利用所述第2波长范围的光拍摄的所述被摄体的第2近红外图像；及
基于所述第1掩模图像和所述第2近红外图像，提取所述第1区域及所述第2区域中的异常区域。
2.根据权利要求1所述的图像处理装置，其中，
所述处理器获取将近红外的波长范围作为所述第2波长范围拍摄的图像作为所述第1近红外图像及所述第2近红外图像。
3.根据权利要求1或2所述的图像处理装置，其中，
所述处理器获取将包含可见及近红外的波长范围作为所述第2波长范围的光拍摄的图像作为所述第1近红外图像及所述第2近红外图像。
4.根据权利要求1至3中任一项所述的图像处理装置，其中，
所述处理器基于所述可见图像与所述第1近红外图像的差分来生成所述第1掩模图像。
5.根据权利要求1至4中任一项所述的图像处理装置，其中，
所述处理器将所述可见图像输入到异常检测用第1神经网络，生成所述第1掩模图像。
6.根据权利要求1至5中任一项所述的图像处理装置，其中，
所述处理器将所述可见图像或所述第1近红外图像输入到异常检测用第2神经网络，生成第2掩模图像，并进一步使用所述第2掩模图像提取所述异常区域。
7.根据权利要求1至6中任一项所述的图像处理装置，其中，
所述处理器提取所述异常区域的周缘部作为轮廓。
8.根据权利要求1至7中任一项所述的图像处理装置，其中，
所述处理器基于所述第1掩模图像中的所述异常区域的检测结果，判断是否获取所述第2近红外图像。
9.根据权利要求1至8中任一项所述的图像处理装置，其中，
所述处理器基于所述第1波长范围与所述第2波长范围的差分，判断是否获取所述第2近红外图像。
10.根据权利要求1至9中任一项所述的图像处理装置，其中，
所述处理器将所述可见图像和/或所述第1近红外图像中存在所述第1掩模图像的区域与其他区域识别显示。
11.一种图像处理装置，其具备处理器，所述图像处理装置中，
所述处理器进行如下处理：
获取在利用包含可见光的波长范围的第1波长范围的光对焦于被摄体的状态下利用所述第1波长范围的光拍摄的所述被摄体的可见图像；
获取在利用所述第1波长范围的光对焦于所述被摄体的状态下利用包含近红外的波长范围且与所述第1波长范围不同的第2波长范围的光拍摄的所述被摄体的第1近红外图像；
基于所述可见图像和所述第1近红外图像，生成第1掩模图像，所述第1掩模图像表示在所述被摄体表面存在异常的第1区域和包含在所述被摄体的内部存在异常的区域的第2区域；及
所述处理器基于所述第1掩模图像中的所述异常的检测结果，判断是否获取在利用所述第2波长范围的光对焦于所述被摄体的状态下利用所述第2波长范围的光拍摄的所述被摄体的第2近红外图像。
12.根据权利要求11所述的图像处理装置，其中，
在判断为获取所述第2近红外图像的情况下，所述处理器进行如下处理：
获取所述第2近红外图像；及
基于所述第1掩模图像和所述第2近红外图像，提取所述第1区域及所述第2区域中的异常区域。
13.一种摄像装置，其具备：
光学系统，使所述第1波长范围的光及所述第2波长范围的光透射；
滤光器切换机构，将降低所述第1波长范围的光中的至少一部分的透射率的第1滤光器和降低所述第2波长范围的光中的至少一部分的透射率的第2滤光器中的任一个配置于所述光学系统的光路上；
成像元件，输出与透射所述光学系统和所述第1滤光器或所述第2滤光器的光对应的图像信号；及
权利要求1至12中任一项所述的图像处理装置，
所述处理器基于从所述成像元件输出的所述图像信号，获取所述可见图像、所述第1近红外图像及所述第2近红外图像。
14.根据权利要求13所述的摄像装置，其中，
所述光学系统具备对焦位置调整透镜，
所述处理器进行如下处理：
将表示所述第1滤光器配置于所述光路上时的对焦位置的对焦位置信息预先存储于存储器中；及
根据所述第1滤光器和所述第2滤光器中的哪一个配置于所述光路上，参考所述对焦位置信息来变更所述对焦位置调整透镜的位置。
15.一种图像处理方法，其由具备处理器的图像处理装置执行，所述图像处理方法中，
所述处理器进行如下处理：
获取在利用包含可见光的波长范围的第1波长范围的光对焦于被摄体的状态下利用所述第1波长范围的光拍摄的所述被摄体的可见图像；
获取在利用所述第1波长范围的光对焦于所述被摄体的状态下利用包含近红外的波长范围且与所述第1波长范围不同的第2波长范围的光拍摄的所述被摄体的第1近红外图像；
基于所述可见图像和所述第1近红外图像，生成第1掩模图像，所述第1掩模图像表示在所述被摄体表面存在异常的第1区域和包含在所述被摄体的内部存在异常的区域的第2区域；
获取在利用所述第2波长范围的光对焦于所述被摄体的状态下利用所述第2波长范围的光拍摄的所述被摄体的第2近红外图像；及
基于所述第1掩模图像和所述第2近红外图像，提取所述第1区域及所述第2区域中的异常区域。
16.一种图像处理方法，其由具备处理器的图像处理装置执行，所述图像处理方法中，
所述处理器进行如下处理：
获取在利用包含可见光的波长范围的第1波长范围的光对焦于被摄体的状态下利用所述第1波长范围的光拍摄的所述被摄体的可见图像；
获取在利用所述第1波长范围的光对焦于所述被摄体的状态下利用包含近红外的波长范围且与所述第1波长范围不同的第2波长范围的光拍摄的所述被摄体的第1近红外图像；
基于所述可见图像和所述第1近红外图像，生成第1掩模图像，所述第1掩模图像表示在所述被摄体表面存在异常的第1区域和包含在所述被摄体的内部存在异常的区域的第2区域；及
所述处理器基于所述第1掩模图像中的所述异常的检测结果，判断是否获取在利用所述第2波长范围的光对焦于所述被摄体的状态下利用所述第2波长范围的光拍摄的所述被摄体的第2近红外图像。
17.一种图像处理程序，其使具备处理器的图像处理装置执行图像处理方法，
在所述图像处理方法中，所述处理器进行如下处理：
获取在利用包含可见光的波长范围的第1波长范围的光对焦于被摄体的状态下利用所述第1波长范围的光拍摄的所述被摄体的可见图像；
获取在利用所述第1波长范围的光对焦于所述被摄体的状态下利用包含近红外的波长范围且与所述第1波长范围不同的第2波长范围的光拍摄的所述被摄体的第1近红外图像；
基于所述可见图像和所述第1近红外图像，生成第1掩模图像，所述第1掩模图像表示在所述被摄体表面存在异常的第1区域和包含在所述被摄体的内部存在异常的区域的第2区域；
获取在利用所述第2波长范围的光对焦于所述被摄体的状态下利用所述第2波长范围的光拍摄的所述被摄体的第2近红外图像；及
基于所述第1掩模图像和所述第2近红外图像，提取所述第1区域及所述第2区域中的异常区域。
18.一种图像处理程序，其使具备处理器的图像处理装置执行图像处理方法，
在所述图像处理方法中，所述处理器进行如下处理：
获取在利用包含可见光的波长范围的第1波长范围的光对焦于被摄体的状态下利用所述第1波长范围的光拍摄的所述被摄体的可见图像；
获取在利用所述第1波长范围的光对焦于所述被摄体的状态下利用包含近红外的波长范围且与所述第1波长范围不同的第2波长范围的光拍摄的所述被摄体的第1近红外图像；
基于所述可见图像和所述第1近红外图像，生成第1掩模图像，所述第1掩模图像表示在所述被摄体表面存在异常的第1区域和包含在所述被摄体的内部存在异常的区域的第2区域；及
所述处理器基于所述第1掩模图像中的所述异常的检测结果，判断是否获取在利用所述第2波长范围的光对焦于所述被摄体的状态下利用所述第2波长范围的光拍摄的所述被摄体的第2近红外图像。
19.一种记录介质，其为非临时性且计算机可读取的记录介质，并且记录有权利要求17或18所述的程序。
CN202280065367.4A 2021-09-27 2022-08-09 图像处理装置、摄像装置、图像处理方法及图像处理程序 Pending CN118043646A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021156432 2021-09-27
JP2021-156432 2021-09-27
PCT/JP2022/030412 WO2023047826A1 (ja) 2021-09-27 2022-08-09 画像処理装置、撮像装置、画像処理方法、及び画像処理プログラム

Publications (1)

Publication Number Publication Date
CN118043646A true CN118043646A (zh) 2024-05-14

Family

ID=85719453

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280065367.4A Pending CN118043646A (zh) 2021-09-27 2022-08-09 图像处理装置、摄像装置、图像处理方法及图像处理程序

Country Status (3)

Country Link
US (1) US20240233105A1 (zh)
CN (1) CN118043646A (zh)
WO (1) WO2023047826A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN120593901B (zh) * 2025-06-05 2026-01-23 浙江神州明月智能科技有限公司 机械臂末端双光融合检测数据管理系统及方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0678992B2 (ja) * 1986-02-14 1994-10-05 キヤノン株式会社 画像読取装置
JP3506161B2 (ja) * 1995-08-30 2004-03-15 株式会社エフ・エフ・シー 農水産物の外観検査装置
JP2005016995A (ja) * 2003-06-24 2005-01-20 Railway Technical Res Inst 赤外線構造物診断方法
JP5315574B2 (ja) * 2007-03-22 2013-10-16 富士フイルム株式会社 撮像装置
DE102009039254A1 (de) * 2009-08-28 2013-05-08 Krones Aktiengesellschaft Vorrichtung und Verfahren zum Inspizieren etikettierter Gefäße
JP2014052800A (ja) * 2012-09-06 2014-03-20 Toshiba Tec Corp 情報処理装置及びプログラム
JP5831425B2 (ja) * 2012-10-26 2015-12-09 株式会社島津製作所 太陽電池セルの検査装置
JP6677172B2 (ja) * 2015-01-16 2020-04-08 日本電気株式会社 画像処理装置、画像処理方法およびプログラム
WO2016176370A1 (en) * 2015-04-27 2016-11-03 Flir Systems, Inc. Moisture measurement device with thermal imaging capabilities and related methods

Also Published As

Publication number Publication date
US20240233105A1 (en) 2024-07-11
WO2023047826A1 (ja) 2023-03-30
JPWO2023047826A1 (zh) 2023-03-30

Similar Documents

Publication Publication Date Title
US20250310502A1 (en) Intraoral scanner with hyperspectral imaging
CN108692815B (zh) 使用纵向色差的多光谱成像
JP7424286B2 (ja) 蛍光観察装置及び蛍光観察方法
JP7021183B2 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP6322939B2 (ja) 撮像システム及び色検査システム
CN115087849A (zh) 摄像单元及测定装置
JP2025041911A (ja) 分光カメラ、撮像方法、プログラム及び記録媒体
CN110087528A (zh) 内窥镜系统以及图像显示装置
JP6751155B2 (ja) 画像処理装置、撮像装置、及び画像処理方法
JPWO2018008136A1 (ja) 画像処理装置および画像処理装置の作動方法
JP2022027501A (ja) 撮像装置、位相差オートフォーカスの実行方法、内視鏡システム、およびプログラム
CN118043646A (zh) 图像处理装置、摄像装置、图像处理方法及图像处理程序
CA3130563A1 (en) System and method for enhanced imaging of biological tissue
JP5460152B2 (ja) 眼科装置
JP2014063019A (ja) 撮影解析装置、その制御方法及び撮影解析装置用のプログラム
US12231750B2 (en) Imaging apparatus
JP4021414B2 (ja) スペクトラルデコンボリューション法及びスペクトラルブラインドデコンボリューション法
JP5752985B2 (ja) 画像処理装置、画像処理方法、画像処理プログラムおよびバーチャル顕微鏡システム
KR20230064693A (ko) 초분광 피부 화상 심도 분석 장치 및 방법
CN121548728A (zh) 用于校准高光谱图像传感器的像素的像素灵敏度的方法和设备
WO2022014258A1 (ja) プロセッサ装置、プロセッサ装置の作動方法
JP2012189342A (ja) 顕微分光測定装置
WO2019088259A1 (ja) 電子内視鏡用プロセッサ及び電子内視鏡システム
CN106950222B (zh) 一种大景深成像方法
JP7583551B2 (ja) 撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination