CN100401129C - 用于以红外图像和可见图像与环境相关的结合来显示车辆环境的方法和装置 - Google Patents

用于以红外图像和可见图像与环境相关的结合来显示车辆环境的方法和装置 Download PDF

Info

Publication number
CN100401129C
CN100401129C CNB2004800035556A CN200480003555A CN100401129C CN 100401129 C CN100401129 C CN 100401129C CN B2004800035556 A CNB2004800035556 A CN B2004800035556A CN 200480003555 A CN200480003555 A CN 200480003555A CN 100401129 C CN100401129 C CN 100401129C
Authority
CN
China
Prior art keywords
image
infrared
vehicle
visible
environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
CNB2004800035556A
Other languages
English (en)
Other versions
CN1748167A (zh
Inventor
沃尔弗冈·哈恩
托马斯·维德耐尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Publication of CN1748167A publication Critical patent/CN1748167A/zh
Application granted granted Critical
Publication of CN100401129C publication Critical patent/CN100401129C/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/12—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices with means for image conversion or intensification
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Astronomy & Astrophysics (AREA)
  • Optics & Photonics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及用于尤其是在黑暗中显示车辆环境的方法。为了改善目前已知的方法，对可视图像和红外图像进行同时的、位置相同的图像对的加权叠加，以形成结合图像。为了进一步改进，加权是与环境相关的。因此，在黑暗中加权更高，并且在结合图像中红外信息被明显高于可视图像地加权。在雾天，可视图像被明显高于红外图像地加权，由此在雾中通常用处更小的红外图像不被(显著地)考虑在结合图像中。用于执行所述方法的装置包括色敏感可视摄相机(101)、红外摄相机(102)和结合或叠加设备(106)，结合或叠加设备像素地或部分地叠加同时且位置相同的图像对，并形成平均值。

Description

用于以红外图像和可见图像与环境相关的结合来显示车辆环境的方法和装置
技术领域
本发明涉及根据相应独立权利要求前序部分的、用于显示车辆环境的方法和装置，以及用于校准该装置的校准装置。
背景技术
由DE 695 06 174 T2 已知用于车辆的夜视系统(Nachsichtsystem)。该系统包括产生红外图像的红外摄相机，红外图像表示车辆环境片段的、由人和物体所发出的热辐射。红外图像通过抬头显示器(Head-up-Display)投影到挡风玻璃的下部，并因此显示给司机。
由司机将红外图像中的人物和物体与位于司机前方、视觉地通过挡风玻璃可获得的交通状况相对应。这在已知系统所应该针对的黑暗环境中尤其困难，并且经常甚至是不可能的，这是因为红外图像显示司机视觉不能识别的人和物体。因此，只在红外图像中可识别的人和物体的准确定位通常是不可能的，并且以危险的方式分散司机的注意力。
发明内容
本发明的任务尤其在于提供用于显示车辆环境的改进方法和装置，尤其是改进的夜视系统。
本发明的任务根据方法或根据装置通过相应的独立权利要求来完成。在相应的从属权利要求中给出本发明的有利实施方式。
本发明的第一主要方面在于，表示或显示车辆环境尽可能相同的片段的可视的图像，以下称为可视图像，和红外的图像，以下称为红外图像的组合或叠加。通过同一场景不同谱范围的图像的叠加或结合，尽可能地消除现有技术的前述缺点。
第二主要方面在于，在结合各可视图像和红外图像时根据具体行驶情况对这两个谱分量(可视分量和红外分量)的相互比例进行加权。在加权的第一极端情况中，通过结合而产生的图像尽可能只包括可视信息，在通常情况下叠加可视的和红外的信息，并且在加权的第二极端情况中，通过结合而产生的图像尽可能只包括红外信息。
如果例如在公路上通过距离测量系统识别前面行驶的车辆，例如通过已知的雷达支持的ACC系统(自动巡航控制)，在本发明的一个实施方式中规定，在结合这两个谱分量时相对于行驶环境突出这个车辆，使得它在结合图像中相对于环境明显地显示。这可以例如通过以下方式实现，即相对于行驶环境改变相关区域的两个谱分量的加权；在这个例子中是结合图像的、表示前面紧邻行驶的车辆的图像片段。例如，在白天，可视信息可以相对于红外信息更高地被加权，并因此在结合图像中产生更显著的影响，而在黑暗时加权正好相反。
如果车辆行驶在照明很好的区域，那么在本发明的另一实施方式中，替代地或补充地规定，可视分量或可视信息相对于红外分量或相对于红外信息更高地加权。在较暗的公路和/或高速公路上，替代地或补充地相对于前述相反地进行加权，使得红外信息或红外分量在结合图像中相对于可视分量更明显地显示。
替代地或补充地，在本发明的再一个实施方式中，规定，在较暗的公路和/或高速公路上，通过在结合时更高的加权而相对于较远物体的可视信息突出其红外信息，与距离车辆更近的物体不同。在显示器上呈现给司机的结合图像可能可以在近区包括更高分量的可视信息，并且在远区包括更高分量的红外信息。
在雨天、雾天或潮湿的车行道时，红外信道或红外信息的实用性相对于标准条件受到了限制。为了在这样的天气条件下与由最多受限的可用红外信息所引起的结合图像的恶化相反地起作用，替代地或补充地规定，相对于红外分量提高可视分量，即相应地在可视信息方向上改变结合图像中两个谱分量的加权。
为了识别前述天气情况，可以在车辆上特别设置雨滴传感器(Regensensor)或雾传感器(Nebelsensor)。同样，可以分析哪些车灯被接通，尤其是汽车雾灯。但是，这些信息也可以通过设置在车辆中的动态导航系统提供，车辆当前所在点的、或者尤其是为计划的行驶路线所预测的动态交通或天气情况被传输到该系统中。这个传输可以通过移动无线电网络(Mobilfunknetz)或者通过车辆与车辆的通信而实现。
替代地或补充地，在本发明的一个实施方式中规定，司机可以手动调节这两个谱分量在结合图像中的相互加权，并且因此可以最优地匹配其需要和特定情况。在本发明的一个实施方式中规定了从可视信息到红外信息显示的连续转换和相反转换。这使得司机可以对于更快并更可靠地获取交通状况有利地，更容易和更快地使用可视和红外信息之间的关系以及通过谱分量之间的移动对行驶环境的结合图像的影响。
在另一个实施方式中，替代地或补充地，为司机提供多个结合图像，以选择适于向其显示的结合图像，其中为了选择而提供的结合图像在可视信息与红外信息分量关系上是不同的。特别地，在结合时可以对可视分量相对于红外分量进行不同的加权。
在根据本发明的夜视系统的一个具体实施方式中，可视摄相机或第一传感器及其光学系统包括第一光轴，红外摄相机或第二光学传感器及其光学系统包括第二光轴，它们在空间上相互偏移。因此，摄相机或传感器摄取车辆环境的至少部分不同的片段，即第一和第二片段。而且，它们与距离相关。可以理解，根据本发明，也可以设置多于两个的红外摄相机或红外传感器，其灵敏度覆盖不同的波长，并且由它们提供的车辆环境数字图像可以叠加或结合。
为了获得尽可能无失真的结合图像以向司机显示，在根据本发明的一个实施方式中规定，由叠加或结合设备以像素方式和/或区域方式全部或部分地叠加或结合已经提供的第一片段和已经提供的第二片段。为了提供结合图像，通过至少一个匹配参数匹配第一片段和/或第二片段和/或结合图像及其直接的或处理后的数字数据。
优选地在校准根据本发明的摄相机或传感器系统及夜视系统时，为摄相机或传感器与校准装置之间的至少两个距离范围(Entfernungsbereich)或间隔范围(Abstandsbereich)确定这个或这些与距离相关的参数。一个主要目的在于，调节这个或这些匹配参数，使得在叠加或结合图像时所产生的相关距离范围内的物体结合图像尽可能不失真，尤其是没有重影(Geisterbilder)或双影(Doppelbilder)。根据本发明，这个或这些匹配参数尤其涉及至少一个记录参数(Registrierungsparameter)或变换参数(Transformationsparameter)。一个类似的参数例如由数字图像处理系统的记录和由其进行的两个图像的叠加而已知。这个或这些与行驶状况或距离相关的匹配参数优选地在校准时被存储在车辆的数据存储器中。
在本发明的一个优选实施方式中，第一距离范围对应于市内行驶典型的行驶状况，尤其是为大约15至75m的距离范围。
替代地或补充地，第二距离范围对应于公路行驶(Landstrassenfahrt)典型的行驶状况，尤其是大约30至150m的距离范围。
替代地或补充地，第三距离范围对应于高速公路典型的行驶状况，尤其是大约50至250m的距离范围。
应该理解，作为对上述与距离相关或与距离范围相关的匹配参数的替代或补充，也可以确定其他、尤其具有前述目的的、与行驶状况相关的匹配参数。在这里，其可以例如涉及对于在太阳很低、在雾天、在开始黑时(einsetzende Dunkelheit)或黑暗中的行驶适当的匹配参数。
本发明的另一个主要方面在于，自动地确定车辆的当前行驶状况，并且提供对应于当前行驶状况或环境状况的、尤其是通过校准获得的并存储在车辆中的匹配参数，以便由根据本发明的对准装置(Ausricht-vorrichtung)或由叠加或结合设备使用。叠加或结合设备对以数字数据形式存在的可视图像和红外图像进行像素和/或区域方式的叠加或结合，其中一个或多个与距离相关的匹配参数这样影响红外图像和/或可视图像和/或结合图像，使得优选地为司机提供环境的尽可能无失真和/或无重影的结合图像。
作为对前述自动确定的替换或补充，在本发明的一个实施方式中规定，司机选择适于向其显示的、尤其是通过校准获得的并存储在车辆中的匹配参数，以由根据本发明的对准装置或者由叠加或结合设备使用。因此，可以例如以手动的选择可能性的形式或通过语音输入，向司机提供例如对于市内行驶典型的、公路行驶典型的、高速公路行驶典型的和/或在可能的情况下其他行驶状况的匹配参数，以供选择。由此，司机无需车辆中的车辆导航系统就能够自己产生尽可能无失真的或无重影的结合图像。而且，由此为司机提供了这样的可能性，即在可能的情况下不理会自动选择。同样的，可以为司机提供这样的可能性，即选择在结合图像中无失真地向其显示其车辆周围环境的一个或多个匹配参数，例如与其车辆20m之内的距离。例如当司机在黑暗中驶近其车库并且通过结合图像中的红外信息确定在他后面是否有灌木丛时，司机可以进行该选择。
在本发明的一个优选实施方式中，车辆的当前位置由车辆导航系统，尤其是卫星导航系统确定。借助于该位置，由车辆中的导航系统，通过与数字卡片数据(Kartendaten)比较，自动地确定相应的道路类别(Strassenkategorie)或行驶状况，尤其是市内道路(Stadtstrasse)、公路(Landstrasse)或高速公路。这些车辆导航系统为了路线引导(Routenfuehrung)等的目的目前已经存在于大量的车辆中，并且可以无需很大的耗费被用于车辆环境的结合图像的前述自动的、与行驶状况和环境相关的最优化。
替代地或补充地，在本发明的另一个实施方式中规定，行驶状况借助于至少一个行驶动态量，尤其是车辆速度和/或近距灯(Abblendlicht)或远光灯(Fernlicht)的操作和/或车辆加速度和/或亮度和/或雾，来确定。在目前的车辆中可能全部或部分地由其车载网络(Bordnetz)已经提供了这些信息，而更大的耗费不是必需的。
在本发明的一个优选实施方式中，彩色可视图像与红外图像被结合及组合或叠加。与黑白可视图像不同，产生包含可视图像彩色信息，例如前面行驶的车辆的红色刹车灯、红色交通灯、彩色交通指示牌等，的结合图像。结合图像中的彩色信息使相应配置的车辆的司机更容易快速地了解和获取结合图像中表示的交通状况。而且，彩色信息减小了忽略彩色警示(红色交通灯等)的危险。
汇总消除了干扰作用，如红外或可视图像失真，尤其是由于各自使用的光学系统等的图像缺陷，的不同谱范围的环境或场景图像。这优选地根据软件通过编辑数字图像的已知措施来实现。尽可能消除了干扰作用的图像或其数字图像数据优选地通过数字图像处理相互对准或覆盖，使得由红外和可视图像或由其数字数据提供时间和位置尽可能相同的图像对。根据本发明，这是通过使用导致无失真结合图像的至少一个与距离相关的和/或与行驶状况相关的匹配参数而实现。用于数字图像处理的软件和硬件优选地允许图像相互的偏移、旋转和缩放。通过这个编辑，可以经济地-尽管时间和位置相同的图像对尽可能的实时处理-使后面的用于叠加或结合不同谱范围的图像的硬件消耗最小。
根据本发明的一个优选实施方式，以各自相同的图像重复率(Bildwiederholrate)，优选地由一个或两个用于该谱范围的摄相机或传感器产生红外图像和可视图像。由此，可以以特别简单的方式由红外图像和可视图像产生同时的图像对，这显著地降低了用于后面的、根据本发明叠加或结合两个图像-尽可能实时地-的软件和硬件消耗；用于中间存储图像的半导体存储器的成本被降低。
在本发明的一个优选实施方式中，红外图像表现由人和物体所发出的红外辐射或热辐射，其波长范围约为8至14μm。优选地，使用对大约8至10μm的范围敏感的IR摄相机或IR传感器。因此，以有利的方式不需要用于车辆环境的红外线辐射器或这样的灯(Beleuchtung)(典型波长范围为大约800nm至2.5μm)。不出现各自以已知方式配备有红外灯的、相对行驶的车辆的交替眩目。同样的，根据本发明的红外图像不限于红外灯的射程。
附图说明
以下借助于实施例详细介绍本发明。
图1表示用于显示车辆环境片段的根据本发明的装置的框图，或借助于其介绍根据本发明的显示方法的夜视系统。
具体实施方式
图1中以框图形式表示的、根据本发明的装置或夜视系统100包括摄取可视谱范围的电子的、这里所谓的可视摄相机101，例如CCD传感器，对大约8至10μm的红外谱范围敏感的电子红外摄相机102，例如IR传感器，第一归一化装置(Normalisierungsvorrichtung)103，第二归一化装置104，对准装置105以及叠加或结合设备106。可视摄相机101提供彩色的可视图像。
摄相机101和102的光轴优选地相互平行地对齐，由此可以减小视差(Parallaxenfehler)，并且优选地相互相邻排列，由此减小位错缺陷(Versetzungsfehler)。两个摄相机或传感器的像平面优选地相互平行并且垂直于光轴地对齐，并且相互相邻排列。两个摄相机或传感器的光敏传感器面(Sensorflaeche)优选地相互既不扭转地也不倾斜地，而是尽可能相互平行地设置。而且，两个摄相机或传感器优选地具有相同的孔径角(Oeffnungswinkel)。通过这些措施可以实现，摄相机或传感器提供不同谱范围的图像，其表示环境的尽可能相同的片段，并且相互以及相对于实际状况不扭转。由此，可以显著降低用于处理图像以由两个图像提供结合图像的耗费并由此显著降低硬件和软件耗费。
摄相机的光学表面优选地被不吸潮地(hydrophob)涂覆，并且优选地为了其清洁设置高压喷嘴(Hochdruckduese)等，如用于汽车大灯清洁已经很普遍的那样。两个摄相机优选地设置在共同的外壳中(易于安装，与车辆轴共同对准，没有摄相机光学参数的相互偏移)。在摄相机的外壳上，优选地设置夹具，其保证车辆上或内摄相机的无振动工作。对于摄相机的工作，设置用于工作电压的接头。摄相机的工作电压应该灵活地匹配各自车载网络电压，例如12伏和/或42伏。为了保护摄相机的电子部件和传感器不受损坏，在工作电压支路优选地引入过载保护和极性变换保护(Verpolungsschutz)。由摄相机或传感器所产生的视频信号的输出(谱范围分离的或已经结合的)应该遵循标准(例如NTSC、PAL、SECAM或自身标准)。使用存在的半导体元件作为数字/模拟转换器。摄相机或传感器可以安装在车辆前方、后面、侧面，以显示车辆环境。
下面将更详细地描述夜视系统或装置100的校准。为了校准，使用根据本发明的校准装置(未示出)。它包括优选被交错形(schachbrettartig)排列的多个辉光灯。辉光灯特别突出的是，其既发出热辐射，也发出视觉可见的辐射。优选地，设置有多个辉光灯的板等连续地以不同的距离范围被设置在两个摄相机或传感器101和102之前。这些距离范围涉及典型的与环境或行驶状况相关的距离范围，在以下将详细描述。
优选地在黑暗环境中、且不与热源相邻地设置的、位于摄相机101和102之前的校准装置在可视摄相机101中产生(所谓的)可视图像，该图像表现交错形设置的辉光灯，如人眼看到的那样。而且，校准装置在红外摄相机102中产生热图像(Waermebild)，其也表现辉光灯的设置。典型地，尤其由于光学图像缺陷等，可视图像和所谓的红外图像表现各自图像边缘的失真。以已知方式，通过第一归一化装置103，尽可能地消除可视图像中的失真或图像缺陷。以已知方式，通过第二归一化装置104，尽可能地消除红外图像中的失真或图像缺陷。优选地，使用用于可视图像的校准参数107和用于红外图像的校准参数108，通过已知的、根据软件的措施对图像数字数据实现归一化或缺陷消除(数字图像处理)。
通过数字图像处理中已知的记录过程，通过对准装置105，使用记录参数109相互对齐归一化的或尽可能消除了干扰等的图像或其数字数据。在对齐过程中，图像中的一个优选地保持不变，并且用作另一个图像的基准。第二图像的大小和位置这样被改变，使得产生相对于第一图像尽可能对象相同(objektgleich)的图像。
归一化的图像也相互对齐，使得一个或同一个物体在结合图像中出现在尽可能相同的位置并且大小尽可能相同。如果不执行这个预处理步骤，则由于不同摄相机几何尺寸和摄相机偏移，产生阴影图(Schattenbilder)或重影图(Zwillingsbilder)。这意味着，一个物体在结合图像上出现在两个位置上并且大小不同。这样的图像与其说是为观察者提供定位，不如说是使其糊涂。
为了根据环境或行驶状况最优化像素准确或区域准确的结合，首先执行用于市内行驶典型行驶状况的记录过程。为此，校准装置与摄相机101和102之间的距离例如在大约15至75m之间的范围内变化，并且确定和存储适于这个距离范围的记录参数。以相应的方式，执行用于公路典型行驶状况的第二记录过程，即例如大约30至150m的范围。最后，以相应的方式，执行用于高速公路典型行驶状况的第三记录过程，即例如大约50至250m的范围中。
使用由车辆导航系统(未示出)提供的当前位置数据，由系统借助于数字卡片数据确定对应于车辆位置的道路类别或行驶状况，尤其是市内道路、公路或高速公路。尤其是在黑暗时，对应于行驶状况的、并且在校准过程中被存储在车辆中的记录或匹配参数被叠加或对准装置105用于符合行驶状况地对齐图像。因此，在相关行驶状况的结合图像中尽可能地避免了尤其是阴影图或重影图。
替代地或补充地，借助于至少一个行驶动态量确定车辆的当前行驶状况。根据本发明，对应于行驶动态量的、且被存储在车辆中的记录或匹配参数被叠加或对准装置105用于符合行驶状况地对齐图像。通过该措施，在相关行驶状况的结合图像中也尽可能地避免了尤其是阴影图或重影图及重影。车辆的行驶动态量尤其涉及其速度、近距灯或远光灯的接通，或者涉及其正的或负的加速度。
归一化图像的上述对齐可以被分为三个步骤：移动、旋转和缩放。实际上证明了，顺序旋转、缩放和移动提供质量最好的结果。因为这些步骤的顺序一般是不交换或不可交换的，所以应该注意，这些步骤的顺序在根据本发明的夜视系统的校准时以及后面的操作时是相同的。在可能的情况下，相应地构成夜视系统的校准和/或操作软件。
相互对齐的图像在叠加或结合设备106中，根据软件地通过处理其数字数据而被叠加或结合。由可视图像和红外图像的每个时间和位置相同的或对象相同的图像对，生成结合或叠加的图像，其优选地在车辆中彩色监视器上提供给车辆的司机。
优选地，基于可视图像和红外图像的各个相互对应的像素对或使用这两个图像的多个像素实现这两个图像的时间和位置相同的图像对的结合。这可以尤其根据提供了哪些希望的分辨率和/或哪些用于数字图像处理的计算能力。如所述的预处理图像通过数字处理其图像数据而被叠加和显示。从结果来看，这个过程几乎可以与相同场景或行驶环境的胶片或幻灯片重叠相比。计算技术地或在数字图像处理时，这通过像素信息的平均值计算，尤其是考虑其在各个图像中的亮度和可视图像和/或红外图像中包含的色彩信息，而实现。这不是必须必然地逐个像素的进行，而是也可以通过为两个图像中的位置和时间相同的像素区域进行平均值计算而实现。
而且，这可能是有意义的，即在平均值计算时，红外图像中的像素信息与可视图像中时间和位置相同的像素信息不同地加权。这个不同加权可以例如根据自然光线和/或天气和/或根据汽车大灯光线和/或根据可视图像中的色彩而实现；由此可以例如实现，红色交通灯在结合图像中尤其明显地可识别。而且，结合图像部分区域的加权，例如前景和背景之间的不同，或整个结合图像可以由车辆司机手动地改变。
通过这个方式，可以特别地突出单个图像区域。因此，例如可以更强地突出车辆的直接相邻行驶区域，以确定地引导司机。
在越来越黑的情况下，在平均值计算时可以增加红外信息相对于可视信息的加权。在接通近距灯时，与接通远光灯相比，可以提高红外信息相对于可视信息的加权。
同样地，各个图像中一个区域的信息内容可以确定加权。如果可视图像的一个时间和位置相同区域内的信息内容例如明显高于红外区域的相同区域，则这样是有意义的，即在平均值计算时通过可视信息的更高加权来考虑它。
如已经描述的那样，由摄相机或传感器生成的图像必须被预处理，以校正和对象可靠地对齐。为了节省昂贵的存储器，软件算法优选地以像素方式存取摄相机101和102的传感器信息。
图1所示的用于数字图像处理的装置全部或部分地、优选地涉及一个或多个软件控制的数字处理器，其优选被优化以进行实时数字图像处理。但是同样的，当一个或多个软件控制的PC处理器的处理速度允许尽可能实时地处理图像以提供具有可视和红外信息的结合图像时，也可以考虑更经济地使用一个或多个软件控制的PC处理器。

Claims (44)

1.用于在黑暗时显示车辆环境的方法，其特征在于，
通过对可视谱范围敏感的可视摄相机或第一传感器提供环境的可视图像或可视图像的数字数据，其中所述可视图像表现视觉可见的物体，以及
通过对红外谱范围敏感的红外摄相机或第二传感器提供环境的红外图像或红外图像的数字数据，其中所述红外图像表现由视觉可见的物体和/或其他物体发出的红外辐射，
其中所述可视摄相机或所述第一传感器及其光学系统的光轴与所述红外摄相机或所述第二光学传感器及其光学系统的光轴相互平行地偏移，使得所述可视摄相机或第一传感器与所述红外摄相机或第二传感器分别提供车辆环境的尽可能相同的片段，即第一和第二片段，
其中所提供的第一片段和所提供的第二片段全部或部分地由叠加或结合设备(106)以像素和/或区域方式叠加或结合，在结合时考虑至少一个与物体到车辆的距离相关的匹配参数。
2.根据权利要求1的方法，其特征在于，
通过所述可视图像及所述红外图像的数字数据的处理，使所述可视图像或归一化的可视图像相对于所述红外图像或归一化的红外图像对齐，或者进行相反的对齐，以便提供两个谱范围的时间尽可能相同且位置尽可能相同的图像对。
3.根据权利要求1或2的方法，其特征在于，
不同谱范围的时间和位置尽可能相同的图像的位置相同的像素或像素区域通过该图像的数字数据的处理而被相互叠加，或者对所述像素或像素区域进行平均值计算并且表示在结合的图像中。
4.根据权利要求3的方法，其特征在于，
像素或像素区域的亮度值和/或色值被叠加或进行平均值计算。
5.根据权利要求3的方法，其特征在于，
对所述可视图像和所述红外图像的一个或多个位置尽可能相同的像素进行加权叠加或平均值计算。
6.根据权利要求5的方法，其特征在于，
所述加权是在考虑车辆环境亮度和/或能见度的情况下而实现的。
7.根据权利要求3的方法，其特征在于，
红外像素和可视像素或者红外像素区域和可视像素区域在叠加或结合相互对应的像素或像素区域时被不同地加权。
8.根据权利要求3的方法，其特征在于，
在叠加或平均值计算时，所述可视图像和/或所述红外图像的信息丰富区域相对于信息贫乏区域被更高地加权。
9.根据权利要求8的方法，其特征在于，
谱分量的加权和/或叠加由司机在结合的图像中根据环境或根据行驶条件手动地调节。
10.根据权利要求8的方法，其特征在于，
谱分量的加权和/或叠加由叠加或结合设备(106)根据环境或根据行驶条件而调节，所述叠加或结合设备考虑根据环境或根据行驶条件的参数或车辆上设置的传感器的输出信号。
11.根据权利要求3的方法，其特征在于，
为整个结合图像或为结合图像的部分区域进行根据环境或根据行驶条件的调节。
12.根据权利要求11的方法，其特征在于，
所述根据环境或根据行驶条件的调节取决于当前车辆环境。
13.根据权利要求11的方法，其特征在于，
所述根据环境或根据行驶条件的调节取决于车辆的当前环境亮度。
14.根据权利要求11的方法，其特征在于，
所述根据行驶条件的调节取决于车辆的当前行驶动态量。
15.根据权利要求14的方法，其特征在于，
所述车辆的当前行驶动态量是其速度和/或其加速度和/或其转向角。
16.根据权利1的方法，其特征在于，所述匹配参数是在为不同距离校准时所获得的，并且所述匹配参数在校准时被存储在车辆的数据存储器中。
17.根据权利要求1的方法，其特征在于，
所述至少一个匹配参数是至少一个记录或变换参数。
18.根据权利要求1的方法，其特征在于，
所述至少一个与物体到车辆的距离相关的匹配参数通过用于第一距离或第一距离范围的第一校准和用于至少一个其他距离或其他距离范围的至少一个其他校准而获得。
19.根据权利要求18的方法，其特征在于，
所述第一距离或第一距离范围对应于在市内行驶的情况下典型的行驶条件。
20.根据权利要求19的方法，其特征在于所述第一距离或第一距离范围为15至75m的距离范围。
21.根据权利要求19的方法，其特征在于，
第二距离或第二距离范围对应于在公路行驶情况下典型的行驶条件。
22.根据权利要求21的方法，其特征在于，
所述第二距离或第二距离范围为30至150m的距离范围。
23.根据权利要求21的方法，其特征在于，
第三距离或第三距离范围对应于在高速公路行驶情况下典型的行驶条件。
24.根据权利要求23的方法，其特征在于，
所述第三距离或第三距离范围为50至250m的距离范围。
25.根据权利要求1的方法，其特征在于，
自动确定车辆的当前行驶条件和/或司机从多个匹配参数中选择适于向司机显示的匹配参数，并且对应于当前行驶条件的或所选择的、由校准获得且被存储在车辆中的匹配参数在以像素和/或区域方式叠加或结合所述可视图像和所述红外图像时被数字结合图像处理加以考虑，由此产生尽可能无失真的和/或无重影的环境结合图像。
26.根据权利要求1的方法，其特征在于，
车辆的当前位置自动地由车辆导航系统确定，同时对应于位置的道路类别或行驶条件也由车辆导航系统确定。
27.根据权利要求26的方法，其特征在于，
所述车辆导航系统是卫星导航系统。
28.根据权利要求26的方法，其特征在于，
所述道路类别或行驶条件是市内道路、公路或高速公路。
29.根据权利要求25的方法，其特征在于，
所述行驶条件自动地借助于至少一个行驶动态量来确定。
30.根据权利要求29的方法，其特征在于，
所述至少一个行驶动态量是车辆速度和/或近距灯或远光灯的工作和/或车辆加速度。
31.根据权利要求1的方法，其特征在于，
由视觉可见的物体和/或其他物体所发出的且被检测到的红外辐射包括8至14μm的波长范围。
32.根据权利要求1的方法，其特征在于，
使用校准装置归一化以数字数据形式存在的车辆环境可视图像。
33.根据权利要求1的方法，其特征在于，
使用校准装置归一化以数字数据形式存在的环境片段红外图像。
34.根据前述权利要求32和33中任一项的方法，其特征在于，
由所述校准装置发出视觉可见辐射和红外辐射。
35.根据前述权利要求32和33中任一项的方法，其特征在于，
所述校准装置包括多个辉光灯，所述多个辉光灯被交错地设置。
36.根据前述权利要求32和33中任一项的方法，其特征在于，
可视图像和/或红外图像的数字数据被临时存储在图像数据存储器中。
37.根据权利要求1的方法，其特征在于，
所述可视摄相机或所述第一传感器与所述红外摄相机或所述第二传感器的图像重复率至少尽可能地相同。
38.根据前述权利要求32和33中任一项的方法，其特征在于，
不同谱范围的时间和位置尽可能相同的图像的位置相同像素或像素区域通过其数字数据的处理而被相互叠加或进行平均值计算。
39.根据前述权利要求38的方法，其特征在于，
像素或像素区域的亮度值和/或色值被叠加或进行平均值计算。
40.根据前述权利要求32和33中任一项的方法，其特征在于，
为所述可视图像和所述红外图像的一个或多个位置尽可能相同的像素进行加权的叠加或平均值计算。
41.用于在黑暗时显示车辆环境的装置(100)，其特征在于，
所述装置执行根据权利要求1的方法。
42.根据权利要求41的装置，其特征在于，
可视摄相机(101)，
红外摄相机(102)，
第一归一化装置(103)，用于归一化所述可视摄相机所提供的、优选为彩色可视的车辆环境片段图像，
第二归一化装置(104)，用于归一化由所述红外摄相机(102)提供的车辆环境片段红外图像，
对准装置(105)，用于从可视图像和红外图像产生在时间和位置上尽可能相同的图像对，
以及结合或叠加设备(106)，所述结合或叠加设备以像素或区域方式叠加所述在时间和位置上尽可能相同的图像对，和/或进行平均值计算。
43.校准装置，其特征在于，
所述校准装置用于校准根据权利要求41或42的装置，并且包括至少一个辐射源，所述辐射源发出视觉可见辐射以及红外辐射。
44.根据权利要求43的校准装置，其特征在于，
所述辐射源是辉光灯。
CNB2004800035556A 2003-02-06 2004-01-30 用于以红外图像和可见图像与环境相关的结合来显示车辆环境的方法和装置 Expired - Lifetime CN100401129C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE10304703.4 2003-02-06
DE10304703.4A DE10304703B4 (de) 2003-02-06 2003-02-06 Verfahren und Vorrichtung zur Sichtbarmachung der Umgebung eines Fahrzeugs mit umgebungsabhängiger Fusion eines Infrarot- und eines Visuell-Abbilds

Publications (2)

Publication Number Publication Date
CN1748167A CN1748167A (zh) 2006-03-15
CN100401129C true CN100401129C (zh) 2008-07-09

Family

ID=32730784

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2004800035556A Expired - Lifetime CN100401129C (zh) 2003-02-06 2004-01-30 用于以红外图像和可见图像与环境相关的结合来显示车辆环境的方法和装置

Country Status (7)

Country Link
US (1) US7199366B2 (zh)
EP (1) EP1590697A1 (zh)
JP (1) JP4491453B2 (zh)
KR (1) KR20050103194A (zh)
CN (1) CN100401129C (zh)
DE (1) DE10304703B4 (zh)
WO (1) WO2004070449A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106415312A (zh) * 2014-05-30 2017-02-15 松下知识产权经营株式会社 感应系统及驾驶支援系统

Families Citing this family (137)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7834905B2 (en) * 2002-06-18 2010-11-16 Bayerische Motoren Werke Aktiengesellschaft Method and system for visualizing the environment of a vehicle with a distance-dependent merging of an infrared and a visual image
US7427758B2 (en) 2003-05-28 2008-09-23 Opto-Knowledge Systems, Inc. Cryogenically cooled adjustable apertures for infra-red cameras
DE10348109A1 (de) * 2003-10-16 2005-05-19 Bayerische Motoren Werke Ag Verfahren und Vorrichtung zur Sichtbarmachung einer Fahrzeugumgebung
WO2005072431A2 (en) * 2004-01-27 2005-08-11 Sarnoff Corporation A method and apparatus for combining a plurality of images
DE102004060461A1 (de) * 2004-12-16 2006-07-06 Daimlerchrysler Ag Verfahren zum Betreiben einer Leuchteinrichtung und Vorrichtung zum Betreiben einer Leuchteinrichtung
DE102004061831A1 (de) * 2004-12-22 2006-07-06 Hella Kgaa Hueck & Co. Verfahren und Vorrichtung zur kombinierten Auswertung der Signale eines Regensensors und einer Kamera
DE102005006290A1 (de) * 2005-02-11 2006-08-24 Bayerische Motoren Werke Ag Verfahren und Vorrichtung zur Sichtbarmachung der Umgebung eines Fahrzeugs durch Fusion eines Infrarot- und eines Visuell-Abbilds
US7340162B2 (en) * 2005-02-23 2008-03-04 Flir Systems, Inc. Infrared camera systems and methods
US8077995B1 (en) 2005-02-23 2011-12-13 Flir Systems, Inc. Infrared camera systems and methods using environmental information
US7419298B2 (en) * 2005-05-24 2008-09-02 United Technologies Corporation Thermal imaging method and apparatus
DE102005041241A1 (de) * 2005-08-31 2007-04-19 Valeo Schalter Und Sensoren Gmbh Verfahren und System zum Betreiben eines Kamerasystems eines Fahrzeugs
DE102006014504B3 (de) * 2006-03-23 2007-11-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bilderfassungssystem für Kraft- und Schienenfahrzeuge sowie Verfahren zur elektronischen Bilderfassung
JP4793638B2 (ja) * 2006-03-27 2011-10-12 マツダ株式会社 車両用歩行者検出装置
US7885469B2 (en) * 2006-05-22 2011-02-08 Microsoft Corporation Encoded high dynamic range textures
US7786898B2 (en) 2006-05-31 2010-08-31 Mobileye Technologies Ltd. Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications
US7636098B2 (en) 2006-09-28 2009-12-22 Microsoft Corporation Salience preserving image fusion
DE102006053109B3 (de) 2006-11-10 2008-06-12 Audi Ag Verfahren zur bildhaften Darstellung einer Fahrzeugumgebung und Bilderfassungssystem
DE102006055905B4 (de) * 2006-11-27 2020-01-30 Adc Automotive Distance Control Systems Gmbh Verfahren zur Fahrzeugumfelderkennung und Vorrichtung zur Umfelderkennung in einem Kraftfahrzeug
DE102006062061B4 (de) * 2006-12-29 2010-06-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, Verfahren und Computerprogramm zum Bestimmen einer Position basierend auf einem Kamerabild von einer Kamera
DE102007021035A1 (de) * 2007-05-04 2008-11-13 Siemens Ag Bildverarbeitungs-, Bildvisualisierungs- und Bildarchivierungssystem zur kontrasterhaltenden Fusionierung und Visualisierung koregistrierter Bilddaten
JP2008306512A (ja) * 2007-06-08 2008-12-18 Nec Corp 情報提供システム
US8164813B1 (en) 2007-06-16 2012-04-24 Opto-Knowledge Systems, Inc. Non-circular continuous variable aperture or shutter for infrared cameras
US8368741B2 (en) * 2007-06-27 2013-02-05 General Instrument Corporation Apparatus and system for improving image quality
FR2922072B1 (fr) * 2007-10-03 2011-04-29 Latecoere Procede et systeme d'aide au roulage d'un aeronef
US8446470B2 (en) * 2007-10-04 2013-05-21 Magna Electronics, Inc. Combined RGB and IR imaging sensor
US10425595B2 (en) 2007-11-28 2019-09-24 Flir Systems, Inc. Modular camera systems and methods
WO2012116112A1 (en) * 2011-02-25 2012-08-30 Flir Systems, Inc. Modular infrared camera systems and methods
DE102008004370A1 (de) * 2008-01-15 2009-07-16 Robert Bosch Gmbh Bildjustageverfahren für ein Videobild
US8274226B1 (en) * 2008-10-06 2012-09-25 Tomar Electronics, Inc. System and method of integrating an LED spotlight
US7772539B2 (en) * 2008-10-10 2010-08-10 General Electric Company System and method for determining characteristic information of an object positioned adjacent to a route
US8840249B2 (en) 2008-10-31 2014-09-23 Christie Digital Systems, Inc. Method, system and apparatus for projecting visible and non-visible images
US8489353B2 (en) * 2009-01-13 2013-07-16 GM Global Technology Operations LLC Methods and systems for calibrating vehicle vision systems
US9473681B2 (en) 2011-06-10 2016-10-18 Flir Systems, Inc. Infrared camera system housing with metalized surface
US9948872B2 (en) 2009-03-02 2018-04-17 Flir Systems, Inc. Monitor and control systems and methods for occupant safety and energy efficiency of structures
US9843742B2 (en) 2009-03-02 2017-12-12 Flir Systems, Inc. Thermal image frame capture using de-aligned sensor array
US9674458B2 (en) 2009-06-03 2017-06-06 Flir Systems, Inc. Smart surveillance camera systems and methods
US9208542B2 (en) 2009-03-02 2015-12-08 Flir Systems, Inc. Pixel-wise noise reduction in thermal images
US9998697B2 (en) 2009-03-02 2018-06-12 Flir Systems, Inc. Systems and methods for monitoring vehicle occupants
US10757308B2 (en) 2009-03-02 2020-08-25 Flir Systems, Inc. Techniques for device attachment with dual band imaging sensor
US9235876B2 (en) 2009-03-02 2016-01-12 Flir Systems, Inc. Row and column noise reduction in thermal images
US9517679B2 (en) 2009-03-02 2016-12-13 Flir Systems, Inc. Systems and methods for monitoring vehicle occupants
USD765081S1 (en) 2012-05-25 2016-08-30 Flir Systems, Inc. Mobile communications device attachment with camera
US9986175B2 (en) 2009-03-02 2018-05-29 Flir Systems, Inc. Device attachment with infrared imaging sensor
US8749635B2 (en) 2009-06-03 2014-06-10 Flir Systems, Inc. Infrared camera systems and methods for dual sensor applications
US9635285B2 (en) 2009-03-02 2017-04-25 Flir Systems, Inc. Infrared imaging enhancement with fusion
US10244190B2 (en) * 2009-03-02 2019-03-26 Flir Systems, Inc. Compact multi-spectrum imaging with fusion
US9451183B2 (en) 2009-03-02 2016-09-20 Flir Systems, Inc. Time spaced infrared image enhancement
US9756264B2 (en) 2009-03-02 2017-09-05 Flir Systems, Inc. Anomalous pixel detection
EP2254091B1 (en) * 2009-05-19 2020-03-25 Veoneer Sweden AB Vision system and method for a motor vehicle
US9819880B2 (en) 2009-06-03 2017-11-14 Flir Systems, Inc. Systems and methods of suppressing sky regions in images
US10091439B2 (en) 2009-06-03 2018-10-02 Flir Systems, Inc. Imager with array of multiple infrared imaging modules
US9292909B2 (en) 2009-06-03 2016-03-22 Flir Systems, Inc. Selective image correction for infrared imaging devices
US9716843B2 (en) 2009-06-03 2017-07-25 Flir Systems, Inc. Measurement device for electrical installations and related methods
US9756262B2 (en) 2009-06-03 2017-09-05 Flir Systems, Inc. Systems and methods for monitoring power systems
US10044946B2 (en) 2009-06-03 2018-08-07 Flir Systems Ab Facilitating analysis and interpretation of associated visible light and infrared (IR) image information
US9843743B2 (en) 2009-06-03 2017-12-12 Flir Systems, Inc. Infant monitoring systems and methods using thermal imaging
US8599264B2 (en) * 2009-11-20 2013-12-03 Fluke Corporation Comparison of infrared images
US8279285B2 (en) 2010-04-14 2012-10-02 Canon Kabushiki Kaisha Hybrid imaging with visible and quantum entanglement images
US9207708B2 (en) 2010-04-23 2015-12-08 Flir Systems, Inc. Abnormal clock rate detection in imaging sensor arrays
US9848134B2 (en) 2010-04-23 2017-12-19 Flir Systems, Inc. Infrared imager with integrated metal layers
US9706138B2 (en) 2010-04-23 2017-07-11 Flir Systems, Inc. Hybrid infrared sensor array having heterogeneous infrared sensors
US8102306B2 (en) * 2010-05-13 2012-01-24 The United States Of America As Represented By The Secretary Of The Navy Active-radar-assisted passive composite imagery for aiding navigation or detecting threats
US8768101B1 (en) 2010-06-30 2014-07-01 The United States Of America As Represented By The Secretary Of The Air Force Target image registration and fusion
DE102010026223A1 (de) * 2010-07-06 2011-05-12 Daimler Ag Fahrzeug mit mehreren Bilderfassungseinheiten zur Erfassung eines seitlich neben und seitlich hinter dem Fahrzeug befindlichen Bereichs
JP2012027773A (ja) * 2010-07-26 2012-02-09 Toyota Central R&D Labs Inc 擬似濃淡画像生成装置及びプログラム
US8836793B1 (en) 2010-08-13 2014-09-16 Opto-Knowledge Systems, Inc. True color night vision (TCNV) fusion
US9143709B1 (en) 2011-05-09 2015-09-22 Exelis, Inc. Non-uniformity correction (NUC) gain damping
US9509924B2 (en) 2011-06-10 2016-11-29 Flir Systems, Inc. Wearable apparatus with integrated infrared imaging module
US9961277B2 (en) 2011-06-10 2018-05-01 Flir Systems, Inc. Infrared focal plane array heat spreaders
US9143703B2 (en) 2011-06-10 2015-09-22 Flir Systems, Inc. Infrared camera calibration techniques
US9900526B2 (en) 2011-06-10 2018-02-20 Flir Systems, Inc. Techniques to compensate for calibration drifts in infrared imaging devices
US9706137B2 (en) 2011-06-10 2017-07-11 Flir Systems, Inc. Electrical cabinet infrared monitor
US10169666B2 (en) 2011-06-10 2019-01-01 Flir Systems, Inc. Image-assisted remote control vehicle systems and methods
US9235023B2 (en) 2011-06-10 2016-01-12 Flir Systems, Inc. Variable lens sleeve spacer
US10079982B2 (en) 2011-06-10 2018-09-18 Flir Systems, Inc. Determination of an absolute radiometric value using blocked infrared sensors
CN103828343B (zh) 2011-06-10 2017-07-11 菲力尔系统公司 基于行的图像处理和柔性存储系统
US10841508B2 (en) 2011-06-10 2020-11-17 Flir Systems, Inc. Electrical cabinet infrared monitor systems and methods
US10389953B2 (en) 2011-06-10 2019-08-20 Flir Systems, Inc. Infrared imaging device having a shutter
EP2719167B1 (en) 2011-06-10 2018-08-08 Flir Systems, Inc. Low power and small form factor infrared imaging
US9058653B1 (en) 2011-06-10 2015-06-16 Flir Systems, Inc. Alignment of visible light sources based on thermal images
EP2719165B1 (en) 2011-06-10 2018-05-02 Flir Systems, Inc. Non-uniformity correction techniques for infrared imaging devices
US10051210B2 (en) 2011-06-10 2018-08-14 Flir Systems, Inc. Infrared detector array with selectable pixel binning systems and methods
CA2867895C (en) * 2012-03-19 2018-03-06 Flir Systems, Inc. Wearable apparatus with integrated infrared imaging module
US8824828B1 (en) * 2012-03-28 2014-09-02 Exelis, Inc. Thermal V-curve for fusion image declutter
US8994845B2 (en) * 2012-04-27 2015-03-31 Blackberry Limited System and method of adjusting a camera based on image data
US9811884B2 (en) 2012-07-16 2017-11-07 Flir Systems, Inc. Methods and systems for suppressing atmospheric turbulence in images
KR101858646B1 (ko) * 2012-12-14 2018-05-17 한화에어로스페이스 주식회사 영상 융합 장치 및 방법
DE102012025270A1 (de) 2012-12-21 2013-08-01 Daimler Ag Kamerasystem für einen Kraftwagen und Verfahren zum Mischen von zumindest zwei Bildsequenzen
US9580014B2 (en) * 2013-08-08 2017-02-28 Convoy Technologies Llc System, apparatus, and method of detecting and displaying obstacles and data associated with the obstacles
US9973692B2 (en) 2013-10-03 2018-05-15 Flir Systems, Inc. Situational awareness by compressed display of panoramic views
US11297264B2 (en) 2014-01-05 2022-04-05 Teledyne Fur, Llc Device attachment with dual band imaging sensor
US9990730B2 (en) 2014-03-21 2018-06-05 Fluke Corporation Visible light image with edge marking for enhancing IR imagery
US9996913B2 (en) 2014-04-07 2018-06-12 Bae Systems Information And Electronic Systems Integration Inc. Contrast based image fusion
BR112015030886B1 (pt) 2014-04-18 2022-09-27 Autonomous Solutions, Inc. Veículo, sistema de visão para uso por um veículo e método de direcionamento de um veículo com o uso de um sistema de visão
WO2015170869A1 (ko) * 2014-05-07 2015-11-12 서울대학교산학협력단 협력 통신을 이용하여 주변 이동체를 탐지하는 방법 및 시스템
KR101637374B1 (ko) * 2014-05-07 2016-07-07 서울대학교산학협력단 협력 통신을 이용하여 주변 이동체를 탐지하는 방법 및 시스템
KR101990367B1 (ko) * 2014-05-08 2019-06-18 한화테크윈 주식회사 영상 융합 방법
US9628659B2 (en) * 2015-01-08 2017-04-18 GM Global Technology Operations LLC Method and apparatus for inspecting an object employing machine vision
WO2016122969A1 (en) * 2015-01-26 2016-08-04 Trw Automotive U.S. Llc Vehicle driver assist system
US10023118B2 (en) * 2015-03-23 2018-07-17 Magna Electronics Inc. Vehicle vision system with thermal sensor
EP3295376A4 (en) * 2015-05-15 2019-06-12 Airfusion, Inc. PORTABLE APPARATUS AND DECISION ASSISTANCE METHOD FOR FUSION AND ANALYSIS OF AUTOMATED MULTI-SENSOR DATA IN REAL-TIME
US10152811B2 (en) 2015-08-27 2018-12-11 Fluke Corporation Edge enhancement for thermal-visible combined images and cameras
US9781361B2 (en) * 2015-09-01 2017-10-03 Delphi Technologies, Inc. Integrated camera, ambient light detection, and rain sensor assembly
KR102371589B1 (ko) * 2016-06-27 2022-03-07 현대자동차주식회사 전방 차량 검출 장치 및 방법
CN106127720B (zh) * 2016-06-29 2019-01-11 青岛海信移动通信技术股份有限公司 一种拍摄放大图像的方法和装置
US20190182930A1 (en) 2016-07-28 2019-06-13 Philips Lighting Holding B.V. Method for calibration of lighting system sensors
DE102016217081A1 (de) * 2016-09-08 2018-03-08 Robert Bosch Gmbh Verfahren und Vorrichtung zum Empfangen, Verarbeiten und Übertragen von Daten
US10929955B2 (en) 2017-06-05 2021-02-23 Adasky, Ltd. Scene-based nonuniformity correction using a convolutional recurrent neural network
US11012594B2 (en) 2017-06-05 2021-05-18 Adasky, Ltd. Techniques for correcting oversaturated pixels in shutterless FIR cameras
US10699386B2 (en) 2017-06-05 2020-06-30 Adasky, Ltd. Techniques for scene-based nonuniformity correction in shutterless FIR cameras
US10511793B2 (en) 2017-06-05 2019-12-17 Adasky, Ltd. Techniques for correcting fixed pattern noise in shutterless FIR cameras
WO2018226437A1 (en) * 2017-06-05 2018-12-13 Adasky, Ltd. Shutterless far infrared (fir) camera for automotive safety and driving systems
CN107230199A (zh) * 2017-06-23 2017-10-03 歌尔科技有限公司 图像处理方法、装置和增强现实设备
US20200172135A1 (en) * 2017-08-10 2020-06-04 Siemens Mobility GmbH Sensor-controlled adjustment of odometric measurement parameters to weather conditions
CN107566747B (zh) * 2017-09-22 2020-02-14 浙江大华技术股份有限公司 一种图像亮度增强方法及装置
KR102146837B1 (ko) * 2018-09-05 2020-08-21 주식회사 옵트론텍 이미지 통합 장치 및 이를 포함하는 운전 보조 시스템
US10698415B2 (en) 2018-10-31 2020-06-30 Trw Automotive U.S. Llc Vehicle assist system
WO2020111990A1 (en) * 2018-11-28 2020-06-04 Saab Ab A method, software product, device and system for integrating images
KR102235031B1 (ko) * 2019-01-24 2021-04-01 주식회사 아이에이 실시간 처리 가능 카메라 기반 주행 환경 탐지 차량 시스템
CN109733285B (zh) * 2019-02-27 2021-05-07 百度在线网络技术（北京）有限公司 车辆行驶状态显示方法、设备和系统
DE102019205009B4 (de) * 2019-04-08 2024-06-20 Zf Friedrichshafen Ag Verfahren, Steuergerät, Set und Computerprogrammprodukt zum Kalibrieren einer Kamera und Kalibrieren einer Fahrzeugkamera mit Nachtsichtfähigkeit
US11555743B2 (en) * 2019-07-01 2023-01-17 Snap-On Incorporated Method and system for calibrating imaging system
US11709099B2 (en) 2019-07-01 2023-07-25 Snap-On Incorporated Method and system for calibrating imaging system
CN110458877B (zh) * 2019-08-14 2023-02-24 湖南科华军融民科技研究院有限公司 基于仿生视觉的红外与可见光信息融合的导航方法
CN110889398B (zh) * 2019-12-19 2022-01-14 南通大学 一种基于相似度网络的多模态图像能见度检测方法
US11244500B2 (en) 2019-12-31 2022-02-08 Woven Planet North America, Inc. Map feature extraction using overhead view images
US11288522B2 (en) 2019-12-31 2022-03-29 Woven Planet North America, Inc. Generating training data from overhead view images
US11037328B1 (en) 2019-12-31 2021-06-15 Lyft, Inc. Overhead view image generation
US11623653B2 (en) 2020-01-23 2023-04-11 Toyota Motor Engineering & Manufacturing North America, Inc. Augmented reality assisted traffic infrastructure visualization
DE102020214781A1 (de) 2020-11-25 2022-05-25 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zum Erzeugen eines fusionierten Kamerabilds für eine Fahrzeugkameraeinrichtung
DE102020214791A1 (de) 2020-11-25 2022-05-25 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zum Erzeugen eines fusionierten Kamerabilds für eine Fahrzeugkameraeinrichtung
CN112991218B (zh) * 2021-03-23 2024-07-09 北京百度网讯科技有限公司 图像处理的方法、装置、设备以及存储介质
US12142020B2 (en) 2021-04-27 2024-11-12 Arete Associates Systems and methods for estimating visibility in a scene
EP4149106A1 (en) 2021-09-09 2023-03-15 Axis AB Image stream with color metadata
JP7830081B2 (ja) * 2021-11-15 2026-03-16 株式会社小松製作所 表示システム及び表示方法
US11722789B1 (en) * 2022-02-01 2023-08-08 Ford Global Technologies, Llc Multi-camera imaging system selecting between visible and infrared views in a vehicle
CN119058725B (zh) * 2023-05-31 2025-12-16 比亚迪股份有限公司 自适应感知融合行车方法、装置、存储介质和车辆

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4967276A (en) * 1988-05-24 1990-10-30 Fujitsu Limited Video signal mixing device for infrared/visible integrated imaging
US5001558A (en) * 1985-06-11 1991-03-19 General Motors Corporation Night vision system with color video camera
EP0505237A1 (fr) * 1991-03-22 1992-09-23 Regie Nationale Des Usines Renault S.A. Procédé et dispositif d'amélioration de la vision automobile de nuit
FR2687000A1 (fr) * 1992-01-31 1993-08-06 Renault Procede et dispositif de detection de vehicules et de marquages au sol.
US6150930A (en) * 1992-08-14 2000-11-21 Texas Instruments Incorporated Video equipment and method to assist motor vehicle operators
CN1285690A (zh) * 1999-08-18 2001-02-28 松下电器产业株式会社 多功能车载摄像机系统及其图像显示方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5140416A (en) 1990-09-18 1992-08-18 Texas Instruments Incorporated System and method for fusing video imagery from multiple sources in real time
FI96993C (fi) 1992-01-30 1996-09-25 Vaisala Oy Kalibrointimenetelmä kaasujen pitoisuuden mittausta varten
US5414439A (en) 1994-06-09 1995-05-09 Delco Electronics Corporation Head up display with night vision enhancement
DE19638140A1 (de) 1996-09-18 1998-03-19 Franz Huber Sichtabbildungsvorrichtung für Kraftfahrzeuge
WO1999036904A1 (en) 1998-01-16 1999-07-22 Thresholds Unlimited, Inc. Head up display and vision system
DE19801884A1 (de) 1998-01-20 1999-07-22 Mannesmann Vdo Ag Überwachungssystem für Fahrzeuge
DE10016184C2 (de) 2000-03-31 2002-02-07 Audi Ag Vorrichtung zur Anzeige der Umgebung eines Fahrzeugs
EP1202214A3 (en) * 2000-10-31 2005-02-23 Matsushita Electric Industrial Co., Ltd. Method and apparatus for object recognition
DE10218175B4 (de) 2002-04-24 2011-10-27 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Sichtbarmachung der Umgebung eines Fahrzeugs mit fahrsituationsabhängiger Fusion eines Infrarot- und eines Visuell-Abbilds
DE10227171B4 (de) * 2002-06-18 2019-09-26 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Sichtbarmachung der Umgebung eines Fahrzeugs mit abstandsabhängiger Fusion eines Infrarot- und eines Visuell-Abbilds

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5001558A (en) * 1985-06-11 1991-03-19 General Motors Corporation Night vision system with color video camera
US4967276A (en) * 1988-05-24 1990-10-30 Fujitsu Limited Video signal mixing device for infrared/visible integrated imaging
EP0505237A1 (fr) * 1991-03-22 1992-09-23 Regie Nationale Des Usines Renault S.A. Procédé et dispositif d'amélioration de la vision automobile de nuit
FR2687000A1 (fr) * 1992-01-31 1993-08-06 Renault Procede et dispositif de detection de vehicules et de marquages au sol.
US6150930A (en) * 1992-08-14 2000-11-21 Texas Instruments Incorporated Video equipment and method to assist motor vehicle operators
CN1285690A (zh) * 1999-08-18 2001-02-28 松下电器产业株式会社 多功能车载摄像机系统及其图像显示方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106415312A (zh) * 2014-05-30 2017-02-15 松下知识产权经营株式会社 感应系统及驾驶支援系统
CN106415312B (zh) * 2014-05-30 2019-07-02 松下知识产权经营株式会社 感应系统及驾驶支援系统
US11397248B2 (en) 2014-05-30 2022-07-26 Nuvoton Technology Corporation Japan Sensing system and driving support system

Also Published As

Publication number Publication date
US20050270784A1 (en) 2005-12-08
DE10304703A1 (de) 2004-08-19
JP2006516507A (ja) 2006-07-06
KR20050103194A (ko) 2005-10-27
JP4491453B2 (ja) 2010-06-30
CN1748167A (zh) 2006-03-15
US7199366B2 (en) 2007-04-03
DE10304703B4 (de) 2023-03-16
WO2004070449A1 (de) 2004-08-19
EP1590697A1 (de) 2005-11-02

Similar Documents

Publication Publication Date Title
CN100401129C (zh) 用于以红外图像和可见图像与环境相关的结合来显示车辆环境的方法和装置
US7834905B2 (en) Method and system for visualizing the environment of a vehicle with a distance-dependent merging of an infrared and a visual image
US20050134479A1 (en) Vehicle display system
EP0830267B2 (en) Rearview vision system for vehicle including panoramic view
CN108460734B (zh) 车辆驾驶员辅助模块进行图像呈现的系统和方法
CN1985266B (zh) 全景视觉系统和方法
US9088737B2 (en) Method and device for visualizing the surroundings of a vehicle by fusing an infrared image and a visual image
US7576767B2 (en) Panoramic vision system and method
US7561181B2 (en) Vehicular vision system
US6498620B2 (en) Vision system for a vehicle including an image capture device and a display system having a long focal length
US20020130953A1 (en) Enhanced display of environmental navigation features to vehicle operator
EP1383331A1 (en) Method and apparatus for synthesizingdisplaying images of cameras installed in vehicle
JP2005509129A5 (zh)
WO2015178355A1 (ja) 表示装置
JP6750531B2 (ja) 表示制御装置及び表示制御プログラム
JP2003078908A (ja) 車両における視界を改善する方法および装置
EP3543769B1 (en) Image display apparatus, mobile object, image display method, and carrier means
DE10227171B4 (de) Verfahren und Vorrichtung zur Sichtbarmachung der Umgebung eines Fahrzeugs mit abstandsabhängiger Fusion eines Infrarot- und eines Visuell-Abbilds

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CX01 Expiry of patent term

Granted publication date: 20080709

CX01 Expiry of patent term