CN109840586B - 自主机器中对有问题的传感器的基于深度学习的实时检测和校正 - Google Patents

自主机器中对有问题的传感器的基于深度学习的实时检测和校正 Download PDF

Info

Publication number
CN109840586B
CN109840586B CN201811275743.4A CN201811275743A CN109840586B CN 109840586 B CN109840586 B CN 109840586B CN 201811275743 A CN201811275743 A CN 201811275743A CN 109840586 B CN109840586 B CN 109840586B
Authority
CN
China
Prior art keywords
sensor
sensors
deep learning
defective
blocked
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811275743.4A
Other languages
English (en)
Other versions
CN109840586A (zh
Inventor
杨文龙
T·赖德
张晓佩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN109840586A publication Critical patent/CN109840586A/zh
Application granted granted Critical
Publication of CN109840586B publication Critical patent/CN109840586B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0011—Planning or execution of driving tasks involving control alternatives for a single driving scenario, e.g. planning several paths to avoid obstacles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/50—Barriers
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Signal Processing (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

描述了一种根据一个实施例的用于促进在自主机器中对有问题的传感器进行基于深度学习的实时检测和校正的机构。本文所描述的实施例的装置包括：检测和捕获逻辑，用于促进一个或多个传感器捕获场景的一个或多个图像，其中，一个或多个图像中的图像被确定为不清楚的，其中，一个或多个传感器包括一个或多个相机。该装置还包括分类和预测逻辑，用于促进深度学习模型实时识别与该图像关联的传感器。

Description

自主机器中对有问题的传感器的基于深度学习的实时检测和 校正
技术领域
本文所描述的实施例总体上涉及数据处理，更具体地说，涉及促进在自主机器中对有问题的(compromised)传感器进行基于深度学习的实时检测和校正。
背景技术
自主机器预计在未来呈指数增长，这进而很可能要求传感器(例如，相机)在促进各种任务(例如，自主驾驶)方面领导增长。
常规技术使用多个传感器尝试应用数据/传感器融合，以用于提供某种冗余，以保证精度；然而，这些常规技术是严重受限的，因为它们不能应对或避开提供低质量或误导数据的那些传感器。
附图说明
在附图的各图中，通过示例的方式而不是限制的方式示出实施例，其中，类似标号指代类似要素。
图1示出根据一个实施例的采用传感器自动检查机构的计算设备。
图2示出根据一个实施例的图1的传感器自动检查机构。
图3A示出根据一个实施例的来自多个传感器的静态输入。
图3B示出根据一个实施例的来自单个传感器的动态输入。
图3C示出根据一个实施例的来自单个传感器的动态输入。
图4A示出根据一个实施例的使用深度学习提供用于对有问题的传感器进行实时检测和校正的事务序列的架构设置。
图4B示出根据一个实施例的用于使用深度学习对有问题的传感器进行实时检测和校正的方法。
图5示出根据一个实施例的能够支持和实现一个或多个实施例的计算机设备。
图6示出根据一个实施例的能够支持和实现一个或多个实施例的计算环境的实施例。
具体实施方式
在以下描述中，阐述大量具体细节。然而，可以在没有这些具体细节的情况下实践本文所描述的实施例。在其他实例中，没有详细示出公知的电路、结构和技术，以免掩盖对该描述的理解。
实施例提供用于在自主机器中对有问题的传感器进行基于深度学习的检测、通知、校正的新颖技术。在一个实施例中，自动检查可以包括以下中的一个或多个：检测有问题的传感器，发出告警以警告有问题的传感器，提供对有问题的传感器的任何失真进行实时修理，等。
预期实施例不限于任何数量或类型的传感器；然而，为了简明、清楚并且易于理解，贯穿本文献可以使用一个或多个相机作为示例性传感器，但实施例不限于此。
预期贯穿本文献可以可互换地引用例如“请求”、“询问”、“作业”、“工作”、“工作项”和“工作量”的术语。类似地，“应用”或“代理”可以指代或包括通过应用编程接口(API)(例如，免费渲染API(例如，开放图形库11、12等))提供的计算机程序、软件应用、游戏、工作站应用等，其中，“分派(dispatch)”可以可互换地称为“工作单元”或“绘制”，并且类似地，“应用”可以可互换地称为“工作流”，或简单地，“代理”。例如，工作量(例如，三维(3D)游戏的工作量)可以包括并且发出任何数量和类型的“帧”，其中，每个帧可以表示图像(例如，帆船、人脸)。此外，每个帧可以包括并且提供任何数量和类型的工作单元，其中，每个工作单元可以表示其对应帧所表示的图像(例如，帆船、人脸)的一部分(例如，帆船的桅杆、人脸的额头)。然而，为了一致性，贯穿本文献，每个项可以由单个术语(例如，“分派”、“代理”等)引用。
在一些实施例中，可以可互换地使用指代显示设备的可视部分的例如“显示屏”和“显示表面”的术语，而显示设备的其余部分可以嵌入到计算设备(例如，智能电话、可穿戴设备等)中。预期并且注意，实施例并非受限于任何特定计算设备、软件应用、硬件组件、显示设备、显示屏或表面、协议、标准等。例如，实施例可以应用于并且用以任何数量和类型的计算机(例如，台式计算机、膝上型计算机、平板计算机、智能电话、头戴式显示器和其他可穿戴设备等)上的任何数量和类型的实时应用。此外，例如，出于高效性能而使用该新颖技术渲染场景的范围可以从简单场景(例如，桌面合成)到复杂场景(例如，3D游戏、增强现实应用等)。
要注意，贯穿本文献，可以可互换地引用例如卷积神经网络(CNN)、CNN、神经网络(NN)、NN、深度神经网络(DNN)、DNN、递归神经网络(RNN)、RNN等的术语或缩写。此外，贯穿本文献可以可互换地引用例如“自主机器”或简单地“机器”、“自主载具”或简单地“载具”、“自主代理”或简单地“代理”、“自主设备”或“计算设备”、“机器人”等的术语。
图1示出根据一个实施例的采用传感器自动检查机构(“自动检查机构”)110的计算设备100。计算设备100表示包括或表示任何数量和类型的智能设备(例如(但不限于)智能命令设备或智能个人数字助理、家庭/办公自动化系统、家庭电器(例如，洗衣机、电视机等)、移动设备(例如，智能电话、平板计算机等)、游戏设备、手持设备、可穿戴设备(例如，智能手表、智能手镯等)、虚拟现实(VR)设备、头戴式显示器(HMD)、物联网(IoT)设备、膝上型计算机、台式计算机、服务器计算机、机顶盒(例如，基于互联网的有线电视机顶盒等)、基于全球定位系统(GPS)的设备等)的通信和数据处理设备。
在一些实施例中，计算设备100可以包括(但不限于)自主机器或人工智能代理(例如，机械代理或机器、电子代理或机器、虚拟代理或机器、电机代理或机器等)。自主机器或人工智能代理的示例可以包括(但不限于)机器人、自主载具(例如，自行驾驶汽车、自动飞行飞机、自动航行船只等)、自主设备(自动操作建筑载具、自动操作医疗设备等)等。此外，“自主载具”不限于汽车，而是它们可以包括任何数量和类型的自主机器(例如，机器人、自主设备、家用自主设备等)，并且与这些自主机器有关的任何一个或多个任务或操作可以与自主驾驶可互换地引用。
此外，例如，计算设备100可以包括掌管在单个芯片上集成计算设备100的各种硬件和/或软件组件的集成电路(“IC”)(例如，片上系统(“SoC”或“SOC”))的计算机平台。
如所示，在一个实施例中，计算设备100可以包括任何数量和类型的硬件和/或软件组件，例如(但不限于)图形处理单元(“GPU”或简单地“图形处理器”)114、图形驱动器(又称为“GPU驱动器”、“图形驱动器逻辑”、“驱动器逻辑”、用户模式驱动器(UMD)、UMD、用户模式驱动器框架(UMDF)、UMDF或简单地“驱动器”)116、中央处理单元(“CPU”或简单地“应用处理器”)112、存储器104、网络设备、驱动器等以及输入/输出(I/O)源108(例如，触摸屏、触摸板、触摸盘、虚拟或常规键盘、虚拟或常规鼠标、端口、连接器等)。计算设备100可以包括操作系统(OS)106，其充当计算机设备100的硬件和/或物理资源与用户之间的接口。
应理解，对于特定实现方式，比上述示例更少或更多装配的系统可以是优选的。因此，取决于多种因素(例如，价格约束、性能要求、技术改进或其他情况)，计算设备100的配置可以随着实现方式而变化。
实施例可以实现为任何以下项或其组合：使用主板互连的一个或多个微芯片或集成电路、硬引线逻辑、存储器设备所存储的并且由微处理器执行的软件、固件、专用集成电路(ASIC)和/或现场可编程门阵列(FPGA)。此外，术语“逻辑”、“模块”、“组件”、“引擎”和“机构”可以通过示例的方式包括软件或硬件和/或其组合(例如，固件)。
在一个实施例中，如所示，自动检查机构110可以由与计算设备100的I/O源108进行通信的操作系统106掌管。在另一实施例中，自动检查机构110可以由图形驱动器116掌管或促进。在又一实施例中，自动检查机构110可以由图形处理单元(“GPU”或简单地“图形处理器”)114或图形处理器114的固件掌管或成为其一部分。例如，自动检查机构110可以嵌入或实现为图形处理器114的处理硬件的一部分。相似地，在又一实施例中，自动检查机构110可以由中央处理单元(“CPU”或简单地“应用处理器”)112掌管或成为其一部分。例如，自动检查机构110可以嵌入或实现为应用处理器112的处理硬件的一部分。
在又一实施例中，自动检查机构110可以由任何数量或类型的计算设备100的组件掌管或成为其一部分，例如，自动检查机构110的一部分可以由操作系统116掌管或成为其一部分，另一部分可以由图形处理器114掌管或成为其一部分，另一部分可以由应用处理器112掌管或成为其一部分，而自动检查机构110的一个或多个部分可以由计算设备100的操作系统116和/或任何数量和类型的设备掌管或成为其一部分。预期实施例不限于自动检查机构110的任何特定实现方式或掌管，并且自动检查机构110的一个或多个部分或组件可以采用或实现为硬件、软件或其任何组合(例如，固件)。
计算设备100可以掌管网络接口，以提供对网络(例如，LAN、广域网(WAN)、城域网(MAN)、个域网(PAN)、蓝牙、云网络、移动网络(例如，第3代(3G)、第4代(4G)等)、内部网、互联网等)的接入。网络接口可以包括例如具有天线(其可以表示一个或多个天线)的无线网络接口。网络接口可以还包括例如有线网络接口，以经由网络缆线(其可以是例如以太网缆线、同轴缆线、光纤缆线、串行缆线或并行缆线)与远端设备进行通信。
实施例可以被提供为例如计算机程序产品，其可以包括一个或多个机器可读介质，其上存储有机器可执行指令，其当由一个或多个机器(例如，计算机、计算机的网络或其他电子设备)执行时可以使一个或多个机器根据本文所描述的实施例执行操作。机器可读介质可以包括但不限于软盘、光盘、CD-ROM(压缩盘-只读存储器)以及磁性光盘、ROM、RAM、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)、磁卡或光卡、闪存、或适合于存储机器可执行指令的其他类型的介质/机器可读介质。
此外，实施例可以下载为计算机程序产品，其中，程序可以经由通信链路(例如，调制解调器和/或网络连接)通过载波或其他传播介质中实施的和/或调制的一个或多个数据信号的方式从远端计算机(例如，服务器)传送到请求计算机(例如，客户端)。
贯穿本文献，术语“用户”可以可互换地称为“观看者”、“观测者”、“说话者”、“人”、“个人”、“终端用户”等。要注意，贯穿本文献，例如“图形域”的术语可以与“图形处理单元”、“图形处理器”或简单地“GPU”可互换地引用，并且类似地，“CPU域”或“主机域”可以与“计算机处理单元”、“应用处理器”或简单地“CPU”可互换地引用。
要注意，贯穿本文献，可以可互换地使用例如“节点”、“计算机节点”、“服务器”、“服务器设备”、“云计算机”、“云服务器”、“云服务器计算机”、“机器”、“宿主机器”、“设备”、“计算设备”、“计算机”、“计算系统”等的术语。还要注意，贯穿本文献，可以可互换地使用例如“应用”、“软件应用”、“程序”、“软件程序”、“包”、“软件包”等的术语。此外，贯穿本文献，可以可互换地使用例如“作业”、“输入”、“请求”“消息”等的术语。
图2示出根据一个实施例的图1的传感器自动检查机构110。为了简明，下文中不重复或讨论已经参照图1描述的很多细节。在一个实施例中，自动检查机构110可以包括任何数量和类型的组件，例如(但不限于)：检测和捕获逻辑201；串接逻辑203；训练和推理逻辑205；通信/兼容性逻辑209；以及分类和预测逻辑207。
计算设备100(贯穿本文献也可互换地称为“自主机器”)还被示为包括用户接口219(例如，基于图形用户接口(GUI)的用户接口、Web浏览器、基于云的平台用户接口、基于软件应用的用户接口、其他用户或应用编程接口(API)等)。计算设备100可以还包括I/O源108，其具有捕获/感测组件231(例如，相机A 242A、B 242B、C 242C、D 242D(例如，RealSenseTM相机)、传感器、麦克风241等)以及输出组件233(例如，显示设备或简单地显示器244(例如，集成显示器、张量显示器、投影屏、显示屏等)、扬声器设备或简单地扬声器243等)。
计算设备100还被示为能够通过一个或多个通信介质230(例如，网络(例如，云网络、邻近网络、互联网)等)接入一个或多个数据库225和/或一个或多个其他计算设备和/或与之进行通信。
在一些实施例中，数据库225可以包括存储介质或设备、库、数据源等中的一个或多个，其具有与任何数量和类型的应用有关的任何量或类型的信息(例如，数据、元数据等)(例如，与一个或多个用户、物理位置或区域、适用法律、政策和/或规章、用户偏好和/或简档、安全和/或鉴权数据、历史和/或偏好细节等有关的数据和/或元数据)。
如前述，计算设备100可以掌管包括捕获/感测组件231和输出组件233的I/O源108。在一个实施例中，捕获/感测组件231可以包括传感器阵列，其包括但不限于麦克风241(例如，超声麦克风))、相机242A-242D(例如，二维(2D)相机、三维(3D)相机、红外(IR)相机、深度感测相机等)、电容器、无线电组件、雷达组件等、扫描仪、和/或加速计等。类似地，输出组件233可以包括任何数量和类型的扬声器243、显示设备244(例如，屏幕、投影仪、发光二极管(LED)和/或振动电机等)。
例如，如所示，捕获/感测组件231可以包括任何数量和类型的麦克风241(例如，多个麦克风或麦克风阵列(例如，超声麦克风、动态麦克风、光纤麦克风、激光麦克风等))。预期麦克风241中的一个或多个充当用于接受或接收进入计算设备100的音频输入(例如，人类语音)并且将该音频或声音转换为电信号的一个或多个输入设备。类似地，预期相机242A-242D中的一个或多个充当用于检测和捕获场景、物体等的图像和/或视频的一个或多个输入设备，并且将所捕获的数据提供作为计算设备100的视频输入。
预期实施例不限于任何数量或类型的麦克风241、相机242A-242D、扬声器243、显示器244等。例如，如检测和捕获逻辑201所促进的那样，麦克风241中的一个或多个可以用于同时检测来自多个用户或扬声器(例如，扬声器250)的语音或声音。类似地，如检测和捕获逻辑201所促进的那样，相机242A-242D中的一个或多个可以用于捕获地理位置(例如，房间)的图像或视频及其内容(例如，家具、电子设备、人、动物、地皮等)并且从所捕获的数据形成图像或视频流的集合，以用于在计算设备100处由自动检查机构110进一步处理。
类似地，如所示，输出组件233可以包括任何数量和类型的扬声器243，以充当输出设备，以用于出于任何数量或类型的原因(例如，人类收听或消费)从计算设备100输出或发出音频。例如，扬声器243工作得与麦克风241相反，其中，扬声器243将电信号转换为声音。
如上所述，实施例不限于作为捕获/感测组件231的一部分(例如，麦克风241、相机242A-242D等)、嵌入在其中或耦合到它的任何数量或类型的传感器。换言之，实施例可应用于并且兼容于任何数量类型的传感器；然而，相机242A-242D贯穿本文献用作示例，目的是简明且清楚地进行讨论。类似地，实施例可应用于所有类型和方式的相机，并且因此，相机242A-242D不必是特定类型的。
如上所述，随着自主机器(例如，自动驾驶载具、无人机、家用电器等)的增长，所有种类的传感器预计会影响并且促进对于自主机器(例如，在自动驾驶载具的情况下在轮子后面充当眼睛的传感器)的活力必要的特定任务。故此，当出于任何数量的原因(例如，安全、安保、信任等，具体地说，在生死攸关情况、商业环境等中)涉及自主机器时，数据质量变为关键因素。
预期高质量数据可以确保自主机器(例如，计算设备100)的人工智能(AI)接收高质量输入(例如，图像、视频等)，以用于输出高质量性能。还预期即使传感器(例如，相机242A-242D)之一是有瑕疵的或并非正执行至其完全潜力(例如，归因于其透镜上的泥或过多雾气等)，计算设备100的总体性能也可能受损，因为其精度打折。
例如，自动检查机构110提供用于过滤相机242A-242D的新颖技术，以检测相机242A-242D中对于提供质量不高的输入可能负责或具有潜在性的任何一个或多个的任何异常，其中，这些相机242A-242D中的或关于其的异常可以包括(但不限于)透镜上的污垢/泥、透镜前面的阻挡、遮掩(例如，雾气)、物理损坏技术问题等。
常规技术不能检测这些异常，并且因此不能保证自主机器的传感器正收集的数据的精度，这常常带来低质量数据或甚至误导的数据。
实施例提供用于实时检测关于传感器(例如，相机242A-242D)的异常、根据需要发出告警或警告以及修理或修复这些异常的新颖技术。在一个实施例中，自动检查机构110提供用于传感器自动化检查(SAC)的新颖技术，以便检测和检查系统(例如，自主机器100)中的每个传感器(例如，相机242A-242D)的状态，以确保在承担任何任务之前(例如，在驱动自动驾驶汽车之前)所有传感器正良好地工作，并且继续检查传感器以确保它们继续工作，或者在任何异常的情况下，在它们执行任何任务(例如，驾驶)期间实时进行修理。
在一个实施例中，自动检查机构110使用自主机器100的深度学习来实时确保相机242A-242D和任何其他传感器正处于工作状况中，或者在任何问题的情况下它们至少立即被注意并且修理。如本文献中稍后将进一步描述的那样，自动检查机构110可以使用深度神经网络(DNN)(例如，卷积神经网络(CNN)的卷积深度学习分类器)连续地且精确地检查相机242A-242D和其他传感器的实时状态，然后使用训练数据检测和预测相机242A-242D或其他传感器中的哪个有可能被破坏或停服。
关于常规技术的主要弱点之一是当相机透镜被碎屑(例如，污垢、污点、泥等)覆盖时，因为当这发生时，无论碎屑的等级如何，相机都没有能力检测或捕获。
实施例提供在自主机器(例如，自主机器100)上使用深度学习，以处理复杂事项(例如，在相机(例如，相机242A)的透镜上存在污点或泥的情况下，可以连续地观测该阻挡，包括考虑与相机242A、污点和/或场景关联的任何移动或改变)。实时检测并且观测该情况，使得可以修理有瑕疵的或被阻挡的相机242A。
在一个实施例中，自动检查机构110的检测和捕获逻辑201可以用于触发位于各个位置处的一个或多个相机242A-242D，以捕获它们前面的一个或多个场景。预期在一些实施例中，如关于图3A所示，可以存在多个相机242A-242D，固定在它们位置中，以捕获静态输入(例如，同时从不同角度捕获场景)。类似地，如图3B所示，在另一实施例中，单个相机(例如，相机242A)可以用于捕获动态输入(例如，在不同时间点从相同角度捕获场景)。在又一输入中，如关于图3C所示，污点或碎屑自身可以是动态的或移动的，并且因此，相机(例如，相机242B)可以用于在捕获碎屑的移动的同时捕获场景。
如上所述，捕获/感测组件231的传感器不仅不限于任何数量或类型的相机242A-242D或麦克风241，并且传感器可以还包括其他传感器(例如，光检测和测距(LiDAR)传感器、超声传感器以及贯穿本文献所提及或描述的任何数量或类型的其他传感器)，并且来自这些传感器的任何输入可以被输入到神经网络(例如，CNN的softmax)中，以用于分类目的。
返回参照自动检查机构110，由于一个或多个相机242A-242D正捕获场景，因此也可能检测到关于任何相机242A-242D的任何内部或外部问题，其中，内部问题包括任何物理瑕疵(例如，透镜或相机的部分被损坏)或技术问题(例如，相机停止工作)，而外部问题与阻挡场景的视野的可能在透镜上或在透镜的视野中的任何形式的阻挡(例如，雪、树、污垢、泥、碎屑、人、动物等)有关。
例如，如果在相机242A的透镜上发现一些泥，则检测和捕获逻辑201可以被触发，以检测泥或至少检测来自相机242A的视野以某种方式被阻挡。在与任何相机242A，场景(例如，人移动、海浪、交通移动等)和/或泥自身(例如，向下或在风的方向上流动等)关联的任何移动的情况下，检测和捕获逻辑201可以收集该数据，其包括与来自相机242A的视野的阻挡以及上述任何一个或多个移动有关的信息。
一旦数据由检测和捕获逻辑201收集到，然后就转发到串接逻辑203上作为输入。如上所述，实施例不限于相机输入，并且这些输入可以出自其他传感器而且包括LiDAR输入、雷达输入、麦克风输入等，其中，在来自这些传感器的对同一物体的检测中可能存在某种程度的重叠。在一个实施例中，在相同时间或在不同时间点和/或来自相同或不同角度的来自多个传感器(例如，相机242A-242D中的两个或更多个)和/或在多个时间点和/或来自相同或不同角度的同一传感器(例如，相机242A)的多个输入的情况下，串接逻辑203可以于是被触发以将这些输入串接(或串接)为单个输入。
在一个实施例中，多个输入的任何串接的输入可以然后转发到深度学习神经网络模型(例如，CNN)上，以用于由训练和推理逻辑205进行的训练和推理。在一个实施例中，串接逻辑203在深度学习模型正处理的数据之外或之前执行串接，使得存在更好的灵活性以设置它们的顺序以进一步有益于训练处理。预期实施例不限于任何数量和类型的深度学习模型，使得CNN可以是常用的任何种类或类型的CNN(例如，AlexNet、GoogLeNet、RESNET等)。
预期深度学习神经网络/模型(例如，CNN)指代用于分析、训练以及推理任何范围的输入数据的人工神经网络的组合。例如，与常规算法相比，CNN快得多，并且可能需要相对更少的数据处理。还预期一旦在CNN处接收到输入数据，就可以然后通过层(例如，卷积层、池化层、修正线性单元(ReLU)层、全连接层、损失/输出层等)处理数据，其中，每个层执行用于训练和推理目的的特定处理任务。
例如，卷积层可以看作延伸通过输入容量的完全深度的具有带有感受野的很多可学习的滤波器或内核的核心层。该卷积层在处理来自输入的任何数据的情况下可以启动，并且移动到另一层(例如，池化层)，在这里执行非线性下采样的形式，其中，例如，这些非线性下采样函数可以实现池化(例如，最大池化)。类似地，在ReLU层处进一步处理和训练数据，ReLU层应用不饱和激活函数以增加判决函数和网络的非线性性质，而不影响卷积层的感受野。
虽然实施例不限于任何数量或类型的神经网络(例如，CNN)的层，但训练处理可以继续于全连接层，在这里，在若干卷积和池化层之后，提供高层次推理。换言之，CNN可以接收输入数据，并且执行特征映射、采样、卷积、子采样，然后输出结果。
例如，损失/输出层可以指明训练如何对所预测的标记与真实标记之间的偏离不利，其中，该损失/输出层可以看作CNN中的最后层。例如，softmax损失可以用于预测互斥类中的单个类。此外，在一个实施例中，分类和预测逻辑207(例如，损失/输出层的softmax和分类层)可以用于分类和预测目的，其中，两个层分别由softmax层和分类层函数生成。
在一个实施例中，在已经处理来自输入的所有数据以用于训练和推理之后，分类和预测逻辑207可以然后用于识别传感器(例如，相机242A-242D)中的哪个可能有问题。一旦识别出，分类和预测逻辑207就可以关于相机242A-242D中的不良相机发出通知，例如，在显示设备244处显示通知，通过扬声器设备243侦听它，等。在一个实施例中，该通知可以然后例如由用户用于得到相机242A-242D中的有瑕疵的相机，并且修理该问题(例如，从透镜去除泥，手动地或自动地修理关于透镜的任何技术差错，将相机242-242D中的有瑕疵的相机更换成另一个，等)。
在一个实施例中，特定标记可以用于通知目的，例如，标记：0可以表示所有传感器是良好的，而标记：1可以表示第一传感器受损，标记：2可以指示第二传感器受损，标记：3可以表示第三传感器受损，标记：4可以指示第四传感器受损，依此类推。类似地，标记：1可以指示第一传感器是良好的，标记：2可以指示第二传感器是良好的，依此类推。预期实施例不限于任何形式的通知，并且词语、数字、图像、视频、音频等的任一或组合可以用于传达传感器是否正良好地工作的结果。
此外，例如，在单个输入数据层与相机242A-242D中的每一个关联的情况下，多个通道(例如，在四个相机242A-242D的情况下，12(3*4＝12)个通道)可以提供与四个相机242A-242D对应的四个图像的所有数据，其中，可以通过扰乱通道的顺序随机地加载该数据。使用该数据，深度学习模型(例如，CNN)可以计算损失(在训练期间)以及精度(在验证期间)，所以当来到预测时，可以无需使用标记。在一些实施例中，训练数据可以包括图像的大采样(例如，每相机242A-242D几千或几万的采样图像)，而验证数据也可以包括图像的大采样(例如，每相机242A-242D几百或几千的采样图像)，以提供通过训练和推理数据所促进的对数据的鲁棒训练/推理，然后得到精确结果，包括分类和预测逻辑207所促进的识别、预测等。
捕获/感测组件231可以还包括已知用于捕获媒体(例如，个人媒体)的静止和/或视频红绿蓝(RGB)和/或RGB深度(RGB-D)图像的任何数量和类型的相机242A、242B、242C、242D(例如，深度感测相机或捕获设备(例如，RealSenseTM深度感测相机))。具有深度信息的这些图像已经有效地用于各种计算机视觉和计算摄影效果(例如(但不限于)场景理解、重新聚焦、合成、影院图形等)。类似地，例如，显示器可以包括任何数量和类型的显示器(例如，一体显示器、张量显示器、立体显示器等)，包括(但不限于)嵌入式或连接式显示屏、显示设备、投影仪等。
捕获/感测组件231可以还包括以下中的一个或多个：振动组件、触觉组件、传导元件、生物计量传感器、化学检测器、信号检测器、脑电图、功能近红外光谱法、波检测器、力传感器(例如，加速计)、照明器、眼部跟踪或注视跟踪系统，头部跟踪等，其可以用于捕获任何量或类型的视觉数据(例如，图像(例如，照片、视频、电影、音频/视频流等))以及非视觉数据(例如，音频流或信号(例如，声音、噪声、振动、超声等)、无线电波(例如，无线信号(例如，具有数据、元数据、符号等的无线信号))、化学改变或性质(例如，湿度、体温等)、生物计量读数(例如，指纹等)、脑波、脑血循环、环境/气象状况、地图等)。预期贯穿本文献可以互换地引用“传感器”和“检测器”。还预期一个或多个捕获/感测组件231可以还包括用于捕获和/或感测数据的支持或补充设备(例如，照明器(例如IR照明器)、灯夹具、发生器、声音阻挡器等)中的一个或多个。
还预期在一个实施例中，捕获/感测组件231可以还包括任何数量和类型的上下文传感器(例如，线性加速计)，以用于感测或检测任何数量和类型的上下文(例如，估计与移动计算设备等有关的水平度、线性加速度等)。例如，捕获/感测组件231可以包括任何数量和类型的传感器，例如(但不限于)：加速计(例如，线性加速计，用于测量线性加速度等)；惯性设备(例如，惯性加速计、惯性陀螺仪、微电机系统(MEMS)陀螺仪、惯性导航仪等)；以及重力梯度计，用于研究和测量因重力而导致的重力加速度的变化等。
此外，例如，捕获/感测组件231可以包括(但不限于)：音频/视觉设备(例如，相机麦克风、扬声器等)；上下文意识传感器(例如，温度传感器、与音频/视觉设备的一个或多个相机一起工作的面部表情和特征测量传感器、环境传感器(例如，用于感测背景色彩、光等)；生物计量传感器(例如，用于检测指纹等)、日历维护和读取设备等)；全球定位系统(GPS)传感器；资源请求器；和/或TEE逻辑。TEE逻辑可以被分离地采用，或成为资源请求器和/或I/O子系统等的一部分。捕获/感测组件231可以还包括语音识别设备、照片识别设备、面部和其他身体识别组件、语音到文本转换组件等。
类似地，输出组件233可以包括具有触觉效应器的动态触觉触摸屏作为呈现触摸的可视化的示例，其中，其实施例可以是超声发生器，其可以在空间中发送信号，信号当到达例如人手指时可以在手指上产生触觉感受或类似感觉。此外，例如，并且在一个实施例中，输出组件233可以包括(但不限于)以下项中的一个或多个：光源、显示设备和/或屏幕、音频扬声器、触觉组件、传导元件、骨传导扬声器、嗅觉或气味视觉和/或非视觉呈现设备、触感或触摸视觉和/或非视觉呈现设备、动画显示设备、生物计量显示设备、X射线显示设备、高分辨率显示器、高动态范围显示器、多视图显示器以及用于虚拟现实(VR)和增强现实(AR)中的至少一个的头戴式显示器(HMD)等。
预期实施例不限于任何特定数量或类型的用例情形、架构放置或组件设置；然而，为了简明和清楚，为了示例性的目的贯穿本文献提供并且讨论说明和描述，但实施例不限于此。此外，贯穿本文献，“用户”可以指代能够访问一个或多个计算设备(例如，计算设备100)的某人，并且可以与“人”、“个人”、“人类”、“他”、“她”、“孩子”、“成人”、“观看者”、“玩家”、“比赛者”、“开发者”、“编程者”等可互换地引用。
通信/兼容性逻辑209可以用于促进各种组件、网络、计算设备、数据库225和/或通信介质230等与任何数量和类型的其他计算设备(例如，可穿戴计算设备、移动计算设备、台式计算机、服务器计算设备等)、处理设备(例如，中央处理单元(CPU)、图形处理单元(GPU)等)、捕获/感测组件(例如，非视觉数据传感器/检测器(例如，音频传感器、嗅觉传感器、触感传感器、信号传感器、振动传感器、化学检测器、无线电波检测器、力传感器、天气/温度传感器、身体/生物计量传感器、扫描仪等)以及视觉数据传感器/检测器(例如，相机等))、用户/上下文意识组件和/或识别/验证传感器/设备(例如，生物计量传感器/检测器、扫描仪等)、存储器或存储设备、数据源和/或数据库(例如，数据存储设备、硬驱、固态驱动器、硬盘、存储卡或设备、存储器电路等)、网络(例如，云网络、互联网、物联网、内部网、蜂窝网络、邻近网络(例如，蓝牙、低功耗蓝牙(BLE)、蓝牙智能、Wi-Fi接近度、无线电频率标识、近场通信、体域网等))、无线或有线通信和有关协议(例如，WiMAX、以太网等)、连接和位置管理技术、软件应用/网站(例如，社交和/或商业连网网站、商业应用、游戏和其他娱乐应用等)、编程语言等之间的动态通信和兼容性，同时确保与改变中的技术、参数、协议、标准等的兼容性。
贯穿本文献，例如“逻辑”、“组件”、“模块”、“框架”、“引擎”、“工具”、“电路”等的术语可以可互换地使用，并且通过示例的方式包括软件、硬件和/或软件和硬件的任何组合(例如，固件)。在一个示例中，“逻辑”可以指代或包括能够工作于计算设备(例如，计算设备100)的操作系统、图形驱动器等中的一个或多个的软件组件。在另一示例中，“逻辑”可以指代或包括能够连同一个或多个计算设备(例如，计算设备100)的系统硬件元件(例如，应用处理器、图形处理器等)一起以物理方式安装的或成为其一部分的硬件组件。在又一实施例中，“逻辑”可以指代或包括能够成为计算设备(例如，计算设备100)的系统固件(例如，应用处理器或图形处理器等的固件)的一部分的固件组件。
此外，特定品牌、词语、术语、短语、名称和/或缩写(例如，“传感器”、“相机”、“自主机器”、“传感器自动化检查”、“深度学习”、“卷积神经网络”、“串接”、“训练”、“推理”、“分类”、“预测”、“RealSenseTM相机”、“实时”、“自动化”、“动态”、“用户接口”、“相机”、“传感器”、“麦克风”、“显示屏”、“扬声器”、“验证”、“鉴权”、“隐私”、“用户”、“用户简档”、“用户偏好”、“发送器”、“接收器”、“个人设备”、“智能设备”、“移动计算机”、“可穿戴设备”、“IoT设备”、“邻近网络”、“云网络”、“服务器计算机”等)的任何使用不应当解读为将实施例限制为在产品中或在本文献之外的文献中携带该标记的软件或设备。
预期可以从自动检查机构110添加和/或移除任何数量以及类型的组件，以促进包括添加、移除和/或增强特定特征的各种实施例。为了简明、清楚并且易于理解自动检查机构110，在此并未示出或讨论很多标准和/或公知组件(例如，计算设备的组件)。预期本文所描述的实施例不限于任何技术、拓扑、系统、架构和/或标准，并且是足以灵活得接受和适于任何特征改变。
图3A示出根据一个实施例的并且如先前参照图2所描述的来自多个传感器的静态输入。为了简明，下文中可以不讨论或重复先前参照图1-图2描述的很多细节。
在所示实施例中，场景的四个图像A 301、B 303、C 305以及D 307被示为分别由图2的四个相机A 242A、B 242B、C 242C以及D 242D捕获，其中，这些多个图像301-307基于四个相机242A-242D在一段时间上所捕获的静态数据。例如，传感器(例如，相机242A-242D、雷达等)可以用于捕获类似的数据，以用于同一感测目的，例如，用于将要获知其附近或周围的物体的自动化驾驶载具。
在该实施例中，仅为了设计和测试，四个相机242A-242D被示为同时但从不同角度和/或位置捕获相同场景的四个图像301-307。此外，如所示，图像之一(例如，图像301)示出具有清楚性问题(例如，归因于相机242A的透镜上的某种污点309(例如，泥、污垢、碎屑等))的对应相机242A。预期当涉及自主机器(例如，自动驾驶载具)时这些问题可能带来大量问题。
在一个实施例中，如参照图2所讨论的那样，通过收集大量数据(例如，几千个数据输入)并且在深度学习模型(例如，CNN)中使用它们作为训练数据、验证数据等，如图1的自动检查机构110所促进的那样，允许污点309的实时检测。该实时检测于是允许对污点309进行实时通知和实时校正，使得关于相机242A的任何瑕疵可以被修理，并且所有相机242A-242D可以发挥它们的潜能并且收集数据，以使得使用自主机器(例如，图1的自主机器100)是安全、可靠并且高效的。
图3B示出根据一个实施例的并且如先前参照图2所描述的来自单个传感器的动态输入。为了简明，下文中可以不讨论或重复先前参照图1-图3A描述的很多细节。
在该所示实施例中，单个传感器(例如，图2的相机D 242D)可以用于捕获单个场景但具有不同时间戳(例如，在不同时间点)的四个图像A 311、B 313、C 315、D 317。在该所示图案中，在不同时间点捕获场景将场景示为移动的(例如，从右到左)，而污点319被示为位于一个位置中(例如，相机D 242D的透镜上的一个斑点中)。
如四个图像311-317中所揭示的那样，随着时间推移，相机242D所捕获的物体321(例如，书籍)看似正移动(例如，从右到左)，而污点319是固定的(或在真实意义上，以不同图案缓慢地移动，如图3C的实施例所示)。如参照图2和图3A所描述的那样，几千个图像被收集并且输入到深度学习模型中，以用于训练和验证目的，这于是实现对深度学习模型的测试。一旦测试过，深度学习模型就可以用于对传感器的问题(例如，相机242D上的污点319)进行实时识别和校正。
图3C示出根据一个实施例的并且如先前参照图2所描述的来自单个传感器的动态输入。为了简明，下文中可以不讨论或重复先前参照图1-图3B描述的很多细节。
在一个实施例中，如关于具有通过单个传感器的动态输入参照图3B所描述的那样，在该所示实施例中，单个传感器(例如，相机B 242B)捕获单个场景的四个图像A 331、B333、C 335、D 337，其中，相机242B的透镜上的污点339被示为随着背景场景中的物体341(例如，书籍)移动。例如，污点339可以是相机242B的透镜上的一片泥，其随着时间因重力而向下或因风力、相机242B的移动等而侧移。
在一个实施例中，如上所述，与污点339及其移动有关的该数据可以通过一个或多个传感器(例如，相机242B自身)捕获，并且输入到训练过的深度学习神经网络/模型(例如，CNN)中，训练过的深度学习神经网络/模型然后预测并且实时提供污点339的准确位置、污点339所影响的传感器(例如，相机242B)、以及如何校正该问题(例如，如何从相机242B的透镜移除污点339)。
在一个实施例中，通过输入(几千个)这些输入的集合作为用于训练和验证数据并且测试深度学习模型的示例来实现深度学习神经网络/模型的这种训练。例如，深度学习模型可以使用深度学习神经网络(例如，CNN)首先提取所有传感器(例如，相机242B)的特征，然后融合数据并且使用分类器来识别有问题的传感器(例如，相机242B)。例如，相机242B可以被分派标记(例如标记2：第二传感器受损等)。
图4A示出根据一个实施例的使用深度学习提供用于对有问题的传感器进行实时检测和校正的事务序列的架构设置400。为了简明，下文中可以不讨论或重复先前参照图1-图3C描述的很多细节。任何过程或事务可以由处理逻辑执行，处理逻辑可以包括硬件(例如，电路、专用逻辑、可编程逻辑等)、软件(例如，处理设备上运行的指令)或其组合，如图1的自动检查机构110所促进的那样。在陈述中为了简明和清楚，可以按线性顺序示出或陈述与该说明关联的任何过程或事务；然而，预期可以按并行、异步或不同顺序执行任何数量的过程或事物。
在一个实施例中，架构设置400处的事务序列开始于401：输入顺序的多个时间的来自一个或多个传感器的所捕获的数据，以用于串接，然后将其输入到深度学习模型(例如，深度学习模型421)中。该数据可以包括基于任何数量和类型的传感器(例如，相机、LiDAR、雷达等)所捕获的数据的多个输入，而在它们的检测中(例如，当检测场景中的同一对象时)存在某种程度的重叠。在403，如参照图2的串接逻辑203所描述的那样，发送来自这些输入的数据，以用于串接，使得这些多个输入然后串接为单个输入，并且发送到数据学习模型421，以用于训练(405)和推理(407)。
预期在一个实施例中，在将数据发送到深度学习模型421之外或之前执行串接，使得关于设置顺序存在更好的灵活性，以从训练(405)赢得最大益处。如所示，在一个实施例中，推理(407)可以是训练(405)的一部分，或在另一实施例中，可以分开地执行推理(407)和训练(405)。
在一个实施例中，一旦输入到深度学习模型421中，它就然后被输入到CNN 409并且由其处理，其中，数据的处理经过多个层，如参照图2进一步描述的那样。例如，在分类层411处，可以包括公共分类层(例如，全连接层、softmax层等)，如参照图2进一步描述的那样。
在一个实施例中，架构设置400所提供的事务序列可以继续于：通过输出层获得结果413，结果413可以识别或预测一个或多个传感器是否是有技术瑕疵的或者被物体或碎屑阻挡，或者出于任何原因并未工作。一旦已经获得结果413，就比较各个标记415，以确定损失以及用于向用户提供关于一个或多个瑕疵传感器的适当标记。事务序列可以继续于：数据的反向传播417，并且因此，全都在深度学习模型421处执行更多加权更新419。
图4B示出根据一个实施例的用于使用深度学习对有问题的传感器进行实时检测和校正的方法450。为了简明，下文中可以不讨论或重复先前参照图1-图4A描述的很多细节。任何过程或事务可以由处理逻辑执行，处理逻辑可以包括硬件(例如，电路、专用逻辑、可编程逻辑等)、软件(例如，处理设备上运行的指令)或其组合，如图1的自动检查机构110所促进的那样。在陈述中为了简明和清楚，可以按线性顺序示出或陈述与该说明关联的任何过程或事务；然而，预期可以按并行、异步或不同顺序执行任何数量的过程或事物。
方法450开始于方框451：检测包括由一个或多个传感器(例如，相机)同时或在一段时间上捕获的场景的一个或多个图像的数据，其中，在该数据在多个输入上扩展的情况下，提供这些多个输入，以用于串接。在方框453，这些多个输入被串接为数据的单个输入，并且提供给深度学习模型，以用于进一步处理(例如，训练、推理、验证等)。在方框455，在深度学习模型处接收该数据，以用于训练和推理，其中，深度学习模型包括具有多个处理层的神经网络(例如，CNN)。
预期并且如参照图2所讨论的那样，经过训练和推理阶段的数据可以在若干层级处(包括在CNN处(其可以包括其自身的多个处理层))进行处理并且修改。在一个实施例中，在方框457，训练过的深度学习模型对数据进行分类并且基于所有处理和分类来预测结果。例如，结果的预测可以实时指示并且识别任何一个或多个传感器是否是有瑕疵的或被阻挡，使得可以实时修理有瑕疵的或被阻挡的传感器。
图5示出根据一个实现方式的计算设备500。所示的计算设备500可以与图1的计算设备100相同或相似。计算设备500容纳系统板502。板502可以包括多个组件，包括但不限于处理器504以及至少一个通信包506。通信包耦合到一个或多个天线516。处理器504在物理上和电气上耦合到板502。
取决于其应用，计算设备500可以包括可以在物理上和电气上耦合到或不耦合到板502的其他组件。这些其他组件包括但不限于易失性存储器(例如，DRAM)508、非易失性存储器(例如，ROM)509、闪存(未示出)、图形处理器512、数字信号处理器(未示出)、加密处理器(未示出)、芯片组514、天线516、显示器518(例如，触摸屏显示器)、触摸屏控制器520、电池522、音频编解码器(未示出)、视频编解码器(未示出)、功率放大器524、全球定位系统(GPS)设备526、罗盘528、加速计(未示出)、陀螺仪(未示出)、扬声器530、相机532、麦克风阵列534以及海量存储设备(例如，硬盘驱动器)510、压缩盘(CD)(未示出)、数字多功能盘(DVD)(未示出)等。这些组件可以连接到系统板502，安装到系统板，或者与任何其他组件组合。
通信包506使得能够进行无线和/或有线通信，以用于将数据传送到计算设备500以及从计算设备500传送数据。术语“无线”及其派生词可以用于描述可以通过使用调制的电磁辐射经由非固体介质来传递数据的电路、设备、系统、方法、技术、通信信道等。虽然该术语并非暗示关联的设备不包含任何引线，但是在一些实施例中它们可以不包含任何引线。通信包506可以实现任何数量的无线或有线标准或协议，包括但不限于WiFi(IEEE802.11族)、WiMAX(IEEE 802.16族)、IEEE 802.20、长期演进(LTE)、Ev-DO、HSPA+、HSDPA+、HSUPA+、EDGE、GSM、GPRS、CDMA、TDMA、DECT、蓝牙、以太网其衍生以及称为3G、4G、5G及以上的任何其他无线和有线协议。计算设备500可以包括多个通信包506。例如，第一通信包506可以专用于较短距离无线通信(例如，Wi-Fi和蓝牙)，而第二通信包506可以专用于较长距离无线通信(例如，GPS、EDGE、GPRS、CDMA、WiMAX、LTE、Ev-DO等)。
包括任何深度传感器或接近度传感器的相机532耦合到可选的图像处理器536，以执行本文所描述的转换、分析、降噪、比较、深度或距离分析、图像理解和其他处理。处理器504耦合到图像处理器，以通过图像处理器和相机的中断、设置参数以及控制操作驱动处理。图像处理可以改为在处理器504、图形CPU 512、相机532中或在任何其他设备中执行。
在各个实现方式中，计算设备500可以是膝上型设备、上网本、笔记本、超级本、智能电话、平板、个人数字助理(PDA)、超级移动PC、移动电话、台式计算机、服务器、机顶盒、娱乐控制单元、数字相机、便携式音乐播放器或数字视频记录器。计算设备可以是固定的、便携的或可穿戴的。在其他实现方式中，计算设备500可以是处理数据或记录数据以用于在其他地方进行处理的任何其他电子设备。
可以使用一个或多个存储器芯片、控制器、CPU(中央处理单元)、使用主板互连的微芯片或集成电路、专用集成电路(ASIC)和/或现场可编程门阵列(FPGA)来实现实施例。术语“逻辑”通过示例的方式可以包括软件或硬件和/或软件和硬件的组合。
对“一个实施例”、“实施例”、“示例实施例”、“各个实施例”等的引用指示所描述的实施例可以包括特定特征、结构或特性，但并非每一实施例必须包括该特定特征、结构或特性。此外，一些实施例可以具有针对其他实施例所描述的一些特征、所有特征或没有其特征。
在以下描述和权利要求中，可以使用术语“耦合”连同其派生词。“耦合”用于指示两个或更多个元件彼此合作或交互，但它们可以具有或没有在它们之间的介入的物理组件或电子组件。
如权利要求中所使用的那样，除非另外指定，否则用于描述共同要素的序数形容词“第一”、“第二”、“第三”等的使用仅指示相同要素的不同实例被指代，而非旨在暗示所描述的要素在时间上、空间上、等级上或按任何其他方式必须是给定的顺序。
附图和前述描述给出了实施例的示例。本领域技术人员将理解，所描述的要素中的一个或多个可以很好地组合成单个功能要素。替换地，某些要素可以分离成多个功能要素。可以将来自一个实施例的要素添加到另一个实施例。例如，本文所描述的处理的顺序可以被改变，并且不限于本文所描述的方式。此外，任何流程图的动作都不需要按所示的顺序实现；也不一定需要执行所有动作。另外，那些不依赖于其他动作的动作可以与其他动作并行执行。实施例的范围决不受这些具体示例的限制。无论是否在说明书中明确给出，许多变化均是可能的，例如结构、尺寸和材料使用的差异。实施例的范围至少与以下权利要求所给出的一样宽。
实施例可以被提供为例如计算机程序产品，其可以包括一个或多个瞬时性或非瞬时性机器可读存储介质，其上存储有机器可执行指令，其当由一个或多个机器(例如，计算机、计算机的网络或其他电子设备)执行时可以使一个或多个机器根据本文所描述的实施例执行操作。机器可读介质可以包括但不限于软盘、光盘、CD-ROM(压缩盘-只读存储器)以及磁性光盘、ROM、RAM、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)、磁卡或光卡、闪存、或适合于存储机器可执行指令的其他类型的介质/机器可读介质。
图6示出能够支持以上所讨论的操作的计算环境600的实施例。可以通过包括图5所示的各种不同硬件架构以及形数实现模块和系统。
命令执行模块601包括中央处理单元，以缓存和执行命令并且在所示的其他模块与系统之间分发任务。它可以包括指令栈、用于存储中间结果和最终结果的缓存存储器以及用于存储应用和操作系统的海量存储器。命令执行模块也可以充当用于系统的中央协调和任务分配单元。
屏幕渲染模块621在一个或多个屏幕上绘制对象，以用于用户观看。它可以适于从虚拟对象行为模块604接收数据，如下所述，并且在适当的一个或多个屏幕上渲染虚拟对象以及任何其他对象和力。因此，来自虚拟对象行为模块的数据将确定例如虚拟对象的位置和动态以及关联的手势、力和对象，并且屏幕渲染模块将相应地在屏幕上描绘虚拟对象以及关联的对象和环境。屏幕渲染模块可以进一步适于从相邻屏幕透视模块607接收数据，如下所述，如果虚拟对象可以移动到相邻屏幕透视模块所关联的设备的显示器，则描绘用于虚拟对象的目标着陆区域。因此，例如，如果虚拟对象正从主屏幕移动到辅屏幕，则相邻屏幕透视模块2可以将数据发送到屏幕渲染模块，以例如用阴影形式向用户的手移动或眼移动建议在该轨道上的用于虚拟对象的一个或多个目标着陆区域。
对象和手势识别模块622可以适于识别和跟踪用户的手和臂姿势。该模块可以用于识别手、手指、手指姿势、手移动以及手相对于显示器的位置。例如，对象和手势识别模块可以例如确定用户做出身体部分姿势以将虚拟对象投掷或抛掷到多个屏幕中的一个或另一个上，或用户做出身体部分姿势以将虚拟对象移动到多个屏幕中的一个或另一个的边框。对象和手势识别系统可以耦合到相机或相机阵列、麦克风或麦克风阵列、触摸屏或触摸表面、或指点设备、或这些项的某种组合，以检测来自用户的手势和命令。
对象和手势识别系统的触摸屏或触摸表面可以包括触摸屏传感器。来自传感器的数据可以馈送到硬件、软件、固件或其组合，以将屏幕或表面上的用户的手的触摸手势映射到虚拟对象的对应动态行为。传感器日期可以用于动量和惯性因子，以允许基于来自用户的手的输入(例如，用户的手指相对于屏幕的扫动速率)的用于虚拟对象的各种动量行为。捏夹手势可以被解释为用于从显示屏幕提升虚拟对象或用于开始生成与虚拟对象关联的虚拟绑定或用于在显示器上进行放大或缩小的命令。对象和手势识别系统可以使用一个或多个相机生成相似命令，而不借助触摸表面。
关注方向模块623可以装配有相机或其他传感器，以跟踪用户的面部或手的位置或取向。当发出手势或语音命令时，系统可以确定用于手势的适当屏幕。在一个示例中，相机安装在每个显示器附近，以检测用户是否正面对该显示器。如果是，则将关注方向模块信息提供给对象和手势识别模块622，以确保手势或命令与适当库关联，以便有效显示。类似地，如果用户并非看着所有屏幕，则可以省略命令。
设备接近度检测模块625可以使用接近度传感器、罗盘、GPS(全球定位系统)接收机、个域网无线电装置以及其他类型的传感器连同三角测量法和其他技术一起确定其他设备的接近度。一旦检测到附近设备，它就可以被注册到系统，并且它的类型可以被确定为输入设备或显示设备或二者。对于输入设备，接收到的数据可以于是应用于对象手势和识别模块622。对于显示设备，它可以由相邻屏幕透视模块607考虑。
虚拟对象行为模块604适于从对象速度和方向模块接收输入，并且将该输入应用于显示器中正显示的虚拟对象。因此，例如，对象和手势识别系统将解释用户手势，并且通过将所捕获的用户的手的移动映射为识别的移动，虚拟对象跟踪器模块将把虚拟对象的位置和移动关联于对象和手势识别系统所识别的移动，对象和速度和方向模块将捕获虚拟对象的移动的动态，并且虚拟对象行为模块将从对象和速度和方向模块接收输入，以生成数据，该数据将引导虚拟对象的移动以与来自对象和速度和方向模块的输入对应。
另一方面，虚拟对象跟踪器模块606可以适于基于来自对象和手势识别模块的输入跟踪虚拟对象应当位于显示器附近的三维空间中的何处以及用户的哪个身体部分正握持虚拟对象。虚拟对象跟踪器模块606可以例如随着虚拟对象在屏幕上以及在屏幕之间移动而跟踪虚拟对象，并且跟踪用户的哪个身体部分正握持该虚拟对象。跟踪正握持虚拟对象的身体部分允许连续获知身体部分的空中移动，并且因此最终获知虚拟对象是否已经释放到一个或多个屏幕上。
手势到视图和屏幕同步模块608从关注方向模块623接收对视图和屏幕或二者的选择，并且在一些情况下，接收用于确定哪个视图是有效视图以及哪个屏幕是有效屏幕的语音命令。然后，它使得加载相关手势库，以用于对象和手势识别模块622。一个或多个屏幕上的应用的各种视图可以与用于给定视图的替选手势库或一组手势模板关联。
可以包括或耦合到设备接近度检测模块625的相邻屏幕透视模块607可以适于确定一个显示器相对于另一显示器的角度和位置。投影显示器包括例如投影到墙壁或屏幕上的图像。可以例如通过要么红外发射机和接收机要么电磁或光检测感测能力，来实现用于检测附近屏幕的接近度以及从其投影的对应角度或取向的能力。对于允许具有触摸输入的投影显示器的技术，可以分析到来的视频，以确定投影显示器的位置并且校正按某角度显示所产生的失真。加速计、磁力计、罗盘或相机可以用于确定正握持设备的角度，而红外发射机和相机可以允许结合相邻设备上的传感器确定屏幕设备的取向。相邻屏幕透视模块607可以以此方式确定相邻屏幕相对于其自身的屏幕坐标的坐标。因此，相邻屏幕透视模块可以确定哪些设备彼此接近以及用于在屏幕上移动一个或多个虚拟对象的其他潜在目标。相邻屏幕透视模块可以进一步允许将屏幕的位置与表示所有现有对象和虚拟对象的三维空间的模型相关。
对象和速度和方向模块603可以适于通过从虚拟对象跟踪器模块接收输入来估计正移动的虚拟对象的动态(例如，其轨迹(线性的还是有角度的)、动量(线性还是有角度的)等)。对象和速度和方向模块可以进一步适于通过例如估计虚拟绑定的加速度、偏转、伸展程度等以及用户的身体部分释放时的虚拟对象的动态行为，来估计任何物理力的动态。对象和速度和方向模块也可以使用图像运动、大小和角度改变来估计对象的速度(例如，手和手指的速度)。
动量和惯性模块602可以使用图像平面中或三维空间中的对象的图像运动、图像大小和角度改变来估计空间中或显示器上的对象的速度和方向。动量和惯性模块耦合到对象和手势识别模块622，以估计手、手指以及其他身体部分执行的手势的速度，然后将那些估计应用于确定将被手势影响的虚拟对象的动量和速度。
3D图像交互和效果模块605跟踪用户与显现为延伸出一个或多个屏幕的3D图像的交互。可以计算对象在z轴中(朝向以及离开屏幕的平面)的影响以及这些对象对彼此的相对影响。例如，在虚拟对象到达屏幕的平面之前，用户手势所抛掷的对象可以受前景中的3D对象影响。对象可以改变抛射的方向或速度或完全毁灭它。3D图像交互和效果模块可以在一个或多个显示器上的前景中渲染对象。如所示，各个组件(例如，组件601、602、603、604、605、606、607和608)经由互连或总线(例如，总线609)连接。
以下条款和/或示例属于进一步的实施例或示例。示例中的细节可以在一个或多个实施例中的任何地方使用。不同实施例或示例的各种特征可以与所包括的一些特征以及不包括的其他特征不同地组合，以适合各种不同的应用。示例可以包括以下主题，例如方法，用于执行该方法的动作的模块，至少一种机器可读介质，包括指令，所述指令当由机器执行时使机器执行该方法的动作，或者用于促进根据本文描述的实施例和示例的混合通信的装置或系统的动作。
一些实施例属于示例1，其包括一种用于促进在自主机器中对有问题的传感器进行基于深度学习的实时检测和校正的装置，所述装置包括：检测和捕获逻辑，用于促进一个或多个传感器捕获场景的一个或多个图像，其中，所述一个或多个图像中的图像被确定为不清楚的，其中，所述一个或多个传感器包括一个或多个相机；和分类和预测逻辑，用于促进深度学习模型实时识别与该图像关联的传感器。
示例2包括示例1所述的主题，还包括：串接逻辑，用于接收与所述一个或多个图像关联的一个或多个数据输入，以将所述一个或多个数据输入串接为将要由所述深度学习模型处理的单个数据输入，其中，所述装置包括自主机器，所述自主机器包括自行驾驶载具、自动飞行载具、自动航行载具和自主家用设备中的一个或多个。
示例3包括示例1-2所述的主题，还包括：训练和推理逻辑，用于促进所述深度学习模型接收所述单个数据输入以执行包括训练过程和推理过程的一个或多个深度学习过程，以获得对与不清楚的图像关联的传感器的实时识别，其中，所述传感器包括相机。
示例4包括示例1-3所述的主题，其中，所述训练和推理逻辑还用于：促进所述深度学习模型接收多个数据输入并且使所述多个数据输入运行通过所述训练过程和推理过程，使得对所述传感器的实时识别是精确的并且及时的。
示例5包括示例1-4所述的主题，其中，所述深度学习模型包括一个或多个神经网络，所述一个或多个神经网络包括一个或多个卷积神经网络，其中，所述图像因所述传感器的技术瑕疵或对所述传感器的物理阻挡中的一个或多个而成为不清楚的，其中，物理阻挡归因于人、植物、动物或物体阻挡了传感器，或者污垢、污点、泥或碎屑覆盖了传感器的透镜的一部分。
示例6包括示例1-5所述的主题，其中，所述分类和预测逻辑用于：提供对不清楚的图像的实时通知以及对所述传感器的实时自动校正中的一个或多个。
示例7包括示例1-6所述的主题，其中，所述装置包括一个或多个处理器，所述处理器具有与应用处理器共同位于公共半导体封装上的图形处理器。
一些实施例属于示例8，其包括一种用于促进在自主机器中对有问题的传感器进行基于深度学习的实时检测和校正的方法，所述方法包括：促进一个或多个传感器捕获场景的一个或多个图像，其中，所述一个或多个图像中的图像被确定为不清楚的，其中，所述一个或多个传感器包括计算设备的一个或多个相机；以及促进深度学习模型实时识别与该图像关联的传感器。
示例9包括示例8所述的主题，还包括：接收与所述一个或多个图像关联的一个或多个数据输入，以将所述一个或多个数据输入串接为将要由所述深度学习模型处理的单个数据输入，其中，所述装置包括自主机器，所述自主机器包括自行驾驶载具、自动飞行载具、自动航行载具和自主家用设备中的一个或多个。
示例10包括示例8-9所述的主题，还包括：促进所述深度学习模型接收所述单个数据输入以执行包括训练过程和推理过程的一个或多个深度学习过程，以获得对与不清楚的图像关联的传感器的实时识别，其中，所述传感器包括相机。
示例11包括示例8-10所述的主题，其中，所述深度学习模型还用于：接收多个数据输入并且使所述多个数据输入运行通过所述训练过程和推理过程，使得对所述传感器的实时识别是精确的并且及时的。
示例12包括示例8-11所述的主题，其中，所述深度学习模型包括一个或多个神经网络，所述一个或多个神经网络包括一个或多个卷积神经网络，其中，所述图像因所述传感器的技术瑕疵或对所述传感器的物理阻挡中的一个或多个而成为不清楚的，其中，物理阻挡归因于人、植物、动物或物体阻挡了传感器，或者污垢、污点、泥或碎屑覆盖了传感器的透镜的一部分。
示例13包括示例8-12所述的主题，还包括：提供对不清楚的图像的实时通知以及对所述传感器的实时自动校正中的一个或多个。
示例14包括示例8-13所述的主题，其中，所述计算设备包括一个或多个处理器，所述处理器具有与应用处理器共同位于公共半导体封装上的图形处理器。
一些实施例属于示例15，其包括一种数据处理系统，包括计算设备，所述计算设备具有耦合到处理设备的存储器，所述处理设备用于：促进一个或多个传感器捕获场景的一个或多个图像，其中，所述一个或多个图像中的图像被确定为不清楚的，其中，所述一个或多个传感器包括一个或多个相机；和促进深度学习模型实时识别与该图像关联的传感器。
示例16包括示例15所述的主题，其中，所述处理设备还用于：接收与所述一个或多个图像关联的一个或多个数据输入，以将所述一个或多个数据输入串接为将要由所述深度学习模型处理的单个数据输入，其中，所述装置包括自主机器，所述自主机器包括自行驾驶载具、自动飞行载具、自动航行载具和自主家用设备中的一个或多个。
示例17包括示例15-16所述的主题，其中，所述处理设备还用于：促进所述深度学习模型接收所述单个数据输入以执行包括训练过程和推理过程的一个或多个深度学习过程，以获得对与不清楚的图像关联的传感器的实时识别，其中，所述传感器包括相机。
示例18包括示例15-17所述的主题，其中，所述深度学习模型还用于：接收多个数据输入并且使所述多个数据输入运行通过所述训练过程和推理过程，使得对所述传感器的实时识别是精确的并且及时的。
示例19包括示例15-18所述的主题，其中，所述深度学习模型包括一个或多个神经网络，所述一个或多个神经网络包括一个或多个卷积神经网络，其中，所述图像因所述传感器的技术瑕疵或对所述传感器的物理阻挡中的一个或多个而成为不清楚的，其中，物理阻挡归因于人、植物、动物或物体阻挡了传感器，或者污垢、污点、泥或碎屑覆盖了传感器的透镜的一部分。
示例20包括示例15-19所述的主题，其中，所述处理设备还用于：提供对不清楚的图像的实时通知以及对所述传感器的实时自动校正中的一个或多个。
示例21包括示例15-20所述的主题，其中，所述计算设备包括一个或多个处理器，所述处理器具有与应用处理器共同位于公共半导体封装上的图形处理器。
一些实施例属于示例22，其包括一种用于促进对来自多个用户的多个语音进行同时识别和处理的装置，所述装置包括：用于促进一个或多个传感器捕获场景的一个或多个图像的模块，其中，所述一个或多个图像中的图像被确定为不清楚的，其中，所述一个或多个传感器包括一个或多个相机；以及用于促进深度学习模型实时识别与该图像关联的传感器的模块。
示例23包括示例22所述的主题，还包括：用于接收与所述一个或多个图像关联的一个或多个数据输入，以将所述一个或多个数据输入串接为将要由所述深度学习模型处理的单个数据输入的模块，其中，所述装置包括自主机器，所述自主机器包括自行驾驶载具、自动飞行载具、自动航行载具和自主家用设备中的一个或多个。
示例24包括示例22-23所述的主题，还包括：用于促进所述深度学习模型接收所述单个数据输入以执行包括训练过程和推理过程的一个或多个深度学习过程，以获得对与不清楚的图像关联的传感器的实时识别的模块，其中，所述传感器包括相机。
示例25包括示例22-24所述的主题，其中，所述深度学习模型还用于：接收多个数据输入并且使所述多个数据输入运行通过所述训练过程和推理过程，使得对所述传感器的实时识别是精确的并且及时的。
示例26包括示例22-25所述的主题，其中，所述深度学习模型包括一个或多个神经网络，所述一个或多个神经网络包括一个或多个卷积神经网络，其中，所述图像因所述传感器的技术瑕疵或对所述传感器的物理阻挡中的一个或多个而成为不清楚的，其中，物理阻挡归因于人、植物、动物或物体阻挡了传感器，或者污垢、污点、泥或碎屑覆盖了传感器的透镜的一部分。
示例27包括示例22-26所述的主题，还包括：用于提供对不清楚的图像的实时通知以及对所述传感器的实时自动校正中的一个或多个的模块。
示例28包括示例22-27所述的主题，其中，所述装置包括一个或多个处理器，所述处理器具有与应用处理器共同位于公共半导体封装上的图形处理器。
示例29包括至少一种非瞬时性或有形机器可读介质，包括多个指令，所述指令当在计算设备上执行时用于实现或执行如示例8-14中任一项所述的方法。
示例30包括至少一种机器可读介质，包括多个指令，所述指令当在计算设备上执行时用于实现或执行如示例8-14中任一项所述的方法。
示例31包括一种系统，包括用于实现或执行如示例8-14中任一项所述的方法的机构。
示例32包括一种装置，包括用于执行如示例8-14中任一项所述的方法的模块。
示例33包括一种计算设备，被布置为实现或执行如示例8-14中任一项所述的方法。
示例34包括一种通信设备，被布置为实现或执行如示例8-14中任一项所述的方法。
示例35包括至少一种机器可读介质，包括多个指令，所述指令当在计算设备上执行时用于实现或执行如前述示例中任一项所述的方法或实现前述示例中任一项所述的装置。
示例36包括至少一种非瞬时性或有形机器可读介质，包括多个指令，所述指令当在计算设备上执行时用于实现或执行如前述示例中任一项所述的方法或实现前述示例中任一项所述的装置。
示例37包括一种系统，包括用于实现或执行如前述示例中任一项所述的方法或实现前述示例中任一项所述的装置的机构。
示例38包括一种装置，包括用于执行如前述示例中任一项所述的方法的模块。
示例39包括一种计算设备，被布置为实现或执行如前述示例中任一项所述的方法或实现前述示例中任一项所述的装置。
示例40包括一种通信设备，被布置为实现或执行如前述示例中任一项所述的方法或实现前述示例中任一项所述的装置。
附图和前述描述给出了实施例的示例。本领域技术人员将理解，所描述的要素中的一个或多个可以很好地组合成单个功能要素。替换地，某些要素可以分离成多个功能要素。可以将来自一个实施例的要素添加到另一个实施例。例如，本文所描述的处理的顺序可以被改变，并且不限于本文所描述的方式。此外，任何流程图的动作都不需要按所示的顺序实现；也不一定需要执行所有动作。另外，那些不依赖于其他动作的动作可以与其他动作并行执行。实施例的范围决不受这些具体示例的限制。无论是否在说明书中明确给出，许多变化都是可能的，例如结构、尺寸和材料用途的差异。实施例的范围至少与以下权利要求所给出的一样宽。

Claims (11)

1.一种用于促进在自主机器中对有问题的传感器进行基于深度学习的实时检测和校正的装置，所述装置包括：
一个或多个处理器，用于：
经由一个或多个传感器捕获场景的一个或多个图像，其中，所述一个或多个图像中的图像因与传感器关联的技术瑕疵或对所述传感器的物理阻挡中的一个或多个而被确定为不清楚的图像；
接收与所述一个或多个图像关联的一个或多个数据输入，以将所述一个或多个数据输入串接成将要由深度学习模型处理的单个数据输入，其中，所述一个或多个数据输入收集自所述一个或多个传感器，并在由所述深度学习模型处理之前，被串接成所述单个数据输入；
对与处理后的单个数据输入关联的数据进行分类，以生成结果，所述结果包括识别出所述传感器有瑕疵或被阻挡、通知所述传感器被识别为有瑕疵或被阻挡中的一个或多个，其中，被识别为有瑕疵或被阻挡的传感器进一步被分类为有问题的传感器；
基于识别出或通知所述传感器有瑕疵或被阻挡，自动校正与所述不清楚的图像关联的有瑕疵或被阻挡的传感器，使得所述传感器被自动校正，以克服技术瑕疵或物理阻挡，其中，自动校正包括：实时发出用于警告的一个或多个告警以及实时修复有问题的传感器；以及
接收所述单个数据输入，以执行包括训练过程和推理过程的一个或多个深度学习过程，以获得与所述不清楚的图像关联的传感器的实时识别，其中，用加权更新传播包括传感器有瑕疵或被阻挡的实时识别的结果，以预测与所述一个或多个传感器关联的一个或多个技术瑕疵。
2.如权利要求1所述的装置，其中，所述深度学习模型包括一个或多个神经网络，所述一个或多个神经网络包括一个或多个卷积神经网络，其中，物理阻挡归因于人、植物、动物或物体阻挡了传感器，或者污垢、污点、泥或碎屑覆盖了传感器的透镜的一部分。
3.如权利要求1所述的装置，其中，所述装置包括自主机器，所述自主机器包括自动驾驶载具、自动飞行载具、自动航行载具和自主家用设备中的一个或多个，其中，所述传感器包括相机，其中，所述一个或多个处理器包括图形处理器和应用处理器中的一个或多个，其中，所述图形处理器与所述应用处理器共同位于公共半导体封装上。
4.一种用于促进在自主机器中对有问题的传感器进行基于深度学习的实时检测和校正的方法，所述方法包括：
经由与计算设备关联的一个或多个传感器捕获场景的一个或多个图像，其中，所述一个或多个图像中的图像因与传感器关联的技术瑕疵或对所述传感器的物理阻挡中的一个或多个而被确定为不清楚的图像；
接收与所述一个或多个图像关联的一个或多个数据输入，以将所述一个或多个数据输入串接成将要由深度学习模型处理的单个数据输入，其中，所述一个或多个数据输入收集自所述一个或多个传感器，并在由所述深度学习模型处理之前，被串接成所述单个数据输入；
对与处理后的单个数据输入关联的数据进行分类，以生成结果，所述结果包括识别出所述传感器有瑕疵或被阻挡、通知所述传感器被识别为有瑕疵或被阻挡中的一个或多个，其中，被识别为有瑕疵或被阻挡的传感器进一步被分类为有问题的传感器；
基于识别出或通知所述传感器有瑕疵或被阻挡，自动校正与所述不清楚的图像关联的有瑕疵或被阻挡的传感器，使得所述传感器被自动校正，以克服技术瑕疵或物理阻挡，其中，自动校正包括：实时发出用于警告的一个或多个告警以及实时修复有问题的传感器；以及
接收所述单个数据输入，以执行包括训练过程和推理过程的一个或多个深度学习过程，以获得与所述不清楚的图像关联的传感器的实时识别，其中，用加权更新传播包括传感器有瑕疵或被阻挡的实时识别的结果，以预测与所述一个或多个传感器关联的一个或多个技术瑕疵。
5.如权利要求4所述的方法，其中，所述计算设备包括自主机器，所述自主机器包括自动驾驶载具、自动飞行载具、自动航行载具和自主家用设备中的一个或多个，其中，所述传感器包括相机，其中，所述深度学习模型包括一个或多个神经网络，所述一个或多个神经网络包括一个或多个卷积神经网络，其中，物理阻挡归因于人、植物、动物或物体阻挡了传感器，或者污垢、污点、泥或碎屑覆盖了传感器的透镜的一部分。
6.如权利要求4所述的方法，其中，所述计算设备包括具有图形处理器和应用处理器中的一个或多个的一个或多个处理器，其中，所述图形处理器与所述应用处理器共同位于公共半导体封装上。
7.至少一种机器可读介质，包括多个指令，所述指令当在计算设备上执行时用于实现或执行如权利要求4-6中任一项所述的方法。
8.一种系统，包括用于实现或执行如权利要求4-6中任一项所述的方法的机构。
9.一种装置，包括用于执行如权利要求4-6中任一项所述的方法的模块。
10.一种计算设备，被布置为实现或执行如权利要求4-6中任一项所述的方法。
11.一种通信设备，被布置为实现或执行如权利要求4-6中任一项所述的方法。
CN201811275743.4A 2017-11-28 2018-10-30 自主机器中对有问题的传感器的基于深度学习的实时检测和校正 Active CN109840586B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/824,808 US11989861B2 (en) 2017-11-28 2017-11-28 Deep learning-based real-time detection and correction of compromised sensors in autonomous machines
US15/824,808 2017-11-28

Publications (2)

Publication Number Publication Date
CN109840586A CN109840586A (zh) 2019-06-04
CN109840586B true CN109840586B (zh) 2025-05-16

Family

ID=65019077

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811275743.4A Active CN109840586B (zh) 2017-11-28 2018-10-30 自主机器中对有问题的传感器的基于深度学习的实时检测和校正

Country Status (4)

Country Link
US (2) US11989861B2 (zh)
KR (2) KR102720888B1 (zh)
CN (1) CN109840586B (zh)
DE (1) DE102018125629B4 (zh)

Families Citing this family (79)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9836895B1 (en) 2015-06-19 2017-12-05 Waymo Llc Simulating virtual objects
WO2018033137A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 在视频图像中展示业务对象的方法、装置和电子设备
WO2018125928A1 (en) 2016-12-29 2018-07-05 DeepScale, Inc. Multi-channel sensor simulation for autonomous control systems
WO2018176000A1 (en) 2017-03-23 2018-09-27 DeepScale, Inc. Data synthesis for autonomous control systems
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US11157441B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US10671349B2 (en) 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
US11989861B2 (en) 2017-11-28 2024-05-21 Intel Corporation Deep learning-based real-time detection and correction of compromised sensors in autonomous machines
US12307350B2 (en) 2018-01-04 2025-05-20 Tesla, Inc. Systems and methods for hardware-based pooling
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11205143B2 (en) * 2018-02-16 2021-12-21 Accenture Global Solutions Limited Utilizing a machine learning model and natural language processing to manage and allocate tasks
KR101967339B1 (ko) * 2018-03-06 2019-04-09 단국대학교 산학협력단 심층학습 기반의 ａｄａｓ 센서 고장 진단 및 백업을 위한 장치 및 방법
WO2019172901A1 (en) * 2018-03-07 2019-09-12 Google Llc Virtual staining for tissue slide images
US11215999B2 (en) 2018-06-20 2022-01-04 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11361457B2 (en) 2018-07-20 2022-06-14 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
WO2020056683A1 (zh) * 2018-09-20 2020-03-26 张恒中 对数字相片添加气味资讯的添加系統及添加方法
KR20250078625A (ko) 2018-10-11 2025-06-02 테슬라, 인크. 증강 데이터로 기계 모델을 훈련하기 위한 시스템 및 방법
KR102608981B1 (ko) * 2018-10-24 2023-12-01 한국전자통신연구원 향 시각화 시스템 및 방법
US11196678B2 (en) 2018-10-25 2021-12-07 Tesla, Inc. QOS manager for system on a chip communications
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US12080284B2 (en) 2018-12-28 2024-09-03 Harman International Industries, Incorporated Two-way in-vehicle virtual personal assistant
US11150664B2 (en) 2019-02-01 2021-10-19 Tesla, Inc. Predicting three-dimensional features for autonomous driving
US10997461B2 (en) 2019-02-01 2021-05-04 Tesla, Inc. Generating ground truth for machine learning from time series elements
JP7225876B2 (ja) 2019-02-08 2023-02-21 富士通株式会社 情報処理装置、演算処理装置および情報処理装置の制御方法
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US10956755B2 (en) 2019-02-19 2021-03-23 Tesla, Inc. Estimating object properties using visual image data
EP3706270B1 (en) * 2019-03-07 2022-06-29 ABB Schweiz AG Artificial intelligence monitoring system using infrared images to identify hotspots in a switchgear
EP3706269B1 (en) * 2019-03-07 2022-06-29 ABB Schweiz AG Artificial intelligence monitoring system using infrared images to identify hotspots in a switchgear
EP3966778A1 (en) * 2019-05-06 2022-03-16 Sony Group Corporation Electronic device, method and computer program
CN116956174B (zh) * 2019-05-13 2024-06-18 北京绪水互联科技有限公司 用于进行冷头状态分类检测和寿命预测的分类模型和预测模型的生成方法
CN110163370B (zh) * 2019-05-24 2021-09-17 上海肇观电子科技有限公司 深度神经网络的压缩方法、芯片、电子设备及介质
US11797876B1 (en) * 2019-06-26 2023-10-24 Amazon Technologies, Inc Unified optimization for convolutional neural network model inference on integrated graphics processing units
CN110427945A (zh) * 2019-06-27 2019-11-08 福州瑞芯微电子股份有限公司 一种基于实物及手势的交互方法和计算机设备
US11983609B2 (en) 2019-07-10 2024-05-14 Sony Interactive Entertainment LLC Dual machine learning pipelines for transforming data and optimizing data transformation
US11250322B2 (en) * 2019-07-15 2022-02-15 Sony Interactive Entertainment LLC Self-healing machine learning system for transformed data
EP4000006B1 (en) 2019-07-17 2025-10-08 Telefonaktiebolaget LM Ericsson (publ) A computer software module arrangement, a circuitry arrangement, an arrangement and a method for improved object detection
CN110379118A (zh) * 2019-07-26 2019-10-25 中车青岛四方车辆研究所有限公司 列车车下防火智能监控系统及方法
US12249063B1 (en) * 2019-10-16 2025-03-11 Dartmouth-Hitchcock Clinic System and method for providing a rapid virtual diagnostic companion for use in diagnosis of cancer and related conditions using immunohistochemistry based upon a neural network
CN111137228B (zh) * 2019-11-18 2021-07-27 合创汽车科技有限公司 座舱屏幕控制方法、装置、计算机设备和存储介质
CN111010537B (zh) * 2019-12-06 2021-06-15 苏州智加科技有限公司 车辆控制方法、装置、终端及存储介质
CN111046365B (zh) * 2019-12-16 2023-05-05 腾讯科技（深圳）有限公司 人脸图像传输方法、数值转移方法、装置及电子设备
US11494291B2 (en) 2019-12-20 2022-11-08 UiPath, Inc. System and computer-implemented method for analyzing test automation workflow of robotic process automation (RPA)
US20210191367A1 (en) * 2019-12-20 2021-06-24 UiPath, Inc. System and computer-implemented method for analyzing a robotic process automation (rpa) workflow
US11687778B2 (en) 2020-01-06 2023-06-27 The Research Foundation For The State University Of New York Fakecatcher: detection of synthetic portrait videos using biological signals
WO2021150499A1 (en) * 2020-01-20 2021-07-29 Monomer Software LLC Optical device field of view cleaning apparatus
DE102020107108A1 (de) * 2020-03-16 2021-09-16 Kopernikus Automotive GmbH Verfahren und System zum autonomen Fahren eines Fahrzeugs
US11574100B2 (en) * 2020-06-19 2023-02-07 Micron Technology, Inc. Integrated sensor device with deep learning accelerator and random access memory
DE102020209198A1 (de) * 2020-07-22 2022-01-27 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Bestimmung einer Abbildungs-Degradation eines bildgebenden Sensors
KR20220038858A (ko) 2020-09-21 2022-03-29 주식회사 스프링클라우드 가공된 자율주행 시나리오 데이터의 딥러닝 기반 불량 데이터 검출 장치 및 방법
US12299077B2 (en) * 2020-09-24 2025-05-13 Intel Corporation Perception system error detection and re-verification
CN112256094A (zh) * 2020-11-13 2021-01-22 广东博通科技服务有限公司 一种基于深度学习的激活函数装置及其使用方法
CN113049445B (zh) * 2021-03-22 2022-02-01 中国矿业大学(北京) 基于深度学习的水煤浆流动性检测装置及其检测方法
DE102021115140B4 (de) 2021-06-11 2023-01-19 Spleenlab GmbH Verfahren zum Steuern einer Flugbewegung eines Fluggeräts zum Landen oder zum Abwerfen einer Ladung sowie Fluggerät
EP4125055B1 (en) * 2021-07-26 2024-10-02 Robert Bosch GmbH Neural network for classifying obstructions in an optical sensor
DE102022119217A1 (de) * 2021-08-04 2023-02-09 Motional Ad Llc Trainieren eines neuronalen Netzwerks unter Verwendung einer Datenmenge mit Labeln mehrerer Granularitäten
US12548311B2 (en) 2021-08-04 2026-02-10 Motional Ad Llc Training a neural network using a data set with labels of multiple granularities
US12333828B2 (en) * 2021-08-04 2025-06-17 Motional Ad Llc Scalable and realistic camera blockage dataset generation
WO2023023265A1 (en) 2021-08-19 2023-02-23 Tesla, Inc. Vision-based system training with simulated content
US12462575B2 (en) 2021-08-19 2025-11-04 Tesla, Inc. Vision-based machine learning model for autonomous driving with adjustable virtual camera
KR102708974B1 (ko) * 2021-10-25 2024-09-23 김학철 스마트팜 내 객체 검출 센서의 고장여부 판단 시스템 및 방법
US12585954B2 (en) * 2021-11-08 2026-03-24 Wing Aviation Llc Performance of autonomous vehicle operation in varying conditions by using imagery generated with machine learning for simulations
KR20230120086A (ko) * 2022-02-08 2023-08-16 현대자동차주식회사 M2m 시스템에서 소실 센서의 측정값 생성 방법 및 장치
EP4231196A1 (en) * 2022-02-17 2023-08-23 Volvo Car Corporation Methods and apparatus for training a machine learning algorithm
KR20230130809A (ko) 2022-03-04 2023-09-12 삼성전자주식회사 패턴의 결함 분류 방법
CN119301543A (zh) * 2022-06-21 2025-01-10 苹果公司 遮挡分类和反馈
US20230020182A1 (en) * 2022-09-23 2023-01-19 Intel Corporation Technologies for source degradation detection and auto-tuning of cameras
DE102022128600A1 (de) * 2022-10-28 2024-05-08 immerVR GmbH Vorrichtung, System, Kameravorrichtung und Verfahren zur Erfassung von immersiven Bildern mit verbesserter Qualität
CN116634074A (zh) * 2023-05-23 2023-08-22 地平线征程(杭州)人工智能科技有限公司 对多路图像进行同步的方法、装置及电子设备
US20250024136A1 (en) * 2023-07-14 2025-01-16 Deere & Company Adjusting Visual Output Of Stereo Camera Based On Lens Obstruction
KR102643254B1 (ko) * 2023-09-25 2024-03-05 파이프트리스마트팜 주식회사 가축 개체군의 출하 정보 산출 장치 및 방법과, 상기 출하 정보 산출 장치를 포함하는 출하 정보 산출 시스템
US20250252754A1 (en) * 2024-02-02 2025-08-07 Olha Ravlyuk Portable personal assistant system and method for sensory data storage, manipulation, and exchange
US12479105B2 (en) * 2024-12-19 2025-11-25 Digital Global Systems, Inc Systems and methods of sensor data fusion
US12314346B2 (en) 2024-12-19 2025-05-27 Digital Global Systems, Inc. Systems and methods of sensor data fusion
US12487564B2 (en) 2024-12-19 2025-12-02 Digital Global Systems, Inc. Systems and methods of sensor data fusion

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6323776B1 (en) * 1999-12-21 2001-11-27 Snap-On Technologies, Inc. Method and apparatus of automatically identifying faults in a machine vision measuring system
DE10201522A1 (de) * 2002-01-17 2003-07-31 Bosch Gmbh Robert Verfahren und Vorrichtung zur Erkennung von Sichtbehinderungen bei Bildsensorsystemen
EP2918076A4 (en) * 2012-11-12 2016-10-05 Behavioral Recognition Sys Inc IMAGE STABILIZATION PROCEDURE FOR VIDEO MONITORING SYSTEMS
EP3156942A1 (en) * 2015-10-16 2017-04-19 Thomson Licensing Scene labeling of rgb-d data with interactive option
CN106197452A (zh) * 2016-07-21 2016-12-07 触景无限科技（北京）有限公司 一种视觉图像处理设备及系统
US20190149813A1 (en) * 2016-07-29 2019-05-16 Faraday&Future Inc. Method and apparatus for camera fault detection and recovery
CN107203780A (zh) * 2017-05-11 2017-09-26 南京瑞麒凰电子科技有限公司 基于深度学习的玻璃清洁度的检测方法及装置
US11989861B2 (en) 2017-11-28 2024-05-21 Intel Corporation Deep learning-based real-time detection and correction of compromised sensors in autonomous machines

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Credit Card Fraud Detection Using Convolutional Neural Networks;Kang Fu等;《Neural Information Processing》;20160929;第483-490页 *
Sensor Fault Detection and Diagnosis for autonomous vehicles;Miguel Realpe等;《MATEC Web of Conferences》;20151104;第04003-p.1至04003-p.6页 *

Also Published As

Publication number Publication date
US20240289930A1 (en) 2024-08-29
CN109840586A (zh) 2019-06-04
US11989861B2 (en) 2024-05-21
KR20190062171A (ko) 2019-06-05
DE102018125629A1 (de) 2019-05-29
US20190025773A1 (en) 2019-01-24
DE102018125629B4 (de) 2025-02-27
KR20240155165A (ko) 2024-10-28
KR102720888B1 (ko) 2024-10-24

Similar Documents

Publication Publication Date Title
CN109840586B (zh) 自主机器中对有问题的传感器的基于深度学习的实时检测和校正
US20240013526A1 (en) Depth and motion estimations in machine learning environments
US10671068B1 (en) Shared sensor data across sensor processing pipelines
US10706890B2 (en) Cinematic space-time view synthesis for enhanced viewing experiences in computing environments
US20210133996A1 (en) Techniques for motion-based automatic image capture
US10282623B1 (en) Depth perception sensor data processing
US20190043209A1 (en) Automatic tuning of image signal processors using reference images in image processing environments
EP3629243A1 (en) Embedding human labeler influences in machine learning interfaces in computing environments
EP3468181A1 (en) Drone clouds for video capture and creation
US10922536B2 (en) Age classification of humans based on image depth and human pose
US20240104744A1 (en) Real-time multi-view detection of objects in multi-camera environments
CN113887400A (zh) 障碍物检测方法、模型训练方法、装置及自动驾驶车辆
US20190096073A1 (en) Histogram and entropy-based texture detection
KR102096191B1 (ko) 모니터링
JP2018523231A5 (zh)
JP7577608B2 (ja) 位置特定装置、位置特定方法及び位置特定システム
CN116580367B (zh) 数据处理方法、装置、电子设备和存储介质
Zhou et al. Vision sensor‐based SLAM problem for small UAVs in dynamic indoor environments
EP4657374A1 (en) Multimodal aerial grounding and tracking
US12617412B2 (en) System and methods for detecting abnormal following vehicles
Gotthans et al. Prediction of Object Position from Aerial Images Utilising Neural Networks
Paulo Collision detection for UAVs using event cameras
US20250166210A1 (en) Techniques for single-object tracking in the real world with hierarchical appearance modeling and verification
Li et al. Research on motion tracking and impact force detection of flying objects
Alagarsamy et al. Smart Vision Software Application using Machine Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant