CN108550102A - 一种硬件加速器 - Google Patents

一种硬件加速器 Download PDF

Info

Publication number
CN108550102A
CN108550102A CN201810380604.1A CN201810380604A CN108550102A CN 108550102 A CN108550102 A CN 108550102A CN 201810380604 A CN201810380604 A CN 201810380604A CN 108550102 A CN108550102 A CN 108550102A
Authority
CN
China
Prior art keywords
view
hardware accelerator
logic bank
unit
search block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810380604.1A
Other languages
English (en)
Other versions
CN108550102B (zh
Inventor
刘劲松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Allwinner Technology Co Ltd
Original Assignee
Allwinner Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Allwinner Technology Co Ltd filed Critical Allwinner Technology Co Ltd
Priority to CN201810380604.1A priority Critical patent/CN108550102B/zh
Publication of CN108550102A publication Critical patent/CN108550102A/zh
Application granted granted Critical
Publication of CN108550102B publication Critical patent/CN108550102B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种硬件加速器，用于提升CPU运行效率。该硬件加速器包括存储单元、逻辑bank群组、信息仓、双边运算单元、比较单元和控制单元。在现有技术的基础上，本发明保护的硬件加速器替代软件算法以充分发挥硬件所固有的处理速度优势，设置由块逻辑bank组成的逻辑bank群组，能够提供丰富的缓存空间选择，避免了缓存资源的浪费，通过设置信息仓和双边运算单元，将传统图像处理过程中基于点的运算改进为基于行的运算，并利用前一位置的计算结果迭代计算后续位置的结果，大大减少硬件加速器中所需的元件数量，实现硬件结构轻量化。

Description

一种硬件加速器
技术领域
本申请涉及电路领域，更具体地为一种硬件加速器。
背景技术
计算机视觉，尤其是计算机立体视觉近年来受到广泛关注，获取目标深度信息的需求日益增加。例如，智能安防检测物体的定位，无人机三维定位，自动驾驶障碍物判断等，机器人导航，3d打印等。
众所周知，为了获取深度信息，伴随着大量图像数据处理及运算，而针对图像数据进行处理的算法往往运算复杂、计算量巨大，现有技术通常采用优化软件算法的方式对算法进行改进以期降低运算的复杂度。然而，仅仅优化软件算法并不能很好地提高算法执行效率，跟不上计算机视觉发展带来的数据量。因此，越来越多的研究关注于硬件加速器的设计。目前的硬件加速器缺乏良好的移植性，不能对缓存结构进行优化，占用、浪费大量的系统缓存资源，同时需要大量的运算资源，从而导致包含有硬件加速器的移动装置存在较高功率消耗及较低电池寿命等问题。
发明内容
有鉴于此，本发明实施例提供了一种硬件加速器，以解决现有技术中硬件加速器移植性差，占用、浪费大量系统缓存，以及硬件加速器元件较多、功耗大、电池寿命低的问题。
本发明提供一种硬件加速器，所述加速器包括获取单元，逻辑bank群组，比较单元，控制单元，信息仓和运算单元；
所述获取单元与所述逻辑bank群组连接，所述逻辑bank与所述运算单元连接，所述运算单元与所述信息仓连接，所述信息仓与所述比较单元连接，所述控制单元与所述获取单元、逻辑bank群组、比较单元、信息仓和运算单元连接；
所述获取单元，用于获取待运算的图像数据；
所述逻辑bank群组由多条ram组成，用于存储所述图像数据；所述逻辑bank群组由多条ram组成，用于存储所述图像数据；所述逻辑bank群组包括多个逻辑bank单元，所述逻辑bank单元由多条ram组成，对所述多条ram进行分割、组合以形成多块逻辑bank，其中，所述多条ram被分割为多份ram，所述多块逻辑bank由多份ram组成，并且任意一块所述逻辑bank中至少任意两份ram不属于同一条ram，每个所述逻辑bank单元由多块逻辑bank组成，所述多块逻辑bank可根据预定方式进行组合；
例如，所述逻辑bank群组可以由N条(n*winsize)*wide比特的ram组成，其中wide与系统位宽相适应，所述N条ram由左至右依次编号并排列，以winsize为单位，自上而下的顺序将每条ram划分为n份，所述逻辑bank群组共包含N*n份sram，连续的m条ram作为一个逻辑bank单元，m大于1且不大于N，所述逻辑bank群组共包含N/m(向下取整)个逻辑bank单元，每个逻辑bank单元由若干块逻辑bank组成，每块逻辑bank包括其对应的逻辑bank单元中的至少两份ram，所述每块逻辑bank中的至少两份ram不属于同一条ram，这样至少两份ram不属于同一条ram的设置方式能够最大限度的提高数据读取的效率，而不会因两份ram属于同一条ram而在数据读写时进行等待，并且可以提高系统的鲁棒性，逻辑bank单元中的各块逻辑bank可进行组合，例如两两组合、三三组合或是四者之间组合，这样在逻辑bank单元内部可以形成存储量可选的逻辑bank，并且各个逻辑bank单元可以进行自由组合，从而提供了丰富的存储空间的选择。
所述运算单元用于对所述逻辑bank群组中的数据进行运算，并输出运算结果，其中，所述运算包括初始化运算，所述初始化运算具体包括以下步骤：确定左侧视图初始化位置和右侧视图对应的搜索范围，当搜索块中心位于初始化位置时，计算所述搜索块的每一行所覆盖的像素点与右侧视图搜索范围内对应行的像素点的灰度值差的绝对值之和；其中，所述搜索块中心以所述初始化位置为起点水平移动，所述搜索范围根据搜索块中心的移动而对应地进行水平移动；
所述信息仓用于存储所述运算单元输出的运算结果，运算单元执行的运算还包括双边运算，所述双边运算根据信息仓所存储的运算结果通过迭代的方式计算所述搜索块中心水平移动后所述搜索块的每一行所覆盖的像素点与右侧视图搜索范围内对应行的像素点的灰度值差的绝对值之和；
所述控制单元用于发送控制信号，以周期性地控制所述运算单元进行图像数据运算；
所述比较单元读取信息仓中存储的运算结果，得到比较结果。
优选地，所述加速器还包括预处理单元，所述预处理单元对图像进行SOBEL滤波。
优选地，所述比较结果为图像的特征匹配点；
优选地，所述硬件加速器还包括去噪单元，用于验证所述匹配点以去除噪声点。
优选地，所述图像数据为左、右视图数据。
优选地，所述左右视图来源于双目视觉系统，所述左侧视图由双目视觉系统中左侧相机拍摄得到，所述右侧视图由双目视觉系统中右侧相机拍摄得到。
优选地，所述左右视图来源于单目视觉系统，所述左侧视图和右侧视图分别由单目视觉系统在不同位置拍摄得到。
优选地，所述控制单元还用于在左侧视图和右侧视图中各设置一个搜索块，分别为左侧视图搜索块和右侧视图搜索块，所述左、右侧视图搜索块在相应的视图中水平滑动，覆盖搜索块大小的像素点。
优选地，所述左侧视图搜索块和右侧视图搜索块均为一winsize*winsize大小的正方形搜索块，所述winsize为奇数，且5≤winsize≤21。
优选地，所述逻辑bank群组划分为N块逻辑bank。
优选地，每块逻辑bank用于保存所述搜索块在视图中滑动所覆盖的像素点的灰度值。
优选地，所述运算单元包括由减法器和加法器组成的第一运算子单元，所述第一运算子单元用于计算HSAD，所述HSAD为所述左侧视图搜索块和所述右侧视图搜索块内对应像素点的灰度值差的绝对值之和，所述第一运算子单元与所述逻辑bank群组、信息仓相连接，并将HSAD发送至所述信息仓。
优选地，当左侧视图搜索块中心首次滑动至左侧视图感兴趣区域的第A像素行时，所述控制单元发送控制信号至运算单元处，所述第一运算子单元进行初始化运算以确定当前位置n的HSAD，所述当前位置n为左侧视图感兴趣区域内第A像素行中的一个像素点的位置，A∈[1，感兴趣区域的像素总行数]。
优选地，第一运算子单元计算HSAD采用以下方式：
其中，HSADnmj表示左侧视图搜索块中心位于所述当前位置n时，对应的右侧视图搜索块中心在位置m时的第j行的HSAD；
l_sobeli表示在经过预处理的左侧视图l_sobel中当左侧视图搜索块中心在位置n时，左侧视图搜索块中第j行第i个像素点的灰度值；
r_sobeli表示在经过预处理的右侧视图r_sobel中当右侧视图搜索块中心在位置m时，右侧视图搜索块中第j行第i个像素点的灰度值；
其中，i，j＝0…winsize-1，1≤m≤M，M为预设的最大视差。
优选地，所述运算单元还包括：
第二运算子单元，所述第二运算子单元包含多个减法器，与逻辑bank群组相连接；
第三运算子单元，所述第三运算子单元包括多个减法器，第三运算子单元与所述信息仓和所述第一运算子单元和所述第二运算子单元相连接；
第四运算子单元，所述第四运算子单元包含多个减法器，与逻辑bank群组相连接；
第五运算子单元，所述第五运算子单元包含多个加法器，所述第五运算子单元与所述第三运算单元和第二运算单元相连接。
优选地，所述第一运算子单元完成所述初始化运算后，所述左侧视图搜索块中心沿水平方向滑动，直至遍历左侧视图感兴趣区域内当前位置n所在行的所有像素点，所述运算单元进行双边运算以得到每个所述像素点的HSAD，并将上述HSAD保存在所述信息仓中。
优选地，所述双边运算基于当前位置n的HSAD确定下一位置n+1的HSAD，所述下一位置n+1位于左侧视图感兴趣区域内。
优选地，所述下一位置n+1为左侧视图搜索块中心由当前位置n水平向右滑动一个像素点所在的位置；
所述第二运算子用于单元计算ADl，所述ADl为左侧视图搜索块中心在位置n时右侧视图搜索块第j行最左侧像素点与左侧视图搜索块第j行最左侧像素点的灰度值差的绝对值；
所述第三运算子单元用于计算所述HSADnmj和与其对应的ADl的差；
所述第四运算子单元用于计算ADr，所述ADr为左侧视图搜索块中心在n+1位置时右侧视图搜索块第j行最右侧像素点与左侧视图搜索块第j行最右侧像素点的灰度值差的绝对值；
所述第五运算子单元用于计算HSADn+1mj，其中HSADn+1mj为所述第三运算子单元计算结果与所述第四运算子单元计算结果的和，即HSADn+1mj＝HSADnmj-ADl+ADr，其中，HSADn+1mj表示左侧视图搜索块中心向右水平移动一个像素时，对应的右侧视图搜索块中心在位置m时的第j行的HSAD。
优选地，所述下一位置n+1为左侧视图搜索块中心由当前位置n水平向左滑动一个像素点所在的位置；
所述第二运算子单元用于计算ADr，所述ADr为左侧视图搜索块中心在n+1位置时右侧视图搜索块第j行最右侧像素点与左侧视图搜索块第j行最右侧像素点的灰度值差的绝对值；
所述第三运算子单元用于计算所述HSADnmj和与其对应的ADr的差；
所述第四运算子单元用于计算ADl，所述ADl为左侧视图搜索块中心在位置n时右侧视图搜索块第j行最左侧像素点与左侧视图搜索块第j行最左侧像素点的灰度值差的绝对值；
所述第五运算子单元用于计算HSADn+1mj，其中HSADn+1mj为所述第三运算子单元计算结果与所述第四运算子单元计算结果的和，即HSADn+1mj＝HSADnmj-ADr+ADl，其中，HSADn+1mj表示左侧视图搜索块中心向左水平移动一个像素时，对应的右侧视图搜索块中心在位置m时的第j行的HSAD。
优选地，当左侧视图搜索块中心由当前位置n滑动至所述下一位置n+1时，右侧视图的搜索范围向右平移一个像素，右侧视图搜索块在所述搜索范围内由右向左水平滑动M个位置。
优选地，当左侧视图搜索块中心由当前位置n滑动至所述下一位置n+1时，右侧视图的搜索范围向左平移一个像素，右侧视图搜索块在所述搜索范围内由右向左水平滑动M个位置。
优选地，所述运算单元还包括与所述信息仓相连接的第六运算子单元，所述第六运算子单元包括加法器，用于计算SAD。
优选地，所述第六运算子单元计算SAD采用以下方式：
其中，HSADj为当左侧视图搜索块中心位于左侧视图感兴趣区域内某一位置时，右侧视图搜索块中心位于右侧视图某一位置时第j行的HSAD，j＝0…winsize-1，1≤m≤M；
左侧视图搜索块中心在左侧视图感兴趣区域内每滑动一个像素点，所述运算单元对应计算得到M个SAD。
优选地，所述信息仓用于存储HSAD和SAD，以及左侧视图搜索块中心位置和右侧视图搜索块中心位置。
优选地，当所述左侧视图搜索中心遍历左侧视图感兴趣区域所有像素点时，所述控制单元发送控制信号至运算单元以停止运算。
优选地，当左侧视图搜索块中心在左侧视图感兴趣区域内由当前位置n滑动到下一位置n+1时，所述控制单元发送控制信号至所述比较单元以确定当前位置n对应的SAD的最小值所对应的右侧视图搜索块中心位置，确定所述右侧视图搜索块中心位置对应的像素点为匹配点。
另一方面，本发明提供了一种双目视觉系统视差信息提取硬件加速器，其特征在于，所述硬件加速器包括匹配点获取单元，摄像机坐标系生成单元和视差确定单元；
所述匹配点获取单元获取利用前述硬件加速器所得到的匹配点；
所述摄像机坐标系生成单元获取双目视觉系统内外参数，建立摄像机坐标系；
所述视差确定单元根据所述摄像机坐标系和所述匹配点，确定匹配点的视差。
另一方面，本发明提供了一种单目视觉系统视差信息提取硬件加速器，其特征在于，所述硬件加速器包括匹配点获取单元，摄像机坐标系生成单元和视差确定单元；
所述匹配点获取单元获取利用前述硬件加速器所得到的匹配点；
所述摄像机坐标系生成单元获取单目视觉系统内外参数，建立摄像机坐标系；
所述视差确定单元根据所述摄像机坐标系和所述匹配点，确定匹配点的视差。
利用前述硬件加速器一种深度信息提取硬件加速器，其特征在于，所述深度信息提取硬件加速器包括：
信息获取单元，用于获取根据前述视差信息提取硬件加速器得到的视差信息；
深度信息确定单元，用于基于所述视差信息确定深度信息。
本发明公开了一种硬件加速器，该硬件加速器具有以下三点有益效果：本发明公开的硬件加速器可提供完整的数据存储和运算功能，在软件优化算法之外充分发挥了硬件电路所具有的速度优势，并且可以耦接于通用计算机系统或者嵌入式系统或是其他处理系统中，辅助CPU执行复杂运算，有效地提高CPU的运行效率，并且本身具有较高的可移植性；本发明公开的硬件加速器，通过设置逻辑bank群组，并对逻辑bank群组进行有效划分，一方面提供了丰富的缓存结构，一方面避免了缓存资源的紧张或过度浪费；本发明公开的硬件加速器，通过设置信息仓和双边运算单元，将传统图像处理过程中基于点的运算改进为基于行的运算，并利用前一位置的计算结果迭代计算后续位置的结果，大大减少硬件加速器中所需的元件数量，实现硬件结构轻量化。
附图说明
图1是本发明实施例一提供的一种硬件加速器的结构图。
图2是本发明实施例一提供的一种逻辑bank群组示意图。
图3是本发明实施例一提供的运算单元的结构图。
图4是本发明实施例二提供的一种控制单元生成的搜索块的示意图。
图5是本发明实施例三提供的第一运算子单元的工作示意图。
图6是本发明实施例四提供的第二至五运算子单元的工作示意图。
图7是本发明实施例五提供的信息仓的电路结构图。
图8是本发明实施例七提供的硬件加速器的结构图。
图9是本发明实施例八提供的一种硬件加速器结构图。
图10是本发明实施例九提供的一种硬件加速器结构图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。
另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
实施例一
图1为本发明实施例一提供的一种硬件加速器的结构图。本实施例的硬件加速器具体包括：
获取单元(110)，获取的图像数据包括左侧视图和右侧视图。
在本实施中，左侧视图和右侧视图具体是指从两个不同位置获取的包括同一目标物体的两幅图像，具体而言，既可以是通过不同位置的两个相同或不同的摄像头获取左侧视图和右侧视图，也可以是通过移动同一摄像头获取左侧视图和右侧视图，本实施例对此不进行限制。
其中，目标物体具体是指左侧视图的感兴趣区域包括的物体。可以理解的是，一般两幅图在进行图像匹配时，主要是将其中一幅图像中重要物体的图像区域与另外一幅图像的整体或一部分图像区域进行匹配，以确定两幅图的关联性，因此，在本实施例中，左侧视图和右侧视图应包括同一目标物体，以完成左侧视图和右侧视图的特征点匹配。
逻辑bank群组(120)，所述逻辑bank群组由多条ram组成，用于存储所述图像数据；所述逻辑bank群组由多条ram组成，用于存储所述图像数据；所述逻辑bank群组包括多个逻辑bank单元，所述逻辑bank单元由多条ram组成，对所述多条ram进行分割、组合以形成多块逻辑bank，其中，所述多条ram被分割为多份ram，所述多块逻辑bank由多份ram组成，并且任意一块所述逻辑bank中至少任意两份ram不属于同一条ram，每个所述逻辑bank单元由多块逻辑bank组成，所述多块逻辑bank可根据预定方式进行组合；
例如，所述逻辑bank群组可以由N条(n*winsize)*wide比特的ram组成，其中wide与系统位宽相适应，所述N条ram由左至右依次编号并排列，以winsize为单位，自上而下的顺序将每条ram划分为n份，所述逻辑bank群组共包含N*n份sram，连续的m条ram作为一个逻辑bank单元，m大于1且不大于N，所述逻辑bank群组共包含N/m(向下取整)个逻辑bank单元，每个逻辑bank单元由若干块逻辑bank组成，每块逻辑bank包括其对应的逻辑bank单元中的至少两份ram，所述每块逻辑bank中的至少两份ram不属于同一条ram，这样至少两份ram不属于同一条ram的设置方式能够最大限度的提高数据读取的效率，而不会因两份ram属于同一条ram而在数据读写时进行等待，并且可以提高系统的鲁棒性，逻辑bank单元中的各块逻辑bank可进行组合，例如两两组合、三三组合或是四者之间组合，这样在逻辑bank单元内部可以形成存储量可选的逻辑bank，并且各个逻辑bank单元可以进行自由组合，从而提供了丰富的存储空间的选择。所述运算单元用于对所述逻辑bank群组中的数据进行运算，并输出运算结果。在本实施例中，如图2所示，假设逻辑bank群组由12条(4*21)*64bit的sram组成，将每条sram按照每21行划分一份的原则进行划分，则每条sram可分为4份，例如图中逻辑bank群组共包括48份sram，连续的4条sram作为一个逻辑bank单元，图中共有3个逻辑bank单元，每个逻辑bank单元由4块逻辑bank组成，图中左侧的逻辑bank单元包含4块逻辑bank，分别是bank0、bank3、bank6和bank9，每块逻辑bank包含4份sram，例如，bank0包含4份sram，每块逻辑bank只具有其所属逻辑bank单元中的4份sram，并且每块逻辑bank中的至少两份sram不属于同一条sram，逻辑bank单元中的各块逻辑bank可进行组合，例如bank0、bank3、bank6和bank9可进行任意组合，例如两两组合、三三组合或是四者之间组合，这样可以形成存储量更大的逻辑bank，并且具有丰富的存储空间的选择。
运算单元(130)，所述运算单元(130)读取逻辑bank群组(120)中的数据，进行运算并输出运算结果。
在本实施例中，如图3所示，所述运算单元(130)包括第一运算子单元(1301)，第二运算子单元(1302)，第三运算子单元(1303)，第四运算子单元(1304)，第五运算子单元(1305)和第六运算子单元(1306)。
所述第一运算子单元(1301)包含多个减法器和加法器，所述第二运算子单元(1302)包含多个减法器，所述第三运算子单元(1303)包含多个减法器，所述第四运算子单元(1304)包含多个减法器，所述第五运算子单元(1305)包含多个加法器，所述第六运算子单元(1306)包含多个加法器。
信息仓(140)，用于存储运算单元输出的运算结果。
比较单元(150)，读取信息仓(140)中存储的运算结果，得到比较结果。
控制单元(160)，所述控制单元(160)发送控制信号至各单元，控制各单元的运行。
本发明实施例一提供了一种硬件加速器，通过对逻辑bank群组进行适应性地改进，使得逻辑bank群组中的块逻辑bank可以自由组合，形成丰富的存储资源规模，解决了现有技术中存储结构固定，浪费存储资源或是存储资源紧张的问题。
实施例二
图4是本发明实施例二提供的一种控制单元生成的搜索块的示意图。
控制单元(160)在左侧视图和右侧视图各设置一个搜索块，分别为左侧视图搜索块(1601)和右侧视图搜索块(1602)，所述搜索块在视图中水平滑动，搜索块中心每滑动至一个位置，即可覆盖搜索块大小的像素点，所述左侧视图搜索块(1601)和右侧视图搜索块(1602)均为一winsize*winsize大小的正方形搜索块，所述winsize为奇数，且5≤winsize≤21。
如图4所示，搜索块(1601)中心在左侧视图感兴趣区域内的第A像素行水平向右滑动，搜索块(1602)中心在右侧视图搜索区域内对应的像素行水平向左滑动，A∈[1，感兴趣区域的像素总行数]。
本领域技术人员可以理解，搜索块(1601)中心也可以在左侧视图感兴趣区域内的第A像素行水平向左滑动，搜索块(1602)中心也可以在右侧视图搜索区域内对应的像素行水平向右滑动。这里需要说明的是，本实施例之后的所有实施例涉及的搜索块(1602)中心均为在右侧视图搜索区域内对应的像素行水平由右向左滑动。
本领域技术人员可以理解，搜索块(1601)中心在左侧视图感兴趣区域内的滑动可以在当搜索块(1601)中心滑动至感兴趣区域边界时停止，也可以继续滑动以遍历第A像素行的所有像素点。
当搜索块(1601)中心滑动至某一位置时，搜索块(1602)中心在右侧视图的对应搜索范围内进行滑动，并且滑动遍历M个位置。本领域技术人员可以理解的是，在现有的图像匹配技术中，可以通过对极几何等计算方法确定右侧视图中与左侧视图中的单一像素点相匹配的像素点搜索范围，该像素点搜索范围必包含与左侧视图中的该单一像素点相匹配的像素点，同样，在本实施例中，可以通过现有技术中的计算方法确定右侧视图中与搜索块(1601)中心所在位置对应的搜索范围，这里需要说明的是，本实施例及之后的所有实施例中涉及的右侧视图中与感兴趣区域中的搜索块(1601)中心位置对应的各个搜索范围必须均为右侧视图中某一像素行中的M个连续像素点，也就是说，与搜索块(1601)中心位置对应的搜索范围不应包含不同像素行的像素点，其中，M是预设最大视差值。
示例性的，搜索块(1601)和搜索块(1602)均为5×5的正方形搜索块，左侧视图搜索块包含的所有像素点的灰度值如表1所示，右侧视图搜索块的中心位于右侧视图中对应的搜索范围内最右侧的像素点，右侧视图搜索块包含的所有像素点的灰度值如表2所示。
表1
50 65 66 70 65
70 85 89 92 80
75 90 95 95 82
78 92 95 90 88
75 90 96 93 92
表2
实施例三
图5是本发明实施例三提供的第一运算子单元(1301)的工作示意图。
如图5所示，所述第一运算子单元(1301)包含多个减法器和加法器，所述第一运算单元(1301)与所述逻辑bank群组(120)相连接，用于计算初始化运算对应的HSAD，所述第一运算子单元(1301)还与所述信息仓(140)相连接，将计算结果发送至所述信息仓(140)；
下面对初始化运算对应的HSAD的计算方法进行具体说明：
在本实施例中，当左侧视图搜索块中心首次滑动至左侧视图感兴趣区域的第A像素行时，此时控制单元发送控制信号至运算单元处，所述运算单元进行初始化运算，所述初始化运算确定当前位置n的HSAD，所述当前位置n为左侧视图感兴趣区域内第A像素行中的一个像素点的位置，A∈[1，感兴趣区域的像素总行数]。
本领域技术人员可以确定，感兴趣区域的像素总行数对应着初始化运算的次数，也对应着各个初始化运算所对应的当前位置n的数目。
左侧视图搜索块的中心位于该当前位置n，右侧视图搜索块的中心在右侧视图中对应于该当前位置n的搜索范围内由右向左水平滑动M个位置，其实通过现有的计算方法确定的右侧视图中与该当前位置n对应的搜索范围是某一整个像素行，但是，在本实施例及之后的所有实施例中所使用的搜索范围具体是该某一整个像素行中M个连续的像素点。
具体而言，右侧视图搜索块的中心每滑动一个位置就会计算一次HSAD值，每次计算得到的HSAD值的个数为左侧视图搜索块的行数(左侧视图搜索块与右侧视图搜索块的行数相同)，可见，各个当前位置n所对应的HSAD值的个数均为M与左侧视图搜索块的行数的乘积。其中，当前位置n的HSAD值具体是指当左侧视图搜索块的中心位于该当前位置n时，右侧视图搜索块的中心位于右侧视图中对应于该当前位置n的搜索范围内的某一个像素点时，以左右视图搜索块的行为单位计算得到的左侧视图搜索块和右侧视图搜索块内对应像素点的灰度值差的绝对值之和。
示例性的，左侧视图搜索块和右侧搜索块均为5×5的正方形搜索块，左侧视图搜索块的中心位于当前位置n，左侧视图搜索块包含的所有像素点的灰度值如表1所示，右侧视图搜索块的中心位于右侧视图中对应于该当前位置n的搜索范围内最右侧的像素点，右侧视图搜索块包含的所有像素点的灰度值如表2所示。
那么，此时该当前位置n的5个HSAD值分别为：
HSAD1＝|100-50|+|105-65|+|112-66|+|134-70|+|150-65|＝285
HSAD2＝|90-70|+|98-85|+|110-89|+|122-92|+|140-80|＝144
HSAD3＝|95-75|+|99-90|+|98-95|+|130-95|+|142-82|＝127
HSAD4＝|99-78|+|95-92|+|98-95|+|125-90|+|139-88|＝113
HSAD5＝|97-75|+|96-90|+|98-96|+|128-93|+|130-92|＝103
进一步地，当右侧视图搜索块的中心从右侧视图中对应于该当前位置n的搜索范围内最右侧的像素点向左滑动一个像素点之后，表2中的灰度值会产生变化，此时需要继续计算当前位置n的另外5个HSAD值，直至右侧视图搜索块的中心滑动至右侧视图中对应于该当前位置n的搜索范围内最左侧的像素点并计算此位置对应于当前位置n的5个HSAD值。
更一般性地，初始化运算的HSAD具体采用以下方式：
其中，HSADnmj表示左侧视图搜索块中心位于所述当前位置n时，对应的右侧视图搜索块中心在位置m时的第j行的HSAD；
l_sobeli表示在经过预处理的左侧视图l_sobel中当左侧视图搜索块中心在位置n时，左侧视图搜索块中第j行第i个像素点的灰度值；
r_sobeli表示在经过预处理的右侧视图r_sobel中当右侧视图搜索块中心在位置m时，右侧视图搜索块中第j行第i个像素点的灰度值.
示例性地，左侧视图搜索块和右侧搜索块均为5×5的正方形搜索块，左侧视图搜索块的中心位于当前位置n，左侧视图搜索块包含的所有像素点的编号如表3所示，右侧视图搜索块的中心位于右侧视图中对应于该当前位置n的搜索范围内从右数第m个像素点，右侧视图搜索块包含的所有像素点的编号如表4所示。
A1 A2 A3 A4 A5
B1 B2 B3 B4 B5
C1 C2 C3 C4 C5
D1 D2 D3 D4 D5
E1 E2 E3 E4 E5
表3
A’1 A’2 A’3 A’4 A’5
B’1 B’2 B’3 B’4 B’5
C’1 C’2 C’3 C’4 C’5
D’1 D’2 D’3 D’4 D’5
E’1 E’2 E’3 E’4 E’5
表4
HSADnm1＝|A1-A`1|+|A2-A`2|+|A3-A`3|+|A4-A`4|+|A5-A`5|
......
HSADnm5＝|E1-E`1|+|E2-E`2|+|E3-E`3|+|E4-E`4|+|E5-E`5|
实施例四
图6是本发明实施例四提供的第二至五运算子单元的工作示意图。
如图所示，所述运算单元包含第二运算子单元(1302)，所述第二运算子单元(1302)包含多个减法器，与逻辑bank群组(120)相连接；
所述运算单元还包括第三运算子单元(1303)，所述第三运算子单元(1303)包含多个减法器，第三运算子单元(1303)与所述信息仓(140)和所述第二运算子单元(1302)相连接；
所述运算单元还包含第四运算子单元(1304)，所述第四运算子单元(1304)包含多个减法器，与逻辑bank群组(120)相连接；
所述运算单元还包括第五运算子单元(1305)，所述第五运算子单元(1305)包含多个加法器，所述第五运算子单元(1305)与所述第三运算单元(1303)和第二运算单元(1302)相连接，进行双边运算，将运算结果保存在所述信息仓(140)中。
通过双边运算确定下一位置n+1的HSAD，所述下一位置n+1位于左侧视图感兴趣区域内。
可选地，下一位置n+1为左侧视图搜索块中心由当前位置n水平向右滑动一个像素点所在的位置。示例性地，当左侧视图搜索块的中心位于下一位置n+1时，左侧视图搜索块包含的所有像素点的编号如表5所示，当右侧视图搜索块的中心位于右侧视图中对应于该下一位置n+1的搜索范围内从右数第m个像素点时，右侧视图搜索块包含的所有像素点的编号如表6所示，
A2 A3 A4 A5 A6
B2 B3 B4 B5 B6
C2 C3 C4 C5 C6
D2 D3 D4 D5 D6
E2 E3 E4 E5 E6
表5
A’2 A’3 A’4 A’5 A’6
B’2 B’3 B’4 B’5 B’6
C’2 C’3 C’4 C’5 C’6
D’2 D’3 D’4 D’5 D’6
E’2 E’3 E’4 E’5 E’6
表6
所以，当右侧视图搜索块的中心位于右侧视图中对应于该下一位置N+1的搜索范围内从右数第m个像素点时，该第n+1位置的HSAD值的计算公式为：
HSADn+1m1＝HSADnm1-|A1-A`1|+|A6-A`6|
......
HSADn+1m5＝HSADnm5-|E1-E`1|+|E6-E`6|
一般性地，当左侧视图搜索块中心由当前位置n滑动至所述下一位置n+1时，相应地，右侧视图的搜索范围向右平移一个像素，右侧视图搜索块在所述搜索范围内由右向左水平滑动M个位置。
可选地，下一位置n+1为左侧视图搜索块中心由当前位置n水平向左滑动一个像素点所在的位置。示例性地，当左侧视图搜索块的中心位于下一位置n+1时，左侧视图搜索块包含的所有像素点的编号如表7所示，当右侧视图搜索块的中心位于右侧视图中对应于该下一位置n+1的搜索范围内从右数第m个像素点时，右侧视图搜索块包含的所有像素点的编号如表8所示，
表7
A’0 A’1 A’2 A’3 A’4
B’0 B’1 B’2 B’3 B’4
C’0 C’1 C’2 C’3 C’4
D’0 D’1 D’2 D’3 D’4
E’0 E’1 E’2 E’3 E’4
表8
所以，当右侧视图搜索块的中心位于右侧视图中对应于该下一位置N+1的搜索范围内从右数第m个像素点时，该第n+1位置的HSAD值的计算公式为：
HSADn+1m1＝HSADnm1-|A5-A`5|+|A0-A`0|
......
HSADn+1m5＝HSADnm5-|E5-E`5|+|E0-E`0|
一般性地，当左侧视图搜索块中心由当前位置n滑动至所述下一位置n+1时，相应地，右侧视图的搜索范围向右平移一个像素，右侧视图搜索块在所述搜索范围内由右向左水平滑动M个位置。本领域技术人员可以明确，可以根据左侧视图搜索块中心所在的起始位置(记作当前位置n)的具体情况来对上述两种可选方式进行选择或组合，即当左侧视图搜索块中心所在的起始位置为左侧视图感兴趣区域的第A像素行的左侧端点时，下一位置n+1为左侧视图搜索块中心由当前位置n水平向右滑动一个像素点所在的位置；当左侧视图搜索块中心所在的起始位置为左侧视图感兴趣区域的第A像素行的右侧端点时，下一位置n+1为左侧视图搜索块中心由当前位置n水平向左滑动一个像素点所在的位置；左侧视图搜索块中心所在的起始位置为左侧视图感兴趣区域的第A像素行的非端点位置时，则既要向右滑动也要向左滑动，以遍历第A像素行的所有感兴趣区域内的像素点。
一般性地，第二运算子单元计算ADl，所述ADl表示左侧视图搜索块中心在位置n时右侧视图搜索块第j行最左侧像素点与左侧视图搜索块第j行最左侧像素点的灰度值差的绝对值；
所述第三运算子单元计算当前位置相对应的第j行HSAD和与其对应的ADl的差；
所述第四运算子单元计算ADr，所述ADr表示左侧视图搜索块中心在n+1位置时右侧视图搜索块第j行最右侧像素点与左侧视图搜索块第j行最右侧像素点的灰度值差的绝对值。
示例性地，当下一位置n+1为左侧视图搜索块中心由当前位置n水平向右滑动一个像素点所在的位置，左侧视图搜索块包含的所有像素点的编号如表5所示以及当右侧视图搜索块的中心位于右侧视图中对应于该下一位置n+1的搜索范围内从右数第m个像素点右侧视图搜索块包含的所有像素点的编号如表6所示时，ADl＝|A1-A`1|，ADr＝|A6-A`6|；
当下一位置n+1为左侧视图搜索块中心由当前位置n水平向左滑动一个像素点所在的位置，左侧视图搜索块包含的所有像素点的编号如表7所示以及当右侧视图搜索块的中心位于右侧视图中对应于该下一位置n+1的搜索范围内从右数第m个像素点右侧视图搜索块包含的所有像素点的编号如表8所示时，ADl＝|A0-A`0|，ADr＝|A5-A`5|
本发明实施例四提供了一种硬件加速器，具体地，通过硬件加速器中的运算单元执行基于像素行的运算，并利用前一位置的计算结果迭代计算后续位置的结果，大大减少了硬件加速器中所需的元件数量，实现硬件结构的轻量化。
实施例五
图7是本发明实施例五提供的信息仓的电路结构图。
如图所示，所述信息仓(140)接收第一运算子单元(1301)、第五运算子单元(1305)、第六运算子单元(1306)输出的运算结果，并可将数据发送至第六运算子单元(1306)中进行运算。
其中，第一运算子单元(1301)计算初始化运算时的HSAD，示例性地如果感兴趣区域包括10行，则进行10次初始化运算，共计算获得10*winsize*M个HSAD；
第五运算子单元(1305)通过双边运算计算除初始化运算之外的HSAD，示例性地如果感兴趣区域包括10行，每行除初始化运算所在位置外有8个像素点，共计算获得10*8*winsize*M个HSAD；
第六运算子单元(1306)计算SAD，计算SAD具体采用以下方式：
其中，HSADj为当左侧视图搜索块中心位于左侧视图感兴趣区域内某一位置时，右侧视图搜索块中心位于右侧视图某一位置时第j行的HSAD，j＝0…winsize-1，1≤m≤M，M为预设的最大视差；
示例性地，如果感兴趣区域包括10行，每行包括9个像素点，共计算获得10*9*M个SAD；
示例性地，本领域技术人员可以确定，信息仓保存有10*9*M个SAD，以及每个SAD所对应的左侧视图搜索块中心位置和右侧视图搜索块中心位置。
实施例六
在图1中，比较单元(150)用于读取信息仓(140)中存储的数据，并输出比较结果。
在信息仓中，对于感兴趣区域内的每一个像素点，对应保存了M个SAD和M个右侧视图搜索块中心位置。比较单元(150)对M个SAD进行比较，确定SAD的最小值所对应的右侧视图搜索块中心位置，确定所述右侧视图搜索块中心位置对应的像素点为匹配点。示例性地，如果感兴趣区域包括10行，每行包括9个像素点，则比较单元(150)进行90次的比较，每一次比较针对其中一个像素点，确定该像素点的SAD的最小值所对应的右侧视图搜索块中心位置，确定所述右侧视图搜索块中心位置对应的像素点为匹配点。
可选地，比较单元可以在信息仓中每保存一个像素点及其对应的SAD和右侧搜索块中心位置时进行比较，也可以在信息仓中已保存所有感兴趣区域内像素点及其对应的SAD和右侧搜索块中心位置时进行比较。
实施例七
图8是本发明实施例七提供的硬件加速器的结构图。
图中，硬件加速器还包括预处理单元(180)和去噪单元(170)，预处理单元(180)连接获取单元(110)和逻辑bank群组(120)，用于对图像进行预处理，可选地，预处理方式为sobel滤波。去噪单元(170)与比较单元(140)相连，对比较单元输出的比较结果进行去噪，可选地，采用唯一性验证与视差验证函数验证匹配点，去除噪声点。
实施例八
图9是本发明实施例八提供的一种硬件加速器结构图。
图中，硬件加速器还包括匹配点获取单元(190)，摄像机坐标系生成单元(200)和视差确定单元(210)，匹配点获取单元(190)获取经过去噪处理的匹配点，摄像机坐标系生成单元(200)基于相机的内外参数建立相机坐标系，视差确定单元(210)确定匹配点的视差。
实施例九
图10是本发明实施例九提供的一种硬件加速器结构图。
图中，硬件加速器还包括信息获取单元(220)和深度信息获取单元(230)信息获取单元(220)接收视差确定单元(210)输出的视差，深度信息获取单元(230)通过三角法确定匹配点所对应的目标的该点在相机坐标系中的深度信息。
在此请注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员可根据不同的技术需求有选择的对上述实施例中相关技术内容进行组合。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (20)

1.一种硬件加速器，其特征在于所述加速器包括获取单元，逻辑bank群组，比较单元，控制单元，信息仓和运算单元；
所述获取单元与所述逻辑bank群组连接，所述逻辑bank与所述运算单元连接，所述运算单元与所述信息仓连接，所述信息仓与所述比较单元连接，所述控制单元与所述获取单元、逻辑bank群组、比较单元、信息仓和运算单元连接；
所述获取单元，用于获取待运算的图像数据；
所述逻辑bank群组由多条ram组成，用于存储所述图像数据；所述逻辑bank群组包括多个逻辑bank单元，所述逻辑bank单元由多条ram组成，对所述多条ram进行分割、组合以形成多块逻辑bank，其中，所述多条ram被分割为多份ram，所述多块逻辑bank由多份ram组成，并且任意一块所述逻辑bank中至少任意两份ram不属于同一条ram，每个所述逻辑bank单元由多块逻辑bank组成，所述多块逻辑bank可根据预定方式进行组合；
所述运算单元用于对所述逻辑bank群组中的数据进行运算，并输出运算结果；
所述信息仓用于存储所述运算单元输出的运算结果；
所述控制单元用于发送控制信号，以周期性地控制所述运算单元进行图像数据运算；
所述比较单元读取信息仓中存储的运算结果，得到比较结果。
2.根据权利要求1所述的硬件加速器，其特征在于，所述加速器还包括预处理单元，所述预处理单元对图像进行SOBEL滤波。
3.根据权利要求1所述的硬件加速器，其特征在于，所述比较结果为满足预定条件的图像的特征匹配点；
所述硬件加速器还包括去噪单元，用于验证所述匹配点以去除噪声点。
4.根据权利要求1所述的硬件加速器，其特征在于，所述获取单元获取的图像数据为左、右视图数据。
5.根据权利要求4所述的硬件加速器，其特征在于，所述左右视图来源于双目视觉系统，所述左侧视图由双目视觉系统中左侧相机拍摄得到，所述右侧视图由双目视觉系统中右侧相机拍摄得到。
6.根据权利要求4所述的硬件加速器，其特征在于，所述左右视图来源于单目视觉系统，所述左侧视图和右侧视图分别由单目视觉系统在不同位置拍摄得到。
7.根据权利要求4所述的硬件加速器，其特征在于，所述控制单元还用于在左侧视图和右侧视图中各设置一个搜索块，分别为左侧视图搜索块和右侧视图搜索块，所述左、右侧视图搜索块在相应的视图中水平滑动，覆盖搜索块大小的像素点。
8.根据权利要求7所述的硬件加速器，其特征在于，所述左侧视图搜索块和右侧视图搜索块均为一winsize*winsize大小的正方形搜索块，所述winsize为奇数，且5≤winsize≤21。
9.根据权利要求1所述的硬件加速器，其特征在于，每块逻辑bank用于保存所述搜索块在视图中滑动所覆盖的像素点的灰度值。
10.根据权利要求9所述的硬件加速器，其特征在于，所述运算单元包括由减法器和加法器组成的第一运算子单元，所述第一运算子单元用于计算HSAD，所述HSAD为所述左侧视图搜索块和所述右侧视图搜索块内对应行的像素点的灰度值差的绝对值之和，所述第一运算子单元与所述逻辑bank群组、信息仓相连接，并将HSAD发送至所述信息仓。
11.根据权利要求10所述的硬件加速器，其特征在于，所述运算单元还包括：
第二运算子单元，所述第二运算子单元包含多个减法器，与逻辑bank群组相连接；
第三运算子单元，所述第三运算子单元包括多个减法器，第三运算子单元与所述信息仓和所述第一运算子单元和所述第二运算子单元相连接；
第四运算子单元，所述第四运算子单元包含多个减法器，与逻辑bank群组相连接；
第五运算子单元，所述第五运算子单元包含多个加法器，所述第五运算子单元与所述第三运算单元和第二运算单元相连接。
12.根据权利要求11所述的硬件加速器，其特征在于，所述第一运算子单元完成所述初始化运算后，所述左侧视图搜索块中心沿水平方向滑动，直至遍历左侧视图感兴趣区域内当前位置n所在行的所有像素点，所述运算单元进行双边运算以得到每个所述像素点对应的HSAD，并将上述HSAD保存在所述信息仓中。
13.根据权利要求12所述的硬件加速器，其特征在于，所述运算单元还包括与所述信息仓相连接的第六运算子单元，所述第六运算子单元包括加法器，用于计算SAD。
14.根据权利要求13所述的硬件加速器，其特征在于，所述第六运算子单元计算SAD采用以下方式：
其中，HSADj为当左侧视图搜索块中心位于左侧视图感兴趣区域内某一位置时，右侧视图搜索块中心位于右侧视图某一位置时第j行的HSAD，j＝0…
winsize-1，1≤m≤M；
左侧视图搜索块中心在左侧视图感兴趣区域内每滑动一个像素点，所述运算单元对应计算得到M个SAD，M为预设的最大视差。
15.根据权利要求14所述的硬件加速器，其特征在于，所述信息仓用于存储HSAD和SAD，以及左侧视图搜索块中心位置和右侧视图搜索块中心位置。
16.根据权利要求15所述的硬件加速器，其特征在于，当所述左侧视图搜索中心遍历左侧视图感兴趣区域所有像素点时，所述控制单元发送控制信号至运算单元以停止运算。
17.根据权利要求16所述的硬件加速器，其特征在于，当左侧视图搜索块中心在左侧视图感兴趣区域内由当前位置n滑动到下一位置n+1时，所述控制单元发送控制信号至所述比较单元以确定当前位置n对应的SAD的最小值所对应的右侧视图搜索块中心位置，确定所述右侧视图搜索块中心位置对应的像素点为匹配点。
18.一种双目视觉系统视差信息提取硬件加速器，其特征在于，所述硬件加速器包括匹配点获取单元，摄像机坐标系生成单元和视差确定单元；
所述匹配点获取单元获取利用权利要求1-17之一所述的硬件加速器所得到的匹配点；
所述摄像机坐标系生成单元获取双目视觉系统内外参数，建立摄像机坐标系；
所述视差确定单元根据所述摄像机坐标系和所述匹配点，确定匹配点的视差。
19.一种单目视觉系统视差信息提取硬件加速器，其特征在于，所述硬件加速器包括匹配点获取单元，摄像机坐标系生成单元和视差确定单元；
所述匹配点获取单元获取利用权利要求1-17之一所述的硬件加速器所得到的匹配点；
所述摄像机坐标系生成单元获取单目视觉系统内外参数，建立摄像机坐标系；
所述视差确定单元根据所述摄像机坐标系和所述匹配点，确定匹配点的视差。
20.一种深度信息提取硬件加速器，其特征在于，所述深度信息提取硬件加速器包括：
信息获取单元，用于获取根据权利要求18或19之一所述的视差信息提取硬件加速器得到的视差信息；
深度信息确定单元，用于基于所述视差信息确定深度信息。
CN201810380604.1A 2018-04-25 2018-04-25 一种硬件加速器 Active CN108550102B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810380604.1A CN108550102B (zh) 2018-04-25 2018-04-25 一种硬件加速器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810380604.1A CN108550102B (zh) 2018-04-25 2018-04-25 一种硬件加速器

Publications (2)

Publication Number Publication Date
CN108550102A true CN108550102A (zh) 2018-09-18
CN108550102B CN108550102B (zh) 2022-05-17

Family

ID=63512651

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810380604.1A Active CN108550102B (zh) 2018-04-25 2018-04-25 一种硬件加速器

Country Status (1)

Country Link
CN (1) CN108550102B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1217082A (zh) * 1996-03-21 1999-05-19 株式会社日立制作所 Dram内装数据处理器件
CN1247348A (zh) * 1998-07-27 2000-03-15 夏普株式会社 数据处理装置和包含有控制该数据处理装置程序的记录媒体
US6049859A (en) * 1996-01-15 2000-04-11 Siemens Aktiengesellschaft Image-processing processor
CN103136120A (zh) * 2012-12-31 2013-06-05 北京北大众志微系统科技有限责任公司 行缓冲管理策略确定方法和装置、bank划分方法和装置
WO2014169690A1 (zh) * 2013-04-15 2014-10-23 中兴通讯股份有限公司 一种地址映射处理的方法、装置
US20150319419A1 (en) * 2014-05-01 2015-11-05 Ecole Polytechnique Federale De Lausanne (Epfl) Hardware-Oriented Dynamically Adaptive Disparity Estimation Algorithm and its Real-Time Hardware
US20180067763A1 (en) * 2016-09-02 2018-03-08 Intel Corporation Mechanism to Increase Thread Parallelism in a Graphics Processor

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6049859A (en) * 1996-01-15 2000-04-11 Siemens Aktiengesellschaft Image-processing processor
CN1217082A (zh) * 1996-03-21 1999-05-19 株式会社日立制作所 Dram内装数据处理器件
CN1247348A (zh) * 1998-07-27 2000-03-15 夏普株式会社 数据处理装置和包含有控制该数据处理装置程序的记录媒体
CN103136120A (zh) * 2012-12-31 2013-06-05 北京北大众志微系统科技有限责任公司 行缓冲管理策略确定方法和装置、bank划分方法和装置
WO2014169690A1 (zh) * 2013-04-15 2014-10-23 中兴通讯股份有限公司 一种地址映射处理的方法、装置
US20150319419A1 (en) * 2014-05-01 2015-11-05 Ecole Polytechnique Federale De Lausanne (Epfl) Hardware-Oriented Dynamically Adaptive Disparity Estimation Algorithm and its Real-Time Hardware
US20180067763A1 (en) * 2016-09-02 2018-03-08 Intel Corporation Mechanism to Increase Thread Parallelism in a Graphics Processor

Also Published As

Publication number Publication date
CN108550102B (zh) 2022-05-17

Similar Documents

Publication Publication Date Title
Sun et al. Neural 3d reconstruction in the wild
Zhang et al. View-guided point cloud completion
CN108961390B (zh) 基于深度图的实时三维重建方法
CN108537876B (zh) 三维重建方法、装置、设备及存储介质
Nießner et al. Real-time 3D reconstruction at scale using voxel hashing
CN116452644B (zh) 基于特征描述子的三维点云配准方法、装置及存储介质
Chen et al. Robust dense reconstruction by range merging based on confidence estimation
KR20080070579A (ko) ２ｄ 이미지 시퀀스들로부터 ３ｄ 장면을 재구성하기 위한방법
Ttofis et al. Edge-directed hardware architecture for real-time disparity map computation
CN110021065A (zh) 一种基于单目相机的室内环境重建方法
Liu et al. High-quality textured 3D shape reconstruction with cascaded fully convolutional networks
CN111047596A (zh) 一种三维点云实例分割方法、系统及电子设备
GB2586157A (en) System and method for performing 3D imaging of an object
CN109859314A (zh) 三维重建方法、装置、电子设备和存储介质
Zha et al. A real-time global stereo-matching on FPGA
Yuan et al. Sed-mvs: Segmentation-driven and edge-aligned deformation multi-view stereo with depth restoration and occlusion constraint
Xian et al. Any-shot gin: Generalizing implicit networks for reconstructing novel classes
CN110310220A (zh) 一种半全局实时立体匹配方法
Fan et al. Tdcnet: Transparent objects depth completion with cnn-transformer dual-branch parallel network
Akin et al. Dynamically adaptive real-time disparity estimation hardware using iterative refinement
Watanabe et al. Multichannel semantic segmentation with unsupervised domain adaptation
CN108665406A (zh) 一种硬件加速器的加速方法
CN108550102A (zh) 一种硬件加速器
Ge et al. Depth estimation using a sliding camera
CN118608752A (zh) 一种3d物体定位方法及系统、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant