CN106986272B - 一种基于机器视觉跟踪的集装箱货柜车防吊起方法及系统 - Google Patents

一种基于机器视觉跟踪的集装箱货柜车防吊起方法及系统 Download PDF

Info

Publication number
CN106986272B
CN106986272B CN201710104528.7A CN201710104528A CN106986272B CN 106986272 B CN106986272 B CN 106986272B CN 201710104528 A CN201710104528 A CN 201710104528A CN 106986272 B CN106986272 B CN 106986272B
Authority
CN
China
Prior art keywords
tracking
frame
target
container
container truck
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710104528.7A
Other languages
English (en)
Other versions
CN106986272A (zh
Inventor
郑智辉
唐波
张聪
韦海萍
高仕博
肖利平
张辉
周斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Aerospace Automatic Control Research Institute
Original Assignee
Beijing Aerospace Automatic Control Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Aerospace Automatic Control Research Institute filed Critical Beijing Aerospace Automatic Control Research Institute
Priority to CN201710104528.7A priority Critical patent/CN106986272B/zh
Publication of CN106986272A publication Critical patent/CN106986272A/zh
Application granted granted Critical
Publication of CN106986272B publication Critical patent/CN106986272B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/18—Control systems or devices
    • B66C13/48—Automatic control of crane drives for producing a single or repeated working cycle; Program control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/16—Applications of indicating, registering, or weighing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C15/00—Safety gear
    • B66C15/06—Arrangements or use of warning devices
    • B66C15/065—Arrangements or use of warning devices electrical
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C2700/00—Cranes
    • B66C2700/08—Electrical assemblies or electrical control devices for cranes, winches, capstans or electrical hoists
    • B66C2700/084—Protection measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于机器视觉跟踪的集装箱货柜车防吊起系统，包括轮胎吊、摄像头、货柜车、集装箱、视频报警机、中控室控制设备，摄像头安装于所述轮胎吊底部支架，高度与所述货柜车的车架平齐，摄像头的视场垂直于货柜车行驶方向；摄像头向视频报警机输入跟踪获得的视频图像，视频报警机采用基于快速傅立叶变化在线学习的跟踪算法对获得的视频图像进行处理，当判定货柜车被吊起时，向中控室控制设备发出报警信号。该系统能够自动检测集装箱与货柜车是否分离，从而避免人为失误将集装箱货柜车误吊起，实现对箱区堆场作业的安全预控。

Description

一种基于机器视觉跟踪的集装箱货柜车防吊起方法及系统
技术领域
本发明属于集装箱货柜车智能防吊起技术领域，具体涉及一种基于机器视觉跟踪的集装箱卡车自主跟踪与防吊起预警方法。
背景技术
随着全球集装箱运输的飞速发展，现代集装箱码头及堆场的作业越来越繁忙，工作环境越来越复杂。目前集装箱的起吊通常利用龙门吊或者轮胎吊，由于集装箱装卸作业的特殊性，在装卸过程中时常发生由于货柜车锁销未完全打开而将货柜车被集装箱一并带起的事件。在堆场上利用轮胎吊进行集装箱吊装作业时，一般情况下可以分为以下三种工况：(1)集装箱和货柜车分离，此时，集装箱和货柜车之间存在较为均匀的间隙，称之为“完全分离状态”；(2)集装箱和货柜车部分分离，即集装箱的一端与货柜车分离，而另一端未分离，此时，集装箱和货柜车之间存在一定的间隙，但是呈一边大一边小的三角形间隙，称之为“不完全分离状态”或“单边分离状态”；(3)集装箱和货柜车两端均未分离，此时集装箱和货柜车之间基本无间隙，称之为“完全不分离状态”。对于第(2)和第(3)种工况，严重时会导致损坏集装箱和卡车，甚至会发生司机伤亡事故。
为了防止货柜车和集装箱一并带起的事故发生，码头及堆场通常采用摄像头摄像技术，轮胎吊司机通过司机室显示器监视集装箱与卡车的分离状况，起吊操作员通过话务机与司机沟通现场情况，靠人为操作避免事故的发生，即完全通过“人防”来避免事故的发生。当前，集装箱码头堆场面积大，作业车种多且车况复杂，对于大型的作业场地而言，机械设备的调配和管理非常重要，靠人容易引起疲劳和疏忽，而依靠传统无线对讲机来下达作业指令和传递生产信息存在诸多不便，极大地影响了作业效率。显然，当前的“人防”措施已经无法有效避免上述事故的发生。
由此，为了应对日益繁重和复杂的集装箱运输行业，需要一种基于机器视觉自动检测集装箱与货柜车是否分离，并在未分离情况下自动或者提示停止起升机构动作的“技防”措施，避免货柜车和集装箱一并带起的事故发生。
发明内容
本发明所要解决的技术问题是，研究提出一种基于机器视觉跟踪的集装箱货柜车自主跟踪与防吊起预警方法，对货柜车行驶区域进行实时监视，并对潜在的吊起事故发出报警信号，能够有效防止堆场集装箱货柜车被吊起事故的发生，以适应日益复杂和繁重的集装箱运输行业。
本发明公开了一种基于机器视觉跟踪的集装箱货柜车防吊起方法，包括以下步骤：
步骤一、摄像头采集当前时刻t视频图像，获取集装箱货柜车对应区域视频图像，确定所述视频图像的宽度和高度；
步骤二、选定摄像头视场中图像下半部分为跟踪感兴趣区域，将跟踪感兴趣区域中划定若干个跟踪子区，跟踪子区个数为不小于3个的奇数；各跟踪子区均为矩形，其位置满足设定的拓扑关系；
步骤三、摄像头采集下一时刻t+1的视频图像，视频报警机对所述步骤二中的各个子区采用基于快速傅立叶变化在线学习的跟踪算法，估计各个子区目标外形框的位置；
步骤四、判断各子区的跟踪结果，是否有一半以上子区的垂直向上运动超过N个像素；若是，则判定货柜车车架被吊起；若否，则判定货柜车车架没有被吊起，继续以T秒时间为间隔，各个子区自动按照步骤二重置，并重复步骤三至步骤四；
步骤五、若判定货柜车车架被吊起，则视频报警机向中控室控制设备发出预警信号，提醒吊车司机暂停吊起动作；否则，吊车司机按照程序完成正常起吊；
其中，所述摄像头视场垂直于货柜车行驶方向，所述摄像头向视频报警机输入跟踪获得的视频图像；t＝1,2,3,...,M，M为跟踪视频帧总数，N为像素个数，T为设定的视频图像采集的时间间隔。
优选地，所述步骤二中划定的跟踪子区数量为3个。
优选地，所述步骤二中选定跟踪感兴趣区域的方法为：
1)获取视频图像序列第t帧图像，以矩形框T_Region表示跟踪感兴趣区域，其中T_Region用四个元素表示，分别为左上角点横坐标T_Region.x，左上角点纵坐标T_Region.y，矩形框宽度T_Region.width，矩形框高度T_Region.height；
2)跟踪矩形框T_Region中包含集装箱货车车架部分的目标区域；所述目标区域的选取规则如下：
左上角点横坐标T_Region.x＝0，
左上角点纵坐标
矩形框宽度T_Region.width＝image.width，
矩形框高度
其中，image.width为所述第t帧图像的宽度，image.height为所述第t帧图像的高度；
3)跟踪子区box_1的中心点为(x1,y1)，跟踪子区box_2的中心点为(x2,y2)，跟踪子区box_3的中心点为(x3,y3)，各跟踪子区的宽度或高度均取为跟踪子区的宽度占视频图像宽度的比例或者跟踪子区的高度占视频图像高度的比例；
4)三个子区位置拓扑关系选取规则为：
x2＝0.5*image.width，
y2＝T_Region.y+0.5*T_Region.height,
为跟踪子区的宽度占视频图像宽度的比例或者跟踪子区的高度占视频图像高度的比例；q为三个跟踪子区重叠区域的像素个数。
优选地，所述步骤三中基于快速傅立叶变化在线学习的目标跟踪方法为：
(1)对跟踪目标区域进行初始化；
(2)根据第t帧目标跟踪结果，构建第t帧跟踪目标的上下文先验概率模型P(c(z)|o)；
(3)根据第t帧目标跟踪结果，构建第t帧跟踪目标的置信度分布图c(z)；
(4)构建第t帧跟踪目标的空间上下文模型
(5)根据第t帧目标跟踪结果，计算第t+1帧视频图像数据进行目标跟踪，获取跟踪目标在当前帧中的位置坐标其中t＝1,2,3,...,M-1，M为跟踪视频图像帧数。
优选地，所述对跟踪目标区域进行初始化的方法为：
(1)获得视频图像序列第t帧图像，初始化跟踪目标区域的位置；
(2)根据初始化结果确定跟踪目标上下文相关区域Context_Region；
(3)定义汉宁窗口矩阵Mhmwindow；
(4)初始化尺寸因子σt和尺度变换参数st。
优选地，所述获取目标在当前帧中的位置坐标的方法为：
(1)依据第t+1帧图像构建跟踪目标上下文先验概率模型P(c(z)|o)；
(2)构建第t+1帧跟踪目标的时空上下文模型
(3)构建第t+1帧跟踪目标的置信度分布图ct+1(z)；
(4)计算第t+1帧跟踪目标的位置点坐标
(5)更新尺寸因子σt；
(6)更新第t+1帧跟踪目标的空间上下文模型
优选地，所述跟踪目标上下文先验模型P(c(z)|o)的计算方法为：
其中I(z)表示跟踪目标区域T_Region的像素灰度值经过去均值处理，并乘以汉宁窗矩阵得到，z表示T_Region中的像素坐标，表示矩阵乘法运算，
I(z)＝I(z)-mean(I(z))
其中x*为跟踪目标中心点坐标，mean(·)表示图像均值，a为归一化参数，其取值为
优选地，所述目标区域的置信度分布图c(z)的计算方法为：
其中b为归一化参数，其取值为
优选地，所述空间上下文模型的计算方法为：
优选地，所述t+1帧跟踪目标的时空上下文模型的计算方法为：
其中ρ为学习因子。
优选地，所述t+1帧跟踪目标的置信度分布图ct+1(z)计算方法为：
优选地，所述t+1帧跟踪目标的位置点坐标计算方法为：
优选地，所述更新尺寸因子σt的计算方法为：
其中是第t帧跟踪目标的置信度分布图，s′t是依据连续的两帧跟踪图像估计的目标尺度，用第t帧和第t-1帧目标置信度计算结果的比值表示；是依据连续的最近n帧跟踪图像估计的目标尺度的平均值，st+1是依据新一帧跟踪图像估计的目标尺度，λ＞0是设定的固定值滤波参数。
优选地，更新第t+1帧跟踪目标的空间上下文模型计算方法为：
本发明还公开了一种基于机器视觉跟踪的集装箱货柜车防吊起系统，包括轮胎吊、摄像头、货柜车、集装箱、视频报警机、中控室控制设备，其特征在于：所述摄像头安装于所述轮胎吊底部支架，高度与所述货柜车的车架平齐，所述摄像头的视场垂直于货柜车行驶方向；所述摄像头向所述视频报警机输入跟踪获得的视频图像，所述视频报警机采用基于快速傅立叶变化在线学习的跟踪算法对获得的视频图像进行处理，当判定货柜车被吊起时，向中控室控制设备发出报警信号。
本发明的有益效果如下：
(1)本发明公开的基于机器视觉跟踪的集装箱货柜车自主跟踪与防吊起预警方法，基于快速傅立叶变化在线学习的跟踪算法实时监视、获取和处理堆场作业区的视频图像，实现了“人防”到“技防”的重大改进，能够有效避免人为误操作引起的集装箱货柜车被吊起事故的发生；
(2)本发明公开的基于机器视觉跟踪的集装箱货柜车自主跟踪与防吊起预警方法，采用基于快速傅立叶变化在线学习的跟踪算法，将堆场中跟踪感兴趣区域划分为多个子区，针对多个子区的跟踪结果进行比对，能够实现对堆场作业区的全面、无死角监控，同时确保报警结果的准确性。
附图说明
图1是本发明中基于机器视觉跟踪的集装箱货柜车防吊起系统示意图；
其中，(a)为系统正视图，(b)为系统全场景示意图，(c)为系统设备布局示意图；
1—第一摄像头、2—第二摄像头、3—货柜车、4—第一视频报警机、5—第二视频报警机、6—中控室、7—控制设备、8—轮胎吊、9—轮胎吊底部支架、10—货柜车车架、11—集装箱，9-1为轮胎吊底部支架的左端、9-2为轮胎吊底部支架的右端；
图2是本发明中基于机器视觉跟踪的集装箱货柜车防吊起方法示意图；
图3是本发明中机器视觉跟踪区域及多子区视频跟踪示意图。
具体实施方式
为了本发明的目的、技术方案及优点更加清楚明白，下面结合附图和具体实施方式对本发明的技术方案做进一步详细说明。
如图1(a)、1(b)、1(c)、图2所示，基于机器视觉跟踪的集装箱货柜车自主跟踪与防吊起预警方法包括以下步骤：
步骤一、第一摄像头1、第二摄像头2采集当前时刻t视频图像，获取集装箱货柜车3所对应视场的视频图像，其中image.width为所述视频图像宽度，image.height为所述视频图像高度。
步骤二、如图3所示，选定视场中图像下半部分为跟踪感兴趣区域，在跟踪感兴趣区域中划定跟踪子区box_1，box_2和box_3。三个子区均为正方形，其位置满足设定的拓扑关系。对跟踪目标区域进行初始化。具体方法为：
(1)获取视频图像序列第t帧图像，以矩形框T_Region表示跟踪感兴趣区域，其中T_Region用四个元素表示，分别为左上角点横坐标T_Region.x，左上角点纵坐标T_Region.y，矩形框宽度T_Region.width，矩形框高度T_Region.height。矩形框T_Region应包含集装箱货车车架10部分的目标区域。
(2)跟踪矩形框T_Region中应包含集装箱货车车架10部分的目标区域。所述目标区域的选取规则如下：
左上角点横坐标T_Region.x＝0，
左上角点纵坐标本实施例中M取2；
矩形框宽度T_Region.width＝image.width，
矩形框高度本实施例中取N取2。
(3)跟踪子区box_1的中心点为(x1,y1)，跟踪子区box_2的中心点为(x2,y2)，跟踪子区box_3的中心点为(x3,y3)，各跟踪子区的宽和高均取为跟踪子区的宽度占视频图像宽度的比例或者跟踪子区的高度占视频图像高度的比例。本实施例中取P＝10。
(4)三个子区位置拓扑关系选取规则为：
x2＝0.5*image.width，
y2＝T_Region.y+0.5*T_Region.height,
为跟踪子区的宽度占视频图像宽度的比例或者跟踪子区的高度占视频图像高度的比例；q为三个跟踪子区重叠区域的像素个数，本实施例中取q＝10。
步骤三、对步骤二中的每个子区采用基于快速傅立叶变化在线学习的目标跟踪方法，估计三子区目标外形框的位置。以box1为例说明基于快速傅立叶变化在线学习的目标跟踪方法，box2和box3采用相同的跟踪方法。具体方法为：
(1)获取视频图像序列第t帧图像，以矩形框Target_Region表示子区box1，其中Target_Regi用四个元素表示，分别为左上角点横坐标Target_Region.x，左上角点纵坐标Target_Region.y，矩形框宽度Target_Region，矩形框高度Target_Region.height。
该目标区域中心点坐标为centerPoint，其横坐标为：
centerPoint.x＝Target_Region.x+Target_Region.width*0.5
纵坐标为：
centerPoint.y＝Target_Region.y+Target_Region.height*0.5。
(2)根据矩形框Target_Region确定跟踪目标上下文相关区域Context_Region。本实施例中选取Conte_xt R的长和宽分别为Target_Reg的2倍，中心点与目标矩形框Target_Region中心点重合。即其宽为：
Context_Region.width＝Target_Region.width*2
高为：
Context_Region.height＝Target_Region.height*2
则其左上角点横坐标为：
Context_Region.x＝centerPoint.x-Context_Region.width*0.5
其左上角点纵坐标为：
Context_Region.y＝centerPoint.y-Context_Region.height*0.5
(3)定义汉宁窗口矩阵，以减少图像边缘对傅立叶变换带来的频率影响。汉宁窗以Mhmwindow表示，其宽和高和Context_Region一致，即
hmwindow.width＝Context_Region.width
hmwindow.height＝Context_Region.height
汉宁窗矩阵中各位置的定义如下：
hmwindow(i,j)＝
(0.54-0.46*cos(2*π*i/hmwindow.height))*(0.54-0.46*cos(2*π*j/hmwindow.width))
其中，i＝0,1,2,...,hmwindow.height-1,j＝0,1,2,...,hmwindow.width-1，π取3.14。
(4)初始化尺寸因子σt＝(T_Region.width+T_Region.height)*0.5，尺度变换参数st＝1。
(5)获取跟踪目标上下文先验概率模型
其中It(z)由目标区域T_Region的像素灰度值经过去均值处理，并乘以汉宁窗矩阵得到：
It(z)＝It(z)-mean(It(z))
其中z表示Target_Region中的像素坐标，表示矩阵乘法运算，x*为跟踪目标中心点坐标，即centerPoint。a为归一化参数，其取值为：
(6)获取跟踪目标置信度分布图
其中b为归一化参数，其取值为：
本实施例中α取2.25，β取1。
(7)建立跟踪目标空间上下文模型
其中F(·)表示快速傅立里叶变换运算，F-1(·)表示快速傅立叶逆变换运算。
(8)根据第t帧目标跟踪结果，获取第t+1帧视频图像数据，并计算第t+1帧视频图像数据进行目标跟踪，获取跟踪目标在当前帧中的位置坐标其中t＝1,2,3,...,M，M为跟踪视频帧总数。具体方法如下：
1)获取跟踪目标上下文先验概率模型
具体方法同步骤三(5)。
2)建立t+1帧跟踪目标的时空上下文模型
其中ρ为学习因子，本实施例中ρ取0.075。
3)计算t+1帧跟踪目标的置信度分布图ct+1(z)，计算方法为
其中·表示点乘操作。
4)计算t+1帧图像中跟踪目标位置点坐标为
5)更新尺寸因子σt，计算方法为：
其中，是第t帧跟踪目标的置信度分布图，st是依据连续的两帧跟踪图像估计的目标尺度，用第t帧和第t-1帧目标置信度计算结果的比值表示；是依据连续的最近n帧跟踪图像估计的目标尺度的平均值，st+1是依据新一帧跟踪图像估计的目标尺度。为了防止产生过度适应问题和减少由估计误差引起的噪音污染，采用滤波方法来估计新一帧中目标的尺寸，λ＞0是设定的固定值滤波参数。
6)更新t+1帧跟踪目标的空间上下文模型
步骤四、判定三子区跟踪结果，如果有两个或者两个以上的垂直向上运动超过N个像素，则判定货柜车车架4被吊起。否则，判定货柜车车架4没有被吊起。以T秒时间为间隔，即每隔T秒，每个子区自动按照步骤二重置。本实施例中N取10，T取5。
步骤五、若判定货柜车车架4被吊起，则向中控室控制设备7发出预警信号，提醒吊车司机暂停吊起动作，并与货柜车司机沟通现场情况。否则，吊车司机按照程序完成正常起吊。
在跟踪感兴趣区域中划定跟踪子区时，子区个数为不小于3个的奇数，以便于进行跟踪结果的判定，有效避免集装箱货柜车吊起现象发生。本实施例中将待跟踪感兴趣区域划分为3个，这时候系统运行效率最高。
一种基于机器视觉跟踪的集装箱货柜车自主跟踪与防吊起预警系统，通过第一摄像头1、第二摄像头2对货柜车3行驶区域进行实时跟踪，当发现货柜车3向上运动时，说明货柜车3已经连同集装箱11被吊起，则第一视频报警机4、第二视频报警机5发出报警信号，通过中控室6控制设备7通知吊车司机及时停止起吊，从而防止事故发生。其中，第一摄像头1、第一摄像头2安装于轮胎吊8底部支架9的左端9-1和右端9-2，高度与货柜车车架10平齐，视场垂直于货柜车3行驶方向，第一摄像头1、第二摄像头2分别向第一视频报警机4、第二视频报警机5输入跟踪获得的视频图像。所述第一视频报警机4、第二视频报警机5采用基于快速傅立叶变化在线学习的跟踪算法对获得的视频图像进行处理，当判定货柜车被吊起时，向中控室控制设备7发出报警信号，提醒吊车司机暂停吊起动作，并与货柜车司机沟通现场情况。否则，吊车司机按照程序完成正常起吊。
本发明公开的集装箱货柜车自主跟踪与防吊起预警方法，采用基于快速傅立叶变化在线学习的跟踪算法，能够对堆场作业区进行实时、全面的监控，同时进行准确的进行信息处理和判定，实现了“人防”到“技防”的重大改进，能够有效避免人为误操作引起的集装箱货柜车被吊起事故的发生。
显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明要求保护的范围。

Claims (15)

1.一种基于机器视觉跟踪的集装箱货柜车防吊起方法，包括以下步骤：
步骤一、摄像头采集当前时刻t视频图像，获取集装箱货柜车对应区域视频图像，确定所述视频图像的宽度和高度；
步骤二、选定摄像头视场中图像下半部分为跟踪感兴趣区域，将跟踪感兴趣区域中划定若干个跟踪子区，跟踪子区个数为不小于3个的奇数；各跟踪子区均为矩形，其位置满足设定的拓扑关系；
步骤三、摄像头采集下一时刻t+1的视频图像，视频报警机对所述步骤二中的各个子区采用基于快速傅立叶变化在线学习的跟踪算法，估计各个子区目标外形框的位置；
步骤四、判断各子区的跟踪结果，是否有一半以上子区的垂直向上运动超过N个像素；若是，则判定货柜车车架被吊起；若否，则判定货柜车车架没有被吊起，继续以T秒时间为间隔，各个子区自动按照步骤二重置，并重复步骤三至步骤四；
步骤五、若判定货柜车车架被吊起，则视频报警机向中控室控制设备发出预警信号，提醒吊车司机暂停吊起动作；否则，吊车司机按照程序完成正常起吊；
其中，所述摄像头视场垂直于货柜车行驶方向，所述摄像头向视频报警机输入跟踪获得的视频图像；t＝1,2,3,...,M，M为跟踪视频帧总数，N为像素个数，T为设定的视频图像采集的时间间隔。
2.根据权利要求1所述的集装箱货柜车防吊起方法，其特征在于，所述步骤二中划定的跟踪子区数量为3个。
3.根据权利要求2所述的集装箱货柜车防吊起方法，其特征在于，所述步骤二中选定跟踪感兴趣区域的方法为：
1)获取视频图像序列第t帧图像，以矩形框T_Region表示跟踪感兴趣区域，其中T_Region用四个元素表示，分别为左上角点横坐标T_Region.x，左上角点纵坐标T_Region.y，矩形框宽度T_Region.width，矩形框高度T_Region.height；
2)跟踪矩形框T_Region中包含集装箱货车车架部分的目标区域；所述目标区域的选取规则如下：
左上角点横坐标T_Region.x＝0，
左上角点纵坐标
矩形框宽度T_Region.width＝image.width，
矩形框高度
其中，image.width为所述第t帧图像的宽度，image.height为所述第t帧图像的高度；
3)跟踪子区box_1的中心点为(x1,y1)，跟踪子区box_2的中心点为(x2,y2)，跟踪子区box_3的中心点为(x3,y3)，各跟踪子区的宽度或高度均取 为跟踪子区的宽度占视频图像宽度的比例或者跟踪子区的高度占视频图像高度的比例；
4)三个子区位置拓扑关系选取规则为：
x2＝0.5*image.width，
y2＝T_Region.y+0.5*T_Region.height,
为跟踪子区的宽度占视频图像宽度的比例或者跟踪子区的高度占视频图像高度的比例；q为三个跟踪子区重叠区域的像素个数。
4.根据权利要求2或3任一所述的集装箱货柜车防吊起方法，其特征在于，所述步骤三中基于快速傅立叶变化在线学习的目标跟踪方法为：
(1)对跟踪目标区域进行初始化；
(2)根据第t帧目标跟踪结果，构建第t帧跟踪目标的上下文先验概率模型P(c(z)|o)；
(3)根据第t帧目标跟踪结果，构建第t帧跟踪目标的置信度分布图c(z)；
(4)构建第t帧跟踪目标的空间上下文模型
(5)根据第t帧目标跟踪结果，计算第t+1帧视频图像数据进行目标跟踪，获取跟踪目标在当前帧中的位置坐标其中t＝1,2,3,...,M-1，M为跟踪视频图像帧数。
5.根据权利要求4所述的集装箱货柜车防吊起方法，其特征在于，所述对跟踪目标区域进行初始化的方法为：
(1)获得视频图像序列第t帧图像，初始化跟踪目标区域的位置；
(2)根据初始化结果确定跟踪目标上下文相关区域Context_Region；
(3)定义汉宁窗口矩阵Mhmwindow；
(4)初始化尺寸因子σt和尺度变换参数st。
6.根据权利要求4所述的集装箱货柜车防吊起方法，其特征在于，所述获取目标在当前帧中的位置坐标的方法为：
(1)依据第t+1帧图像构建跟踪目标上下文先验概率模型P(c(z)|o)；
(2)构建第t+1帧跟踪目标的时空上下文模型
(3)构建第t+1帧跟踪目标的置信度分布图ct+1(z)；
(4)计算第t+1帧跟踪目标的位置点坐标
(5)更新尺寸因子σt；
(6)更新第t+1帧跟踪目标的空间上下文模型
7.根据权利要求4所述的集装箱货柜车防吊起方法，其特征在于，所述跟踪目标上下文先验模型P(c(z)|o)的计算方法为：
其中I(z)表示跟踪目标区域T_Region的像素灰度值经过去均值处理，并乘以汉宁窗矩阵得到，z表示T_Region中的像素坐标，表示矩阵乘法运算，
I(z)＝I(z)-mean(I(z))
其中x*为跟踪目标中心点坐标，mean(·)表示图像均值，a为归一化参数，其取值为
8.根据权利要求4所述的集装箱货柜车防吊起方法，其特征在于，所述目标区域的置信度分布图c(z)的计算方法为：
其中b为归一化参数，其取值为
9.根据权利要求4所述的集装箱货柜车防吊起方法，其特征在于，所述空间上下文模型的计算方法为：
10.根据权利要求6所述的集装箱货柜车防吊起方法，其特征在于，所述t+1帧跟踪目标的时空上下文模型的计算方法为：
其中ρ为学习因子。
11.根据权利要求6所述的集装箱货柜车防吊起方法，其特征在于，所述t+1帧跟踪目标的置信度分布图ct+1(z)计算方法为：
12.根据权利要求6所述的集装箱货柜车防吊起方法，其特征在于，所述t+1帧跟踪目标的位置点坐标计算方法为：
13.根据权利要求6所述的集装箱货柜车防吊起方法，其特征在于，所述更新尺寸因子σt的计算方法为：
其中是第t帧跟踪目标的置信度分布图，st是依据连续的两帧跟踪图像估计的目标尺度，用第t帧和第t-1帧目标置信度计算结果的比值表示；是依据连续的最近n帧跟踪图像估计的目标尺度的平均值，st+1是依据新一帧跟踪图像估计的目标尺度，λ＞0是设定的固定值滤波参数。
14.根据权利要求6所述的集装箱货柜车防吊起方法，其特征在于，更新第t+1帧跟踪目标的空间上下文模型计算方法为：
15.一种基于机器视觉跟踪的集装箱货柜车防吊起系统，包括轮胎吊、摄像头、货柜车、集装箱、视频报警机、中控室控制设备，其特征在于：所述摄像头安装于所述轮胎吊底部支架，高度与所述货柜车的车架平齐，所述摄像头的视场垂直于货柜车行驶方向；所述摄像头向所述视频报警机输入跟踪获得的视频图像，所述视频报警机采用基于快速傅立叶变化在线学习的跟踪算法对获得的视频图像进行处理，当判定货柜车被吊起时，向中控室控制设备发出报警信号。
CN201710104528.7A 2017-02-24 2017-02-24 一种基于机器视觉跟踪的集装箱货柜车防吊起方法及系统 Active CN106986272B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710104528.7A CN106986272B (zh) 2017-02-24 2017-02-24 一种基于机器视觉跟踪的集装箱货柜车防吊起方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710104528.7A CN106986272B (zh) 2017-02-24 2017-02-24 一种基于机器视觉跟踪的集装箱货柜车防吊起方法及系统

Publications (2)

Publication Number Publication Date
CN106986272A CN106986272A (zh) 2017-07-28
CN106986272B true CN106986272B (zh) 2018-05-22

Family

ID=59412488

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710104528.7A Active CN106986272B (zh) 2017-02-24 2017-02-24 一种基于机器视觉跟踪的集装箱货柜车防吊起方法及系统

Country Status (1)

Country Link
CN (1) CN106986272B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107527347B (zh) * 2017-10-11 2020-01-14 南京大学 基于计算机视觉图像处理的港口集装箱起吊安全监测方法
CN108711174B (zh) * 2018-04-13 2021-12-07 北京航天自动控制研究所 一种机械臂近似平行视觉定位系统
CN110874544B (zh) * 2018-08-29 2023-11-21 宝钢工程技术集团有限公司 冶金行车安全监控识别方法
CN109335964B (zh) * 2018-09-21 2020-05-12 北京航天自动控制研究所 一种集装箱旋锁检测系统及检测方法
CN109523553B (zh) * 2018-11-13 2022-10-18 华际科工（北京）卫星通信科技有限公司 一种基于lsd直线检测分割算法的集装箱异动监测方法
CN109534177A (zh) * 2019-01-10 2019-03-29 上海海事大学 一种基于机器视觉的集卡防吊起装置及集卡防吊起方法
CN109775569B (zh) * 2019-03-29 2020-06-19 三一海洋重工有限公司 一种集装箱分离确定的方法及装置
CN109949358A (zh) * 2019-03-29 2019-06-28 三一海洋重工有限公司 一种集装箱卡车起吊状态的检测方法和检测装置
CN111027538A (zh) * 2019-08-23 2020-04-17 上海撬动网络科技有限公司 一种基于实例分割模型的集装箱检测方法
CN111539344B (zh) * 2020-04-27 2024-09-06 北京国泰星云科技有限公司 基于视频流及人工智能的集卡防吊起控制系统及方法
CN111832415B (zh) * 2020-06-15 2023-12-26 航天智造（上海）科技有限责任公司 一种用于集装箱吊装作业的卡车安全智能保护系统
ES2981071T3 (es) * 2020-07-06 2024-10-07 Cargotec Finland Oy Procedimiento y aparato para el posicionamiento relativo de un esparcidor
CN112183264B (zh) * 2020-09-17 2023-04-21 国网天津静海供电有限公司 一种基于空间关系学习的吊车吊臂下有人逗留的判断方法
CN112784725B (zh) * 2021-01-15 2024-06-07 北京航天自动控制研究所 行人防撞预警方法、设备、存储介质及堆高机
CN114465148B (zh) * 2022-03-29 2024-09-27 山东通源电气有限公司 一种防止误吊集装箱式变电站的方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08119574A (ja) * 1994-10-25 1996-05-14 Mitsubishi Heavy Ind Ltd 吊荷の振れ検出装置
CN102456129B (zh) * 2010-10-26 2017-11-14 同方威视技术股份有限公司 一种安检图像纠偏方法和系统
CN104754302B (zh) * 2015-03-20 2017-08-08 安徽大学 一种基于枪球联动系统的目标检测跟踪方法
CN106210616A (zh) * 2015-05-04 2016-12-07 杭州海康威视数字技术股份有限公司 集装箱图像信息的采集方法、装置和系统
CN106412501B (zh) * 2016-09-20 2019-07-23 华中科技大学 一种视频的施工安全行为智能监控系统及其监控方法
CN106254839A (zh) * 2016-09-30 2016-12-21 湖南中铁五新重工有限公司 集装箱卡车防吊起方法及装置

Also Published As

Publication number Publication date
CN106986272A (zh) 2017-07-28

Similar Documents

Publication Publication Date Title
CN106986272B (zh) 一种基于机器视觉跟踪的集装箱货柜车防吊起方法及系统
CN113370977A (zh) 一种基于视觉的智能车辆前向碰撞预警方法及系统
CN114724093A (zh) 车辆违停识别方法以及相关设备
CN111626275B (zh) 一种基于智能视频分析的异常停车检测方法
CN106339677B (zh) 一种基于视频的铁路货车洒落物自动检测方法
CN109506628A (zh) 一种基于深度学习的卡车环境下目标物测距方法
US20240281954A1 (en) Video analytics for industrial floor setting
JP4156084B2 (ja) 移動物体追跡装置
CN111178119A (zh) 路口状态检测方法、装置、电子设备及车辆
WO2014073571A1 (ja) 自走式産業機械の画像処理装置および自走式産業機械の画像処理方法
CN111160321A (zh) 一种电瓶车上梯检测与预警系统
CN113963328A (zh) 基于全景监控视频分析的道路交通状态检测方法及装置
CN110147748A (zh) 一种基于道路边缘检测的移动机器人障碍物识别方法
CN111507126A (zh) 一种驾驶辅助系统的报警方法、装置及电子设备
CN119160786A (zh) 一种用于桥式起重机安全控制方法及系统
CN114078326A (zh) 碰撞检测方法、装置、视觉传感器和存储介质
CN107527347A (zh) 基于计算机视觉图像处理的港口集装箱起吊安全监测方法
CN116958942A (zh) 一种基于人工智能的叉车违规载人判定方法
Melo et al. Viewpoint independent detection of vehicle trajectories and lane geometry from uncalibrated traffic surveillance cameras
CN115690158A (zh) 关下关路安全预警方法、装置、系统及存储介质
WO2025232925A1 (zh) 一种车辆监控方法、装置、设备及存储介质
CN109747644A (zh) 车辆跟踪防撞预警方法、装置、控制器、系统及车辆
CN102314692A (zh) 基于历史图像的大型车辆盲区预警方法
EP3276529A1 (en) Efficient smoke detection based on video data processing
CN117292202B (zh) 钢卷对中识别方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant