CN119896245B - 超声刀辅助禽胴体多部位柔性仿人切分装置及方法 - Google Patents

超声刀辅助禽胴体多部位柔性仿人切分装置及方法

Info

Publication number
CN119896245B
CN119896245B CN202510017952.2A CN202510017952A CN119896245B CN 119896245 B CN119896245 B CN 119896245B CN 202510017952 A CN202510017952 A CN 202510017952A CN 119896245 B CN119896245 B CN 119896245B
Authority
CN
China
Prior art keywords
cutting
carcass
poultry
guide rail
poultry carcass
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202510017952.2A
Other languages
English (en)
Other versions
CN119896245A (zh
Inventor
张春晖
魏文松
李侠
王智泽
赵洪涛
胡小佳
乔真
艾鑫
孙胜斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Jianhua Food Machinery Manufacture Co ltd
Zibo Digital Agriculture And Rural Research Institute
Institute of Food Science and Technology of CAAS
Original Assignee
Qingdao Jianhua Food Machinery Manufacture Co ltd
Zibo Digital Agriculture And Rural Research Institute
Institute of Food Science and Technology of CAAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Jianhua Food Machinery Manufacture Co ltd, Zibo Digital Agriculture And Rural Research Institute, Institute of Food Science and Technology of CAAS filed Critical Qingdao Jianhua Food Machinery Manufacture Co ltd
Priority to CN202510017952.2A priority Critical patent/CN119896245B/zh
Publication of CN119896245A publication Critical patent/CN119896245A/zh
Application granted granted Critical
Publication of CN119896245B publication Critical patent/CN119896245B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A22BUTCHERING; MEAT TREATMENT; PROCESSING POULTRY OR FISH
    • A22CPROCESSING MEAT, POULTRY, OR FISH
    • A22C21/00Processing poultry
    • A22C21/0023Dividing poultry
    • AHUMAN NECESSITIES
    • A22BUTCHERING; MEAT TREATMENT; PROCESSING POULTRY OR FISH
    • A22CPROCESSING MEAT, POULTRY, OR FISH
    • A22C21/00Processing poultry
    • A22C21/0007Poultry shackles
    • AHUMAN NECESSITIES
    • A22BUTCHERING; MEAT TREATMENT; PROCESSING POULTRY OR FISH
    • A22CPROCESSING MEAT, POULTRY, OR FISH
    • A22C21/00Processing poultry
    • A22C21/0046Support devices
    • AHUMAN NECESSITIES
    • A22BUTCHERING; MEAT TREATMENT; PROCESSING POULTRY OR FISH
    • A22CPROCESSING MEAT, POULTRY, OR FISH
    • A22C21/00Processing poultry
    • A22C21/0053Transferring or conveying devices for poultry
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G35/00Mechanical conveyors not otherwise provided for
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/22Devices influencing the relative position or the attitude of articles during transit by conveyors
    • B65G47/24Devices influencing the relative position or the attitude of articles during transit by conveyors orientating the articles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three-dimensional [3D] modelling for computer graphics
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional [3D] objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Wood Science & Technology (AREA)
  • Zoology (AREA)
  • Food Science & Technology (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Analytical Chemistry (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Chemical & Material Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Processing Of Meat And Fish (AREA)

Abstract

本发明提供一种超声刀辅助禽胴体多部位柔性仿人切分装置及方法,涉及禽类原料肉前处理智能加工技术领域,装置包括:禽胴体在线循环输送模块,包括立式双轨环形导轨输送线和异型环形导轨;禽胴体多部位防偏移夹持模块,安装在立式双轨环形导轨输送线上,用于多点位固定禽胴体,通过切分工位后受异型环形导轨的作用控制夹具松开并分别收集禽胴体部位;禽胴体扫描成像与切割路径规划模块,用于对禽胴体进行扫描成像,根据扫描得到的图像数据生成切割路径规划指令集并发送至下位机;超声刀四维移动柔性仿人切分模块,包括下位机及四轴平台超声刀切分设备,下位机根据切割路径规划指令集,控制四轴平台超声刀切分设备对禽胴体多部位进行柔性仿人切分。

Description

超声刀辅助禽胴体多部位柔性仿人切分装置及方法
技术领域
本发明涉及禽类原料肉前处理智能加工技术领域,尤其涉及一种超声刀辅助禽胴体多部位柔性仿人切分装置及方法。
背景技术
随着菜肴工业化发展对原料肉前处理提出了更高的标准化要求,尤其对禽胴体如脖子、翅膀、腿等不同部位的精准切割切分已成为产业的迫切需要,而目前禽胴体多部位切割切分多采用人工辅助流水线的方式,存在劳动强度大、生产效率低、智能化程度低等问题,难以满足产业需求。
发明内容
针对现有技术存在的问题,本发明提供一种超声刀辅助禽胴体多部位柔性仿人切分装置及方法。
第一方面,本发明提供一种超声刀辅助禽胴体多部位柔性仿人切分装置,包括:
禽胴体在线循环输送模块,包括立式双轨环形导轨输送线和异型环形导轨;
禽胴体多部位防偏移夹持模块,安装在所述立式双轨环形导轨输送线上,用于多点位固定禽胴体各个部位,使所述禽胴体随着所述立式双轨环形导轨输送线依次移动至扫描工位和切分工位,并在通过所述切分工位后受所述异型环形导轨的作用控制夹具松开并分别收集所述禽胴体的各个部位;
禽胴体扫描成像与切割路径规划模块,包括扫描成像设备和与所述扫描成像设备连接的上位机,所述扫描成像设备用于对移动至所述扫描工位的所述禽胴体进行扫描成像,所述上位机用于根据扫描得到的图像数据对禽胴体多部位进行精准选域,生成所述禽胴体的多部位柔性切割路径规划指令集,并将所述多部位柔性切割路径规划指令集发送至超声刀四维移动柔性仿人切分模块的下位机;
所述超声刀四维移动柔性仿人切分模块,包括与所述上位机通信连接的所述下位机,以及由所述下位机控制的四轴平台超声刀切分设备,所述四轴平台超声刀切分设备包括四轴运动平台和搭载于所述四轴运动平台上的超声刀头,所述下位机用于根据接收的所述多部位柔性切割路径规划指令集,控制所述四轴平台超声刀切分设备对移动至所述切分工位的所述禽胴体的多部位进行柔性仿人切分。
在一些实施例中,所述异型环形导轨包括第一部位、第二部位和位于所述第一部位和所述第二部位之间的台阶,所述第一部位和所述第二部位均包括弧形段和平行直线段,且所述第一部位的平行直线段的间距大于所述第二部位的平行直线段的间距。
在一些实施例中,所述禽胴体多部位防偏移夹持模块包括:
用于承载所述禽胴体的托盘,所述托盘固定在所述立式双轨环形导轨输送线的滑座上,所述托盘包括位于中间的凹陷部位以及位于周边的四个支撑结构,所述四个支撑结构均朝向所述托盘外向下倾斜,夹具打开时便于分类收集所述禽胴体的各个部位,所述四个支撑结构用于承载所述禽胴体的四肢,所述托盘的外型根据所述禽胴体的轮廓设计;
支架,所述支架固定在所述立式双轨环形导轨输送线的滑座上,所述支架上安装有直线轴承;
位移调整板,立设于所述支架上;
压杆,所述压杆安装在所述位移调整板上,所述压杆的第一端设置有接触块,所述接触块在固定所述禽胴体时与所述禽胴体的四肢接触;
连杆,所述连杆穿过所述直线轴承,所述连杆的第一端与所述压杆的第二端连接,所述连杆的第二端与所述异型环形导轨连接并可沿所述异型环形导轨滑动,所述连杆的第二端位于所述异型环形导轨的所述第一部位时,抬升所述压杆的第二端,使所述压杆的第一端带动所述接触块下压,所述连杆的第二端由所述异型环形导轨的所述台阶过渡到所述第二部位时,拉低所述压杆的第二端,使所述压杆的第一端带动所述接触块上抬。
在一些实施例中,所述扫描成像设备包括三维线激光扫描仪和X光检测机。
在一些实施例中,所述根据扫描得到的图像数据对禽胴体多部位进行精准选域,生成所述禽胴体的多部位柔性切割路径规划指令集,包括:
利用目标检测模型对所述三维线激光扫描仪得到的禽胴体深度图像进行各切割部位的选域识别,根据识别结果和所述各切割部位的切割顺序,规划出所述超声刀头的切割路径,生成所述禽胴体的多部位柔性切割路径规划指令集;
其中,所述目标检测模型是基于带有切割部位识别标签的样本禽胴体深度图像训练得到的。
在一些实施例中,所述根据识别结果和所述各切割部位的切割顺序,规划出所述超声刀头的切割路径,包括:
根据识别结果、禽胴体切割位置内部关节的三维坐标以及所述各切割部位的切割顺序,规划出所述超声刀头的切割路径;
其中,所述禽胴体切割位置内部关节的三维坐标基于所述X光检测机得到的X光图像中禽胴体骨架结构的坐标标定得到。
在一些实施例中,所述目标检测模型为YOLO模型。
在一些实施例中,所述上位机还用于根据扫描得到的图像数据生成所述禽胴体的三维可视化轮廓。
在一些实施例中,所述根据扫描得到的图像数据生成所述禽胴体的三维可视化轮廓,包括:
根据所述三维线激光扫描仪得到的禽胴体深度图像进行三维重建,生成所述禽胴体的三维可视化轮廓。
第二方面,本发明还提供一种基于第一方面所述的超声刀辅助禽胴体多部位柔性仿人切分装置执行的切分方法,所述方法包括:
所述立式双轨环形导轨输送线启动,带动所述禽胴体多部位防偏移夹持模块上固定的禽胴体移动至扫描工位;
所述扫描成像设备对移动至所述扫描工位的所述禽胴体进行扫描成像,将扫描得到的图像数据发送至所述上位机,所述上位机根据所述图像数据对禽胴体多部位进行精准选域,生成所述禽胴体的多部位柔性切割路径规划指令集,并将所述多部位柔性切割路径规划指令集发送至所述下位机;
所述下位机根据接收的所述多部位柔性切割路径规划指令集,控制所述四轴平台超声刀切分设备对移动至切分工位的所述禽胴体的多部位进行柔性仿人切分,通过所述切分工位后在所述异型环形导轨的作用下所述夹具松开,所述禽胴体的各个部位进行分类收集。
本发明提供的超声刀辅助禽胴体多部位柔性仿人切分装置及方法,通过禽胴体在线循环输送模块将其他模块工位串联起来,起循环往复作用,大大提高了生产的效率,通过禽胴体多部位防偏移夹持模块实现了禽胴体多点位全自动防偏移夹持功能,通过禽胴体扫描成像与切割路径规划模块实现了自动根据扫描结果进行切割路径的精准规划,通过超声刀四维移动柔性仿人切分模块实现了禽胴体各个部位的精准柔性仿人切分,从而不仅能够有效解决目前禽胴体多部位切割切分所存在的劳动强度大、生产效率低、智能化程度低等问题,还能够进一步提高原料肉分切精度、分切效率、智能化水平,并降低损耗,对禽类加工智能化升级、促进肉类行业的产业升级也具有重大意义。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明提供的超声刀辅助禽胴体多部位柔性仿人切分装置的结构示意图。
图2是本发明提供的异型环形导轨示意图。
图3是本发明提供的禽胴体多部位防偏移夹持模块示意图。
图4是本发明提供的禽胴体三维可视化轮廓与柔性仿人切割路径规划实例图。
图5是本发明提供的四轴平台超声刀切分设备示意图。
图6是本发明提供的整体工作流程图。
图7是本发明提供的切分方法的流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明中术语“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本发明中术语“多个”是指两个或两个以上,其它量词与之类似。
本发明中术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换,以便本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”所区别的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。
下面结合图1-图7描述本发明的实施例。
图1是本发明提供的超声刀辅助禽胴体多部位柔性仿人切分装置的结构示意图,如图1所示,该装置包括禽胴体在线循环输送模块、禽胴体多部位防偏移夹持模块、禽胴体扫描成像与切割路径规划模块、以及超声刀四维移动柔性仿人切分模块。
其中,禽胴体在线循环输送模块,包括立式双轨环形导轨输送线和异型环形导轨。
禽胴体多部位防偏移夹持模块,安装在立式双轨环形导轨输送线上,用于多点位固定禽胴体各个部位,使禽胴体随着立式双轨环形导轨输送线依次移动至扫描工位和切分工位,并在通过切分工位后受异型环形导轨的作用控制夹具松开并分别收集禽胴体的各个部位。
禽胴体扫描成像与切割路径规划模块,包括扫描成像设备和与扫描成像设备连接的上位机,扫描成像设备用于对移动至扫描工位的禽胴体进行扫描成像,上位机用于根据扫描得到的图像数据对禽胴体多部位进行精准选域,生成禽胴体的多部位柔性切割路径规划指令集,并将多部位柔性切割路径规划指令集发送至超声刀四维移动柔性仿人切分模块的下位机。
超声刀四维移动柔性仿人切分模块,包括与上位机通信连接的下位机,以及由下位机控制的四轴平台超声刀切分设备,四轴平台超声刀切分设备包括四轴运动平台和搭载于四轴运动平台上的超声刀头,下位机用于根据接收的多部位柔性切割路径规划指令集,控制四轴平台超声刀切分设备对移动至切分工位的禽胴体的多部位进行柔性仿人切分。
具体地,禽胴体在线循环输送模块采用立式双轨环形导轨输送线将其他模块的工位串联起来,起循环往复作用,大大提高了生产的效率。
异型环形导轨用于辅助禽胴体多部位防偏移夹持模块实现对禽胴体多部位的固定和松开,上述夹具指的是用于固定禽胴体多部位的夹具。异型环形导轨为固定静止的导轨,也是双轨设计,与立式双轨环形导轨输送线一起安装在机架上。
在一些实施例中,异型环形导轨包括第一部位、第二部位和位于第一部位和第二部位之间的台阶,第一部位和第二部位均包括弧形段和平行直线段,且第一部位的平行直线段的间距大于第二部位的平行直线段的间距。
参照图2所示的异型环形导轨示意图,第一部位指的是台阶的左边部分,第二部位指的是台阶的右边部分,由于第一部位的平行直线段的间距大于第二部位的平行直线段的间距,所以第一部位的平行直线段过渡到第二部位的平行直线段时存在两个台阶,如图2中所示的上台阶和下台阶,当然,该台阶可以是直线过渡的台阶,也可以是弧线过渡的台阶,在此并不做限定。
禽胴体多部位防偏移夹持模块安装在立式双轨环形导轨输送线上,通过禽胴体多部位防偏移夹持模块对禽胴体进行多点位固定(例如分别固定禽胴体的四肢,四肢即两只翅膀和两条腿),使禽胴体能够随着立式双轨环形导轨输送线依次移动至扫描工位和切分工位。
参照图3所示的禽胴体多部位防偏移夹持模块示意图,在一些实施例中,禽胴体多部位防偏移夹持模块包括用于承载禽胴体的托盘、支架、位移调整板、压杆、连杆等部件。
其中,托盘固定在立式双轨环形导轨输送线的滑座上,托盘包括位于中间的凹陷部位以及位于周边的四个支撑结构,四个支撑结构均朝向托盘外向下倾斜,夹具打开时便于分类收集禽胴体的各个部位,四个支撑结构用于承载禽胴体的四肢。托盘的外型根据禽胴体的轮廓设计,也即托盘的形状基本与禽胴体的轮廓对应。四个支撑结构均朝向托盘外向下倾斜,使得禽胴体四肢在切分后可以在重力的作用下掉落。
支架固定在立式双轨环形导轨输送线的滑座上,支架上安装有直线轴承(以便于连杆更加丝滑地上下运动),位移调整板也立设于支架上。
压杆安装在位移调整板上,压杆的第一端设置有接触块,接触块在固定禽胴体时与禽胴体的四肢接触。压杆与位移调整板的接触位置作为支点,压杆可以绕该支点上下转动。
连杆穿过直线轴承,连杆的第一端与压杆的第二端连接,连杆的第二端与异型环形导轨连接并可沿异型环形导轨滑动,连杆的第二端位于异型环形导轨的第一部位时,抬升压杆的第二端,使压杆的第一端带动接触块下压,连杆的第二端由异型环形导轨的台阶过渡到第二部位时,拉低压杆的第二端,使压杆的第一端带动接触块上抬。
可以理解,为了固定禽胴体四肢,需要有四个接触块以及对应的压杆、连杆、位移调整板等部件。
压杆与末端的接触块可采用夹角弹簧连接,接触块主要用于压住禽胴体四肢,位移调整板可根据禽胴体大小调整压杆压合角度,连杆垂直连接着异型环形导轨,初始工位时,连杆的第二端(即底部)位于异型环形导轨的第一部位的平行直线段,此时连杆向上抬升,使压杆末端的接触块压住禽胴体四肢,对禽胴体进行切分后,连杆的底部滑动到异型环形导轨的台阶部位,连杆底部下降,带动压杆末端的接触块上抬,从而自动松开对禽胴体四肢的固定,禽胴体四肢可以在重力的作用下掉落。
在一些实施例中,扫描成像设备包括三维线激光扫描仪和X光检测机。其中,三维线激光扫描仪主要用于进行禽胴体外形轮廓的扫描,X光检测机主要用于检测禽胴体内部是否存在异物或缺陷,以及检测禽胴体的骨架结构。
在一些实施例中,上位机可以根据扫描得到的图像数据生成禽胴体的三维可视化轮廓。
在一些实施例中,根据扫描得到的图像数据生成禽胴体的三维可视化轮廓,包括:
根据三维线激光扫描仪得到的禽胴体深度图像进行三维重建,生成禽胴体的三维可视化轮廓。
参照图4,通过三维线激光扫描仪得到禽胴体深度图像后,可以通过点云预处理算法对深度图像执行下采样、孔洞补偿、背景分割及三维模型重建等程序,获得禽胴体三维可视化轮廓,禽胴体三维可视化轮廓可用于评估禽胴体的大小、外形、色泽等是否符合标准。
在一些实施例中,根据扫描得到的图像数据对禽胴体多部位进行精准选域,生成禽胴体的多部位柔性切割路径规划指令集,包括:
利用目标检测模型对三维线激光扫描仪得到的禽胴体深度图像进行各切割部位的选域识别,根据识别结果和各切割部位的切割顺序,规划出超声刀头的切割路径,生成禽胴体的多部位柔性切割路径规划指令集;
其中,目标检测模型是基于带有切割部位识别标签的样本禽胴体深度图像训练得到的。
该目标检测模型例如可以是YOLO模型或者改进的YOLO模型(例如修改C2f结构和损失函数来增强对禽胴体的特征提取能力),其具备实时性、精度高、占内存小、兼容多平台等优点,通过带有切割部位识别标签的大量样本禽胴体深度图像训练后,可以有效增强模型对禽胴体的特征提取能力,从而精准识别出禽胴体各切割部位(脖子、翅膀、腿)。
可以理解,利用目标检测模型可以识别出禽胴体深度图像中的脖子、翅膀、腿等切割部位,从而可以获取到切割部位边缘或者端点的坐标,根据这些坐标可以计算出每个切割部位的切割路径(如图4中的(f)所画的直线),结合各切割部位的切割顺序(例如按照脖子、左翅、左腿、右腿、右翅的顺序),便可以规划出超声刀头的切割路径,从而生成多部位柔性切割路径规划指令集,后续下位机便可以根据接收的多部位柔性切割路径规划指令集,控制四轴平台超声刀切分设备对移动至切分工位的禽胴体各个部位进行柔性仿人切分。
需要说明的是,上述超声刀头的切割路径,指的是超声刀头的落刀点路径,下位机接收到上述切割路径规划指令集之后,可以根据超声刀头的落刀点路径推算出四轴运动平台的移动路径,从而实现精准切割。
需要说明的是,超声刀头的切割路径的坐标是基于同一坐标原点的,可称为第一坐标原点。而四轴运动平台的移动路径的坐标是基于另一坐标原点的,可称为第二坐标原点,第二坐标原点不同于第一坐标原点。
在一些实施例中,根据识别结果和各切割部位的切割顺序,规划出超声刀头的切割路径,包括:
根据识别结果、禽胴体切割位置内部关节的三维坐标以及各切割部位的切割顺序,规划出超声刀头的切割路径;
其中,禽胴体切割位置内部关节的三维坐标基于X光检测机得到的X光图像中禽胴体骨架结构的坐标标定得到。
为了在切分时能够更加精准地切割到关节部位,避免切到骨头部位,本发明利用X光检测机得到的X光图像后,可以将X光图像中禽胴体骨架结构的坐标与深度图像进行坐标同步转换,然后根据禽胴体国家分割标准标定禽胴体切割位置内部关节的三维坐标。在识别出禽胴体各切割部位(脖子、翅膀、腿)后,可以结合识别结果和禽胴体切割位置内部关节的三维坐标计算出切割路径。
对于四轴平台超声刀切分设备,首先,考虑到传统机械刀、高压水刀等畜禽肉分切刀具普遍存在黏刀、不精准的问题,本发明使用超声刀作为切割刀具。超声刀具有粘连程度低、可控精度高、切割面平整等优点,可以有效提高原料肉分切精度、降低损耗。
此外,本发明采用的四轴平台超声刀切分设备包括四轴运动平台和搭载于四轴运动平台上的超声刀头,如图5所示,四轴运动平台包括X轴、Y轴、Z轴,还包括一个R轴(旋转轴),可以带动超声刀头在X轴、Y轴、Z轴三个方向移动,并通过R轴带动超声刀头旋转(可实现360°旋转),以满足精准切割需求。图5中的超声发生器用于驱动超声刀头。
本发明提供的超声刀辅助禽胴体多部位柔性仿人切分装置,通过禽胴体在线循环输送模块将其他模块工位串联起来,起循环往复作用,大大提高了生产的效率,通过禽胴体多部位防偏移夹持模块实现了禽胴体多点位全自动防偏移夹持功能,通过禽胴体扫描成像与切割路径规划模块实现了自动根据扫描结果进行切割路径的精准规划,通过超声刀四维移动柔性仿人切分模块实现了禽胴体各个部位的精准柔性仿人切分,从而不仅能够有效解决目前禽胴体多部位切割切分所存在的劳动强度大、生产效率低、智能化程度低等问题,还能够进一步提高原料肉分切精度、分切效率、智能化水平,并降低损耗,对禽类加工智能化升级、促进肉类行业的产业升级也具有重大意义。
以下通过更加具体的示例进行说明。
该示例中,在一条长2.5米的立式双轨环形导轨输送线上配备五个禽胴体多部位防偏移夹持模块工位,作业时,在立式双轨环形导轨输送线的最左端,人工将禽胴体放置在禽胴体多部位防偏移夹持模块工位上,下方的托盘根据禽胴体的轮廓设计,便于将禽胴体展开并用压杆末端的接触块固定禽胴体四肢。然后,立式双轨环形导轨输送线得到输送指令,将禽胴体输送至禽胴体扫描成像与切割路径规划模块工位(即扫描工位),进行激光扫描和X光检测,上位机执行路径规划算法,并形成指令集。然后,继续往前将禽胴体输送至切分工位,下位机PLC控制超声刀执行分切指令,分切结束后继续往前输送完成分拣,返回初始工位,以此完成循环作业。如图6所示为整体工作流程图,下面分模块进行说明。
1、禽胴体多部位防偏移夹持模块。
在初始工位,压杆为下压状态,人工将禽胴体放置于托盘上,掰开接触块压住禽胴体四肢,避免其在输送过程中产生晃动,直至到达切分工位停下,待切割切分完毕后,托盘走入异型环形导轨的上台阶,此时连杆下降带动压杆上抬,禽胴体四肢在重力的作用下滑落至下方的收纳盒中,托盘继续随立式双轨环形导轨输送线往前输送,进入异型环形导轨的下台阶后,压杆回到下压状态,返回至初始工位从而实现循环作业。
2、禽胴体扫描成像与切割路径规划模块。
该模块用于可视化禽胴体外部轮廓和内部结构,为后续切割路径规划提供原始数据集。通过设置与实际输送环境相匹配的设备参数及物理校准后,关闭暗箱防止射线污染和光线干扰,获取经三维线激光扫描仪和X光检测机扫描的禽胴体深度图像和X光图像。
在进行各切割部位的选域识别之前,需要对目标检测模型进行训练。采用深度学习中的YOLO目标检测算法或其最新变体执行数据集训练程序,其具备实时性、精度高、占内存小、兼容多平台等优点。原始数据集经扩充和标注后(如图4中的(a)和(b)所示),将其按照7:2:1的比例分为训练集、验证集和测试集,训练基于该YOLO算法的禽胴体切割部位检测模型,可以通过修改C2f结构和损失函数,进一步增强对禽胴体的特征提取能力,从而精准识别出禽胴体各切割部位(脖子、翅膀、腿)。
参照图4中的(c)、(d)和(e),在对到达扫描工位的禽胴体进行扫描获取到禽胴体三维扫描成像图(即禽胴体深度图像)后,通过点云预处理算法对深度图像进行点云预处理,得到点云预处理图,并通过执行下采样、孔洞补偿、背景分割及三维模型重建等程序,得到禽胴体的三维模型图,从而获得禽胴体三维可视化轮廓,可用于评估禽胴体的大小、外形、色泽等是否符合标准。此外,通过X光图像可以判断禽胴体内部是否存在异物或缺陷,结合X光图像中禽胴体的骨架结构并将其与深度图像进行坐标同步转换,然后根据禽胴体国家分割标准标定禽胴体切割位置内部关节的三维坐标。然后,采用训练好的基于YOLO算法的禽胴体切割部位检测模型,结合上述内外切割点位坐标计算出切割路径,如图4中的(f)所示,并将结果输出为指令集,发送至下位机控制系统指导超声刀切割。实时数据可以以表格、图表等形式存储,方便进行数据追溯和效能分析。
3、超声刀四维移动柔性仿人切分模块。
超声刀头采用特殊的合金材料制成,具有高强度和良好的超声传导性能。刀头形状根据禽胴体切割需求设计,有多种不同弧度和刃口类型可供选择,以适应不同部位的切割。对于关节部位,设计较薄且尖锐的刀头;对于大块肌肉区域,采用有相应宽度的弧形刀头。
超声发生装置能产生稳定且功率可调的超声振动。功率范围根据切割组织特性设定,一般在 20-50kHz 之间。通过精确控制超声功率和振幅,实现对不同组织的高效切割。较低功率用于切割较硬的骨骼组织,较高功率用于处理柔软的肌肉和皮肤组织。超声刀运动模块由 PLC控制系统操控,可以实现X轴、Y轴、Z轴、R轴四个方向的移动,其中R轴为超声刀头的旋转角度,可实现360°旋转。PLC控制系统根据上位机发送的指令集精确控制超声刀头的运动进程。该模块采用高精度的电机和传动装置,使超声刀头能够快速、准确地移动到指定切割位置,并按照预设顺序进行切割。运动控制模块具备实时反馈和调整功能,以应对禽胴体在切割过程中的微小位移。
4、整机联动。
整机联动是指在禽胴体多部位切分作业中,各个子系统组件之间的协调与配合,使得整个系统能够高效、精准地运作。以下是影响整机联动效果的几个关键方面:
系统集成:将不同的硬件和软件系统整合成一个统一的平台,主要包括立式双轨环形导轨输送线、禽胴体多部位防偏移夹持模块、扫描成像设备(X光检测机、三维线激光扫描仪)、四轴平台超声刀柔性仿人切分设备、PLC 超声刀控制系统、可视化成像软件、监控系统等。其中,监控系统用于实时检测数据和作业过程,确保每一环节的顺利进行,并定期生成性能分析报告;可视化成像软件为直观的交互式界面,便于进行数据查看和指令操作。
数据流转:确保各个组件之间的数据顺利传递,主要有扫描成像设备实时获取禽胴体的图像数据,并实时传输至算法处理单元,数据经处理后生成三维模型、切割路径规划指令集和信息反馈,同时下位机接收指令并执行切割程序、调整作业参数。
设备协同工作:下位机通过 PLC控制系统自动控制设备的启停、切换以及机械臂和超声刀的作业状态。当上位机检测到反馈数据存在异常时,系统发出警报并通知操作人员及时采取应对措施。
效率提升与优化:整机联动的最终目的是提升效率和优化生产流,通过对大量数据的分析,系统可以提供智能化的决策支持,帮助管理者优化生产流程。整机联动系统需要不断优化和升级,定期更新硬件和软件,并引入新的算法和技术,以提高流水线生产效益。
整机联动效果的实现不仅提高了禽胴体智能分切平台的工作效率,还增强了系统的可靠性和准确性。通过设备的协调工作、数据的快速流转以及优秀的人机交互设计,使整个系统能够在复杂的生产环境中高效运作,达到智能定位分切、减损、降耗目标,提升禽类分切智能化标准化水平。
下面对本发明提供的基于上述装置执行的切分方法进行描述,下文描述的方法与上文描述的装置可相互对应参照。
图7是本发明提供的切分方法的流程示意图,如图7所示,该方法包括如下步骤701、步骤702和步骤703。
步骤701、立式双轨环形导轨输送线启动,带动禽胴体多部位防偏移夹持模块上固定的禽胴体移动至扫描工位。
步骤702、扫描成像设备对移动至扫描工位的禽胴体进行扫描成像,将扫描得到的图像数据发送至上位机,上位机根据图像数据对禽胴体多部位进行精准选域,生成禽胴体的多部位柔性切割路径规划指令集,并将多部位柔性切割路径规划指令集发送至下位机。
步骤703、下位机根据接收的多部位柔性切割路径规划指令集,控制四轴平台超声刀切分设备对移动至切分工位的禽胴体的多部位进行柔性仿人切分,通过切分工位后在异型环形导轨的作用下夹具松开,禽胴体的各个部位进行分类收集。
在一些实施例中,根据图像数据对禽胴体多部位进行精准选域,生成禽胴体的多部位柔性切割路径规划指令集,包括:
利用目标检测模型对三维线激光扫描仪得到的禽胴体深度图像进行各切割部位的选域识别,根据识别结果和各切割部位的切割顺序,规划出超声刀头的切割路径,生成禽胴体的多部位柔性切割路径规划指令集;
其中,目标检测模型是基于带有切割部位识别标签的样本禽胴体深度图像训练得到的。
在一些实施例中,根据识别结果和各切割部位的切割顺序,规划出超声刀头的切割路径,包括:
根据识别结果、禽胴体切割位置内部关节的三维坐标以及各切割部位的切割顺序,规划出超声刀头的切割路径;
其中,禽胴体切割位置内部关节的三维坐标基于X光检测机得到的X光图像中禽胴体骨架结构的坐标标定得到。
在一些实施例中,目标检测模型为YOLO模型。
在一些实施例中,上位机还用于根据扫描得到的图像数据生成禽胴体的三维可视化轮廓。
在一些实施例中,根据扫描得到的图像数据生成禽胴体的三维可视化轮廓,包括:
根据三维线激光扫描仪得到的禽胴体深度图像进行三维重建,生成禽胴体的三维可视化轮廓。
在此需要说明的是,本发明提供的上述方法,能够实现上述装置实施例所实现的所有流程步骤,且能够达到相同的技术效果,在此不再对本实施例中与装置实施例相同的部分及有益效果进行具体赘述。
需要说明的是,以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种超声刀辅助禽胴体多部位柔性仿人切分装置,其特征在于,包括:
禽胴体在线循环输送模块,包括立式双轨环形导轨输送线和异型环形导轨;
禽胴体多部位防偏移夹持模块,安装在所述立式双轨环形导轨输送线上,用于多点位固定禽胴体各个部位,使所述禽胴体随着所述立式双轨环形导轨输送线依次移动至扫描工位和切分工位,并在通过所述切分工位后受所述异型环形导轨的作用控制夹具松开并分别收集所述禽胴体的各个部位;
禽胴体扫描成像与切割路径规划模块,包括扫描成像设备和与所述扫描成像设备连接的上位机,所述扫描成像设备用于对移动至所述扫描工位的所述禽胴体进行扫描成像,所述上位机用于根据扫描得到的图像数据对禽胴体多部位进行精准选域,生成所述禽胴体的多部位柔性切割路径规划指令集,并将所述多部位柔性切割路径规划指令集发送至超声刀四维移动柔性仿人切分模块的下位机;
所述超声刀四维移动柔性仿人切分模块,包括与所述上位机通信连接的所述下位机,以及由所述下位机控制的四轴平台超声刀切分设备,所述四轴平台超声刀切分设备包括四轴运动平台和搭载于所述四轴运动平台上的超声刀头,所述下位机用于根据接收的所述多部位柔性切割路径规划指令集,控制所述四轴平台超声刀切分设备对移动至所述切分工位的所述禽胴体的多部位进行柔性仿人切分;
所述异型环形导轨包括第一部位、第二部位和位于所述第一部位和所述第二部位之间的台阶,所述第一部位和所述第二部位均包括弧形段和平行直线段,且所述第一部位的平行直线段的间距大于所述第二部位的平行直线段的间距。
2.根据权利要求1所述的超声刀辅助禽胴体多部位柔性仿人切分装置,其特征在于,所述禽胴体多部位防偏移夹持模块包括:
用于承载所述禽胴体的托盘,所述托盘固定在所述立式双轨环形导轨输送线的滑座上,所述托盘包括位于中间的凹陷部位以及位于周边的四个支撑结构,所述四个支撑结构均朝向所述托盘外向下倾斜,夹具打开时便于分类收集所述禽胴体的各个部位,所述四个支撑结构用于承载所述禽胴体的四肢,所述托盘的外型根据所述禽胴体的轮廓设计;
支架,所述支架固定在所述立式双轨环形导轨输送线的滑座上,所述支架上安装有直线轴承;
位移调整板,立设于所述支架上;
压杆,所述压杆安装在所述位移调整板上,所述压杆的第一端设置有接触块,所述接触块在固定所述禽胴体时与所述禽胴体的四肢接触;
连杆,所述连杆穿过所述直线轴承,所述连杆的第一端与所述压杆的第二端连接,所述连杆的第二端与所述异型环形导轨连接并可沿所述异型环形导轨滑动,所述连杆的第二端位于所述异型环形导轨的所述第一部位时,抬升所述压杆的第二端,使所述压杆的第一端带动所述接触块下压,所述连杆的第二端由所述异型环形导轨的所述台阶过渡到所述第二部位时,拉低所述压杆的第二端,使所述压杆的第一端带动所述接触块上抬。
3.根据权利要求1所述的超声刀辅助禽胴体多部位柔性仿人切分装置,其特征在于,所述扫描成像设备包括三维线激光扫描仪和X光检测机。
4.根据权利要求3所述的超声刀辅助禽胴体多部位柔性仿人切分装置,其特征在于,所述根据扫描得到的图像数据对禽胴体多部位进行精准选域,生成所述禽胴体的多部位柔性切割路径规划指令集,包括:
利用目标检测模型对所述三维线激光扫描仪得到的禽胴体深度图像进行各切割部位的选域识别,根据识别结果和所述各切割部位的切割顺序,规划出所述超声刀头的切割路径,生成所述禽胴体的多部位柔性切割路径规划指令集;
其中,所述目标检测模型是基于带有切割部位识别标签的样本禽胴体深度图像训练得到的。
5.根据权利要求4所述的超声刀辅助禽胴体多部位柔性仿人切分装置,其特征在于,所述根据识别结果和所述各切割部位的切割顺序,规划出所述超声刀头的切割路径,包括:
根据识别结果、禽胴体切割位置内部关节的三维坐标以及所述各切割部位的切割顺序,规划出所述超声刀头的切割路径;
其中,所述禽胴体切割位置内部关节的三维坐标基于所述X光检测机得到的X光图像中禽胴体骨架结构的坐标标定得到。
6.根据权利要求5所述的超声刀辅助禽胴体多部位柔性仿人切分装置,其特征在于,所述目标检测模型为YOLO模型。
7.根据权利要求3所述的超声刀辅助禽胴体多部位柔性仿人切分装置,其特征在于,所述上位机还用于根据扫描得到的图像数据生成所述禽胴体的三维可视化轮廓。
8.根据权利要求7所述的超声刀辅助禽胴体多部位柔性仿人切分装置,其特征在于,所述根据扫描得到的图像数据生成所述禽胴体的三维可视化轮廓,包括:
根据所述三维线激光扫描仪得到的禽胴体深度图像进行三维重建,生成所述禽胴体的三维可视化轮廓。
9.一种基于权利要求1至8中任一项所述的超声刀辅助禽胴体多部位柔性仿人切分装置执行的切分方法,其特征在于,所述方法包括:
所述立式双轨环形导轨输送线启动,带动所述禽胴体多部位防偏移夹持模块上固定的禽胴体移动至扫描工位;
所述扫描成像设备对移动至所述扫描工位的所述禽胴体进行扫描成像,将扫描得到的图像数据发送至所述上位机,所述上位机根据所述图像数据对禽胴体多部位进行精准选域,生成所述禽胴体的多部位柔性切割路径规划指令集,并将所述多部位柔性切割路径规划指令集发送至所述下位机;
所述下位机根据接收的所述多部位柔性切割路径规划指令集,控制所述四轴平台超声刀切分设备对移动至切分工位的所述禽胴体的多部位进行柔性仿人切分,通过所述切分工位后在所述异型环形导轨的作用下所述夹具松开,所述禽胴体的各个部位进行分类收集。
CN202510017952.2A 2025-01-06 2025-01-06 超声刀辅助禽胴体多部位柔性仿人切分装置及方法 Active CN119896245B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202510017952.2A CN119896245B (zh) 2025-01-06 2025-01-06 超声刀辅助禽胴体多部位柔性仿人切分装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202510017952.2A CN119896245B (zh) 2025-01-06 2025-01-06 超声刀辅助禽胴体多部位柔性仿人切分装置及方法

Publications (2)

Publication Number Publication Date
CN119896245A CN119896245A (zh) 2025-04-29
CN119896245B true CN119896245B (zh) 2025-10-31

Family

ID=95464209

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202510017952.2A Active CN119896245B (zh) 2025-01-06 2025-01-06 超声刀辅助禽胴体多部位柔性仿人切分装置及方法

Country Status (1)

Country Link
CN (1) CN119896245B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109788766A (zh) * 2016-07-29 2019-05-21 卓缤科技贸易公司 使用x射线和光学扫描的组合进行切割/分割
CN117694388A (zh) * 2023-12-29 2024-03-15 青岛锐智智能装备科技股份有限公司 一种自动化禽类切割生产线

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6251004B1 (en) * 1997-12-05 2001-06-26 Dennis J. Nemeth Automatic poultry cutting apparatus
EP1855850A1 (en) * 2005-01-25 2007-11-21 Marel Hf. A method and apparatus for cutting objects into fixed portions
US11944105B1 (en) * 2018-01-05 2024-04-02 Tyson Foods, Inc. Method and apparatus for conveying a meat product and using a knife for automated cutting of meat
CN118947756B (zh) * 2024-07-05 2025-11-25 中国农业科学院农产品加工研究所 优化不规则原料肉3d成像性能的自适应整形方法及系统
CN118716390A (zh) * 2024-07-29 2024-10-01 南京深农智能装备有限公司 一种禽类胴体自动分割设备及其分割方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109788766A (zh) * 2016-07-29 2019-05-21 卓缤科技贸易公司 使用x射线和光学扫描的组合进行切割/分割
CN117694388A (zh) * 2023-12-29 2024-03-15 青岛锐智智能装备科技股份有限公司 一种自动化禽类切割生产线

Also Published As

Publication number Publication date
CN119896245A (zh) 2025-04-29

Similar Documents

Publication Publication Date Title
EP3937646B1 (en) Portioning and trimming of rib primal cuts
DK2532246T3 (en) Deboning and deboning the meat with bone using X-rays
Misimi et al. GRIBBOT–Robotic 3D vision-guided harvesting of chicken fillets
US12193450B1 (en) Method and apparatus for conveying a meat product and using a knife for automated cutting of meat
CN111296539A (zh) 羊胴体机器人自主分割方法及系统
US20030145699A1 (en) Three axis portioning method
KR101693585B1 (ko) 엑스레이 뼈위치 확인을 이용한 도체 발골장치
WO1998042196A1 (en) Apparatus and method for removing ribs
US20220057779A1 (en) Method and device for intelligently controlling continuous processing of flexible material
CN114747605B (zh) 一种猪半胴体智能化自动分割方法
CN216931665U (zh) 一种用于对猪胴体进行自动切割的装置
JP2012249599A (ja) 手羽付き胸肉の分離方法及び装置
CN119896245B (zh) 超声刀辅助禽胴体多部位柔性仿人切分装置及方法
Mu et al. Robotic 3D Vision‐Guided System for Half‐Sheep Cutting Robot
CN118587744A (zh) 一种鸡肉屠宰分割骨头去除多模态视觉识别方法
CN109673708B (zh) 框架式全自动劈半机
CN119791151B (zh) 实现禽胴体多部位一体同步分离的智能分切装置及方法
CN114167830A (zh) 基于机器视觉与边缘智能的焊接过程监测及质量诊断方法
CN120918222A (zh) 一种具有筛选功能的鸡肉屠宰加工装置及其加工方法
CN119963779B (zh) 基于畜类胴体分割大数据的机械臂分割路径自主进化方法及双臂机器人畜类胴体分割系统
CN219401197U (zh) 一种胴体异物检测系统
CN114600935B (zh) 一种猪胴体在线分割系统
CN118968603A (zh) 基于深度学习的猪胴体眼肌面积智能实时测量方法及系统
EP2092829B1 (de) Verfahren zum automatisierten Bearbeiten von Schlachttieren
CN115994905B (zh) 用于畜类开膛的定位检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant