智能制造与机器人学院研究生参与工业视觉定位攻关——让机器“看见”柔性吊耳
 
智能制造与机器人学院研究生参与工业视觉定位攻关——让机器“看见”柔性吊耳
发布人:刘俊  发布时间:2026-11-11   浏览次数:10



2025年11月,内蒙古阿拉善,一座化工碱厂的包装车间里,装满物料的吨包沿输送线依次进入吊装工位。吊装设备要完成后续作业,首先必须知道吊耳在哪里。对现场工人来说,这是一眼就能作出的判断;对机器而言,却意味着要从袋体、钢结构和复杂光照中,找出容易弯折、遮挡、偏移的柔性吊耳,再给出一个可以直接驱动吊具的空间点位。

如何让视觉系统不仅“看见”吊耳,还能把识别结果变成现场设备可用的数据?围绕这一问题,上海电机学院智行感知与机器人技术导学团队成员张梦强、刘婉婷、高培硕等在校内导师孙渊教授和校外导师、高级工程师孙波等指导下,参与中国科学院海西研究院泉州装备制造研究中心与龙合智能合作开展的吨包吊耳视觉定位项目。课题直接来自博源化工碱厂的真实吊装需求,也让研究生的论文研究走出实验室,进入工业生产现场。

吨包吊耳是柔性材料,不会像机械零件那样始终保持固定形状。现场袋体的装载状态和摆放姿态各不相同,吊耳在画面中的样子也随之改变:它会垂落、翻卷、扭转,朝向并不固定,还常被相邻袋体挤压遮挡——同一只吊耳,在不同时间、不同角度看去,可能完全是另一副样子。它以织带缝制于袋顶,与白色袋体虽可区分,在整幅图像中却只占很小一片区域。再加上现场粉尘、钢结构反光与长时间连续作业的要求,识别必须既“准”又“稳”。

找到图像中的吊耳还只是第一步。吊装设备需要的是空间位置,而不是屏幕上的一个方框。因此,团队成员必须让彩色图像中的检测结果与深度信息逐像素对齐,计算吊耳在相机坐标系下的三维点位,再通过稳定的接口传递给执行端。这是一条跨越图像识别、深度感知、坐标解算与工业控制接口的技术链——任何一环出现偏差,都会被放大成落点上的误差。

针对现场工况,项目视觉侧采用两台RGB-D相机,从不同视角同时获取彩色图像与深度数据,以双视角互补化解单相机视野受限、深度缺失的问题;系统先行完成相机内外参标定与相机—执行端的坐标对齐,把“图像里的像素”和“设备上的坐标”绑定在同一套几何关系上。当执行端发出请求,视觉程序在133毫秒内完成图像采集、吊耳识别、深度读取与三维点位解算,并通过网络接口返回结构化结果。龙合智能团队据此完成坐标转换与抓取控制。

项目的价值不止于生成一张带识别框的图片,更在于把研究方法接入真实作业流程。现场联调中,视觉系统完成了双相机采集、吊耳识别、点位计算与接口输出,并与合作方执行端跑通了“识别—定位—抓取”的完整闭环:视觉侧负责“看准”,企业团队负责“抓稳”。经过多轮联调与连续抓取测试,系统在不同装载状态、不同摆放角度以及相邻吨包遮挡等典型工况下均能稳定输出点位,单次定位成功率达到95%,定位误差控制在±36毫米以内。

工业现场的视觉系统还面临另一项硬约束:工控设备的算力有限。模型既要识别柔性、易遮挡的吊耳,又要把参数规模和计算量压到设备可以承受的范围内。围绕这一问题,研究团队以YOLOv8s为基线,提出了融合Ghost轻量化结构与CBAM注意力机制的吊耳检测方法——用Ghost模块压缩冗余特征、降低计算开销,用CBAM让网络把注意力集中到面积小、易混淆的吊耳区域,并通过严格同条件消融实验逐一验证两处改进的贡献。

为支撑研究,团队针对柔性吊装场景自建了吊耳数据集,整理图像1292幅、吊耳标注实例6009个。离线实验结果显示:与基线相比,组合模型参数量减少30.43%、计算量减少30.77%,召回率达到99.61%,检测精度保持在同等水平——在算力受限的工控设备上,这是用更小的代价换取同等甚至更优识别效果的关键一步。团队还在替代边缘计算平台上完成了精度回归与连续推理测试,进一步摸清了模型从实验环境走向受限硬件时的真实表现。

更值得注意的是,团队没有停在指标对比上。实验发现,模型“更轻”并不自动等于在具体设备上“更快”;只有把识别效果、硬件条件和完整处理流程放在一起考察,才能为工程部署作出可靠选择。这一发现为避免“唯轻量化”的选型误区提供了实证依据,也成为项目留给后续研究的另一份成果。

从现场工况分析,到图像数据整理、检测方法研究,再到与执行端对接,项目让研究生面对的不再是一道封闭的算法题。一个识别结果能否使用,还取决于深度信息是否对齐、坐标含义是否清楚、接口能否被合作方正确调用。在学校里调模型只看指标,到了现场才知道,每一个细节都决定结果能不能用。目前,项目已形成吊耳视觉识别与三维点位输出的现场工作链路,视觉侧成果已具备在同类工位复用推广的条件;轻量化检测研究则为后续模型选型积累了实验依据。现场联调成果与离线模型结果各有其验证范围,共同构成了从生产需求、方法研究到工程验证的完整研究过程。

在化工、建材等行业,吨包吊装长期依赖人工目视与对讲指挥,作业人员需要靠近吊装区,安全风险和人工成本居高不下。一只柔性吊耳的背后,连接着视觉感知、边缘计算与工业装备的协同。此次研究既为吨包吊装提供了视觉侧技术支撑,也为减少人工作业暴露、提升装卸效率提供了一条可行路径,同时展示了研究生在校内外导师指导下参与真实项目、围绕产业需求开展科研攻关的实践成果。下一步,团队将把相关方法推广到更多袋型与更复杂的现场工况中,继续攻克复杂工业场景下的视觉识别与定位难题。


 
上海电机学院 © 版权所有 临港校区:上海市浦东新区水华路300号 邮编:201306 电话:021-38223360