返回上级
共1条
跳至  页 
  • 阅读数:1488发布于2021-01-19 11:01:48

    只看该作者
    RGB-D相机结合机械臂的无序抓取系统(创新应用竞赛系列) 复制本文链接

    第1章.作品方案

    1.1 市场化分析

    随着“中国制造 2025”的提出,中国正处在“制造大国”到“制造强国”转型的进程,制造业向智能化、自动化方向的转型迫在眉睫。在国家大力倡导“工业 4.0”的背景下,研发工业机器人的智能化拥有重要的现实意义。
    据工业和信息化部2020年11月30日消息,2020年1-10月,全国工业机器人完成产量183447台,同比增长21%;全国规模以上工业机器人制造企业营业收入396.2亿元,同比增长2.3%,2020年10月,全国工业机器人完成产量21467台,同比增长38.5%。伴随于此,辅佐机器人进行更高精度、更强适应性自动化生产的机器视觉技术,在近几年也得到突飞猛进的发展。
    随着我国制造业工业机器人密度的逐年提高,中国已成为全球工业机器人密度增速最快的国家,并于2018年达到140台/万人。但相关产业主体不应盲目乐观,与国外相比,我国机器人密度仍处于较低水平。考虑到未来中国对于工业机器人的大规模需求以及智能化的要求,辅助机器人智能化的视觉技术也会具有庞大的市场潜力。
    图片alt
    图1.我国机器人行业投资布局
    在现如今的制造业、工业生产中,分拣工作是一种普遍的工业任务,工业分拣系统与大部分工业机器人技术的使用场合相符。研究工业自动分拣系统技术会使工业机器人技术取得提升。传统工业分拣技术利用人工方式,耗力耗时,难以满足自动化长时间作业的需求,同时人力长时间进行重复性工作时,出错率大幅度提高,使生产受到影响。现在,在工业领域中,自动化生产得到快速发展,在各类工业化生产流水线上,机器人被大规模的使用。预先编程的工业机器人被应用在传统的工业自动分拣系统中,进行工业分拣,尽管它可以使重复性动作得到复现,然而这种工业机器人不能按照实际情况来变换自身动作,因此这种分拣系统必须严格将分拣对象的摆放位置进行设定,将大量的零部件固定位置,这样使得机器人不必具备自主辨识的能力,对机器视觉技术的要求较低,同时此系统无法实现分类工作,只能实现简单的分拣任务。然而,在大部分的智能制造生产线中,多品种的零部件大多摆放位置随意、数目不固定,分拣系统要正确识别出零件的类型,因此需要愈加智能化的机器视觉技术。基于机器视觉的工业分拣系统具备较强的灵活性与鲁棒性,因而在工业生产中,大量的机器视觉分拣系统被应用其中,在使产品质量得以保证的同时,也使工业化生产的效率得到提升。
    图片alt
    图2.二维平面目标抓取技术
    图片alt
    图3.三维目标抓取技术
    自动化抓取在工业的其他方面也具有十分广阔的应用场景,如汽车装配、工件制造等过程,工业机器人与机器视觉技术也不仅仅局限在工业生产场景中结合使用,随着经验的积累与技术瓶颈的突破,二者还将扮演更加重要的角色。

    1.2 系统构成

    利用奥比中光科技集团股份有限公司提供的Zora P1开发板、 RGBD相机,以及深圳大学物理与光电工程学院智能光测研究院提供的川崎机器人(6轴)开发出了一个RGB-D相机结合机械臂对任意摆放的复杂加工零件的三维重建及无序抓取系统,系统搭建如下图1所示,软件系统如图2所示。硬件系统主要包括以下两部分:
    (1)控制系统:川崎6轴机器人,气泵与气动夹具
    (2)视觉系统: 奥比中光RGBD相机,开发板,高性能计算机
    图片alt
    图片alt
    图4.系统构成
    图片alt
    图5.软件系统

    1.3 关键技术创新点

    1.采用一种快速4点手眼标定法,在没有强度信息下进行手眼标定。利用4点对SVD分解出RT矩阵
    2.可以带姿态进行无序抓取。即任意摆放都可以在平面的法线方向抓取。

    1.4 算法设计

    本项目的设计方案如图3所示,依据此方案进行算法的设计。
    图片alt
    图6.方案设计

    1.5 测试结果

    如图5所示,机械臂可以以小木块平面法线方向抓取,并且任意摆放的情况下可以顺利完成抓取任务。如图6所示:视觉系统的重建精度用一个标准平面的测量标准差来描述。Astra pro 在620mm工作距离内的平面标准差为1.43mm。精度较差。是整个系统误差的最大来源。手眼标定精度用已知坐标转换点的平均误差来表示。收到视觉系统重建误差的影响,手眼标定的匹配误差均值为1.5mm。抓取误差为每次抓取需要的补偿量的平均值表示,X,Y方向为0.5mm,Z方向为2mm。角度误差为0.8度。
    图片alt
    图7.带姿态进行无序抓取结果示意图
    图片alt
    图8.系统精度结果

    第2章.研发过程记录

    1. 相机输出深度图,转为点云图,并进行多帧,点云滤波等处理(直通滤波,体素滤波等)。
    2. 6轴机器人与计算机之间的通信(UDP协议)
    3. 相机与6轴机器人计算手眼标定矩阵,这里使用了4对点SVD分解法进行求解。得到视觉系统与机器人本体系统之间的转换矩阵。
    4. 制作木块模板,并求出木块本体坐标系下抓取点和法线信息保存至文件中。
    5. 利用相机拍得目标(木块)点云,得到点云进行点云滤波,下采样(实际中点云较少可以去掉)。
    6. 点云分割(这里使用了聚类分割方法,由于木块是都是平面构成,聚类分割效果较好)。
      图片alt
      图9.点云分割结果图
    7. 点云配准(4PCS+ICP)由于点云精度较差导致匹配结果较差,且不鲁棒,一致性差,所以放弃此方案。
      图片alt
      图10.点云配准结果图
    8. 转为使用平面拟合及中心点的方案进行抓取。将点云分割出的最多点构成的面进行平面拟合,计算平面中心点和法向量
    9. 利用法向量与机器人坐标系之间的关系,求解机器人的抓取姿态(OAT)
    10. 输入坐标与姿态信息指令( X,Y,Z,O,A,T)给机器人实现抓取。
    11. 开发板与相机,机械臂进行通信(QT实现)
    12. 开发板环境搭建(QT5,OPENCV320,PCL1.8)遇到flann库编译冲突并解决。
    13. 开发板代码编译运行(由于开发板内存较小,无法正常运行)

    第3章. 已知bug及问题记录

    1.点云精度问题:
    图9为工作距离(620mm)下拍白色背景板点云在Geomagic中拟合的平面,标准差1.43mm,正负最大距离为9mm,正负平均距离1.22mm。数据可知在此工作距离下的平面标准差为1.43mm,比较大,且点云会出现分层现象,导致了手眼标定时会产生误差,点云分割会导致同一个面分割成两个部分,以及点云配准时的不准确问题等等。也是本项目中最大误差产生的来源。我们通过点云滤波,取平均中心点和法线方向来平均掉误差,并且在控制系统中,让机械臂去在x,y,z方向补偿误差来进行抓取。

    图片alt
    (a)
    图片alt
    (b)
    图片alt
    (c)
    图11.(a)(b)(c)平面拟合精度分析图
    2.编译开发板过程中由于用到了pcl库和opencv库,遇到flann库错误,环境搭建等问题,已解决。
    3.开发板由于内存较小,编译过程中卡死问题。采用英伟达开发套件进行交叉编译(同为arm架构,内核相同)编译失败,未找到原因。

    第4章.软件设计与流程

    图片alt
    图12. 软件设计流程图

    第5章.源代码示例

    项目开源github网址:https://github.com/3DCVdeveloper/zhaochenhao
    图片alt
    图13. 部分开源代码

    第6章.摄像头及开发板问题描述

    1.相机问题:
    (1)本项目中:工作距离(620mm)精度较差,标准差1.4mm,对于目标抓取有很大的影响。应使用条纹结构光相机进行测量。
    (2)无法单独找到深度相机接口,控制红外散斑开关进行拍照。
    2.开发板问题:内存较小,在编译过程中容易死机

    3DCVdeveloper/RGB-D-Manipulator-grabbing-system: Zhaochenghao works (github.com)

    回复 (3)

    举报
  • 发布于2022-01-12 09:02:03

    只看该作者 显示全部

    学习学习。

    回复 (0)

    举报
返回上级
共1条
跳至  页 
举报

请选择举报理由

  • 垃圾广告
  • 违规内容
  • 恶意灌水
  • 重复发帖
提示

奥比中光 · 3D视觉开发者社区...

站长统计