返回上级
共8条
跳至  页 
  • 阅读数:621发布于2020-11-01 00:47:15

    只看该作者
    3D视觉应用研发系列笔记——机器人3D互动(一.技术难点分析) 2020Oct31 复制本文链接


    先回顾一下需要达成的应用场景:简单说就是利用3D视觉传感技术实现人与机器之间的投球互动。玩家从“准备区”投出皮球,经过约半秒时间穿过飞行区,到达回球平面时,机械手对准来球将其推回。如下图所示:


    咋一看,这个功能并不复杂,但实现起来非常有挑战性。我们先理一下方案的大致思路:用3D视觉传感器(即深度相机)对球进行跟踪定位,然后通过图像处理尽快的预测出球抵达回球平面时的具体位置,并发送给机器人控制器,再由控制器发出运动指令,机械臂执行到指定位置回击球。

    有小伙伴可能会问了,为什么要预测位置,我们不能在球抵达平面时,直接从图像中计算出实际位置吗?显然是不行的,因为时间上来不及。图像传输,图像处理,机械运动都需要时间,这几部分加起来大约 210毫秒,如果等球到了再判断,黄花菜都凉了。所以只能提前根据球进入飞行区的初始6帧的深度图,计算出球在每一帧的位置,再根据这6个位置拟合抛物线,从而得到球抵达回球平面时的具体位置和时间。所以切记,这部分计算能快尽量快,时间就是生命线!

    初步估计,球飞行时间约400~550ms,扣除6帧飞拍所需的180ms,剩余220~370ms,可用于视觉系统处理和机器人响应(需要约210ms,刚刚够),能给到各个环节的时间是很紧张的,如果某个环节稍微入不敷出,这个功能就实现不了。所以,第一个挑战就是如何保证实时性。


    挑战二,就是上边提到的位置预测误差。这个预测位置如果不够准确的话,机器人回击球会失败。仔细分析的话,这个误差的构成因素有很多。这里主要列举:像素精度,标定误差,圆拟合误差,抛物线拟合误差,时间误差。

    像素精度,是指每一个像素代表的实际尺寸。比如,当VGA分辨率(640*480)对应的区间大小为 2*1.5米,那么每个像素的实际尺寸就是3.1mm。这个尺寸如果越大,从图像中计算的位置误差也就越大。

    标定误差,是指每一个像素映射到实际空间中的坐标时,会偏离实际值。一方面,坐标转换矩阵不一定很准确,而且,每个相机的个体之间有差异;另一方面,现场的相机安装有时会有轻微松动异位,那么转换矩阵就实效了。

    圆拟合误差。由于球的快速运动产生拖影(见图),造成圆拟合后的球心位置有误差;另外,由于点云数据丢失,球的成像会出现孔洞,这给圆拟合算法带来挑战。

     

    抛物线拟合误差。在我们利用6帧的球心位置来拟合一条抛物线时,由于理论几何模型与实际有差异,会带来额外的定位误差,且该误差有可能很大。

    时间误差。即便预测到的位置非常准确,但如果抵达时间预测得不准,会导致机械臂击球节奏的丢失,也无法满足功能。这个误差的诱因可能是图像传输和图像处理的耗时不稳定,也可能是抛物线模型不准确。


    挑战三,图像处理算法。图像处理包括图像去背景噪声,圆拟合。如果背景噪声不能去除干净的话,会造成把背景物体识别为球的情况。但也不能去除的太“狠”,造成球像素的受损,也会影响定位准确性。圆拟合可以采用2D平面拟合,或者3D球面拟合;前者鲁棒性和定位能力差一些,后者会比较耗时。


    挑战四,机器人运动控制、路径规划。一方面要足够块,另一方面要根据来球的速度矢量,设计好机械臂出击的方向和力道,使得回击球的效果最优。


    综上所述,这四大挑战决定了这个应用研发的难度不小,因为它不是单纯的理论研究,而是要实现一个工程,就必然受到时间和空间上的强约束。但我们不畏惧困难,要相信办法总比困难多  后续几篇笔记会介绍些应对方法。

    回复 (5)

    举报
  • 发布于2020-11-02 16:07:47

    只看该作者 显示全部
    很仔细,适合学习

    回复 (0)

    举报
  • 发布于2020-11-02 16:08:02

    只看该作者 显示全部
    太赞啦~期待后续

    回复 (0)

    举报
  • 发布于2020-11-02 16:44:56

    只看该作者 显示全部
    太赞啦好想看续集

    回复 (0)

    举报
  • 发布于2020-11-02 21:50:03

    只看该作者 显示全部
    坐等大佬更新

    回复 (0)

    举报
  • 发布于2020-11-03 11:35:34

    只看该作者 显示全部
    想问一下楼主,这个方案的实际应用场景有哪些啊?

    回复 (0)

    举报
  • 发布于2020-11-04 11:14:03

    只看该作者 显示全部
    坐等雷锋大神的后续笔记分享

    回复 (0)

    举报
  • 发布于2020-11-04 14:04:43

    只看该作者 显示全部
    相机预测的位置怎么才能够转化为机械臂移动的坐标

    回复 (0)

    举报
  • 发布于2020-11-16 14:20:15

    只看该作者 显示全部
    分析的到位,有理有据,期待应对方法!!!!!!!!!!

    回复 (0)

    举报
返回上级
共8条
跳至  页 
举报

请选择举报理由

  • 垃圾广告
  • 违规内容
  • 恶意灌水
  • 重复发帖
提示

奥比中光 · 3D视觉开发者社区...

站长统计