• 阅读数:131发布于2021-02-08 14:47:15

    只看该作者
    基于嵌入式的室内静态场景实时重建系统(创新应用竞赛系列) 复制本文链接

    一、背景介绍(产品化及未来市场潜力描述)

    随着AI技术的蓬勃发展以及新型设备的不断涌现,三维重建成为计算机图 形学领域的热点研究课题。主要任务是基于各种传感器釆集的数据,采用多视图 几何、概率统计学和优化理论等数学工具,对现实物理世界进行三维建模,建立 起现实世界和虚拟世界的桥梁。因此,三维重建在制造、医疗、影视制作、文物 保护、增强现实、虚拟现实、定位导航等众多不用的领域有着广泛的应用。
    其中,基于实时三维场景重建技术在增强现实中的应用和发展尤为迅速,包括室内的增强现实游戏、机器人导航、AR家具看房等等。而我们的技术成功将一套成熟的基于Intel Realsense ZR300 的快速实时室内静态场景重建(室内重建)技术从PC端移植到移动端。我们通过使用奥比中光所提供的的Zora P1嵌入式开发板和Astra Pro RGBD摄像头组成了实时重建系统的数据实时采集端,并通过自主设计的WiFi数据传输模块将采集的数据实时传递至上位机,通过上位机处理完成实时重建的任务,最终取得理想的效果。
    在我们的系统中,我们可以任意地重建我们想要重建的任何室内静态场景。在保证准确度和实时性的情况下,我们可以实现全局一致的重建。相比于此前多数基于PC端的工作,我们在开发板上实现了这一功能,实为首创性工作。我们以用户为出发点,做到了简单、便捷、高还原度,并且可以做到远程实时交互的场景三维重建,应用场景广泛。我们的这一技术可以快速应用移植到开发端实现产品化,不需要进行额外的操作,并且用户熟悉使用过程极为便捷简单。
    目前基于实时三维场景重建技术在增强现实中的应用和发展尤为迅速,尤其是有关室内重建领域的技术更迭更是快速,但多数研究还停留于PC端,移动端的发展还处于一片蓝海,尤其是在开发板上实现这一功能并达到较为理想的效果更是少之又少。通过在开发板上的技术移植和开发,可以更大程度的在实现相同效果的同时降低技术成本,并且本产品还可以作为教学产品供初始学习探索有关室内重建领域的同学们使用和开发,未来市场潜力巨大。

    二、设计方案:

    方案一:

    该方案我们通过使用奥比中光的Zora P1嵌入式开发板和Astra Pro RGBD摄像头来组成室内静态场景和静止人的重建系统。在硬件上完全使用主办方所提供的产品和附件,开发套件使用度极高,但此时的受嵌入式板子算力和运行内存的限制,重建的速度不够理想。
    设备使用情况:使用Astra Pro RGBD来进行深度信息的采集,完全由Zora P1嵌入式开发板负责系统的重建工作。
    系统架构:由Astra Pro RGBD进行数据采集,在Zora P1上进行实时重建工作。

    方案二:

    该方案我们通过使用奥比中光的Zora P1嵌入式开发板和Astra Pro RGBD摄像头组成了实时重建系统的数据实时采集端,并通过设计WiFi数据传输模块,将采集的数据实时传递至上位机,通过上位机处理完成实时重建的任务,可以取得很理想的效果。最大程度上利用开发了主办方所提供的产品及其配件,开发套件使用程度极高。
    设备使用情况:利用奥比中光的Zora P1嵌入式开发板和Astra Pro RGBD摄像头共同组成了实时重建系统的数据实时采集端,同时使用了Zora P1嵌入式开发板上的WIFI模块。
    系统架构:(1)由奥比中光的Zora P1嵌入式开发板和Astra Pro RGBD摄像头组成了实时重建系统的数据实时采集端;(2)利用开发板上的WIFI模块和连由互联网的上位机进行网络通信;(3)利用上位机中的算力等资源进行完成实时重建任务。

    三、项目创新点描述及技术优势

    1.利用主办方所提供统一设备完成了有关于室内静态场景的实时三维重建,并取得了理想效果。
    2.关于实时重建部分的算法我们参考了InfiniTAM,并在其原有基础上做了更为完善的修改与创新,最终能够使我们的算法可以在所提供的嵌入式开发板中完美运行。
    3.由于受开发板算力和运行内存的影响(且无GPU),我们对系统进行一定程度的工程优化,使得在完全依赖于嵌入式开发板的情况下重建速度达到2帧\s。
    4.考虑到重建系统的实时性,我们通过开发板完成深度数据的采集任务,并利用WiFi模块将数据实时传递至算力和内存更高的上位机中,从而完成实时重建,并取得了很好的效果。
    5.我们通过端云协同作业,最终达到了在有移动互联网的环境下的远程效果实现,即通过使用该设备进行实时重建任务的同时可以使得远程处于办公室的人在PC端实时同步观测到三维重建的效果。

    四、测试结果:

    我们所取得的室内场景重建效果如下图所示,显然,在基于这一开发板的环境下,我们实现了很好的重建效果。
    图片alt
    图1:重建结果预览图和实时重建效果图
    图片alt
    图2:真实环境照片
    图一右上窗口显示了实时重建的效果图,左侧主窗口显示的是切换了一个更广的视角点,来对整个重建的结果进行预览。图二为重建的真实环境的照片。
    但由于官方提供的OpenNI的SDK中为提供RGB信息的读取,所以暂未进行颜色的渲染。
    图片alt
    图三、实时重建演示图

    五、部署环境

    代码运行所需环境配置:
    服务器端:Ubuntu18.04
    嵌入式端:armbin
    ·cmake(3.2或以上)
    ·OpenNI(奥比中光提供版本)
    ·OpenGL(3.0或以上)
    ·libpng(1.6或以上)
    ·librealsense

    六、研发过程记录

    1. 熟悉主办方所提供的Zora P1嵌入式开发板和Astra Pro RGBD摄像头的使用方法,并在系统中配置相应所需环境。
    2. 通过利用张正友标定法来完成Astra Pro RGBD相机的标定任务。
    3. 参考InfiniTAM-V2进行算法上的精修和创新,最终将其直接运用于Zora P1嵌入式开发板和armbin系统。
    4. 系统测试阶段:进行有关实时重建速度和重建精度的分析。
    5. 在受开发板的运行内存的影响下,最大程度上提升速度,秉持最简单最适用的原则最终达到了2帧\s。
    6. 为更好的完成实时重建系统,我们设计了一个wifi传输模块,将嵌入式开发板所采集到的深度图,实时的传输到上位机中,最终在上位机中完成实时重建任务,并达到了很好的效果。

    七、基于开发套件产生的bug及建议

    存在的问题:

    (1)要求相机缓慢移动。该重建系统无法在重建时达到通过快速移动摄像头也能重建出同等理想效果的功能实现,目前只可以通过慢速移动来完成重建任务。我们的未来建议或者下一步打算是,如果能在摄像头或者嵌入式开发板中加入IMU模块,我们团队可以将目前所达到的效果升级为快速移动背景下的实时静态场景三维重建。
    (2)未实现嵌入式端的交互。在该系统的实际运行过程中,最开始还需要利用鼠标和键盘的交互功能来完成对代码的运行指令。由于开发时间较短,暂未实现通过嵌入式开发板上的按键来实现完成整个系统的唤醒操作的功能。

    摄像头及开发板性能限制影响开发的问题点:

    (1)摄像头或者开发板中未植入IMU模块,所以利用该模块尚不能完成摄像头快速移动背景下的实时场景实时重建任务。
    (2)2G的运行内存对于实时的三维重建系统来说还有点小,在充分利用开发板有限资源的情况下,速度仅限于2帧\s。
    (3)由于官方提供的openni模块中尚未包含对RGB信息的提取,所以本次开发,并未利用RGB信息来对重建结果进行颜色渲染。

    回复 (0)

    举报
举报

请选择举报理由

  • 垃圾广告
  • 违规内容
  • 恶意灌水
  • 重复发帖
提示

奥比中光 · 3D视觉开发者社区...

站长统计