更新时间:2020-11-02 11:20:41
本手册版权归深圳奥比中光科技有限公司所有,未经许可,任何单位和个人都不得以电子的、机械的、磁性的、光学的、手工的等形式复制、传播、转录和保存该出版物,或翻译成其他语言版本。一经发现,将追究其法律责任。
深圳奥比中光科技有限公司保证本手册提供信息的准确性和可靠性,但并不对文本中可能出现的文字或图形疏漏负责。本手册的最终解释权归深圳奥比中光科技有限公司所有。深圳奥比中光科技有限公司保留更改本手册的权利,如有修改,恕不相告。请在订购时联系我们以获得产品最新信息。任何用户利用我们的产品,在使用中侵犯第三方版权或其他权利的行为,深圳奥比中光科技有限公司对此概不负责。另外,在深圳奥比中光科技有限公司明确表示产品相关用途时,对于产品使用在极端条件下导致的失灵或损毁而造成的损失概不负责。
Astra Embedded S(Deeyea)模组是基于深圳奥比中光科技有限公司最新的3D结构光技术设计的一款小尺寸、高性能的3D嵌入式模组产品,Astra Embedded S(Deeyea)利用结构光3D成像技术获取物体的深度图像,同时利用彩色相机采集物体的彩色图像,适用于25~150cm距离的人脸识别的智能产品。可实现近距离的活体检测,人脸识别等原始数据采集功能。为人脸识别提供高质量的原数数据,大大提高了传统识别的可靠性,安全性。
ORBBEC®为客户提供性能优异的深度相机产品,在全球范围内有大量客户使用我们的产品来革新他们的方案,以提供更具竞争力的用户体验,并赋予更多的价值。
• 人脸识别
• 手势识别
• 支付
• 3D扫描
• AR/VR
• 投影交互
• 体感游戏
• 银行
• 门锁
• 闸机
• 机器人
• 安防
• PC外设
• 汽车
Windows
• Windows 7,10, 32-bit and 64-bit
• USB 2.0 或3.0
• 双核,主频2.2GHz或以上
• 建议4GB RAM或以上
Android
• Android OS 4.4/ 5.1/6.0/7.1
• USB 2.0 或3.0 (支持host接口)
• 建议RK3288(四核Cortex-A17,主频1.8GHz)或以上
• 建议2GB RAM或以上
• 支持LibUSB和LibUVC
• 支持UVC设备
• 支持SELinux 权限访问UVC设备
Linux
• Ubuntu 14.04 及以上
• USB 2.0 或3.0
• 双核,主频2.2GHz或以上
• 建议4GB RAM或以上
• Orbbec深度计算处理器MX6000
• 高性能VSCEL激光器
• 深度图像:最高支持1280x800@30fps
• 彩色图像:最高支持1920*1080@30fps
• USB3.0 Type-C
• 小尺寸68.6 x22.35x14.8mm
• 低功耗
• 工作距离0.25-1.5m(根据实际条件有不同)
• 支持深度图像与彩色图像对齐
本文档介绍了Astra Embedded S(Deeyea)深度相机产品的规格,以及供开发者了解和使用产品的相关设计细节。
表1:术语
术语 |
描述 |
Baseline |
单目结构光:红外相机成像中心与红外投影仪投影中心之间的距离 |
Depth |
深度视频流就像彩色视频流一样,每个像素都有一个值代表距离摄像机的距离而不是颜色信息 |
FOV |
视场角,用于描述相机成像给定场景的角度范围,主要有水平视场角(H-FOV)、垂直视场角(V-FOV)和对角线视场角(D-FOV)三种 |
Depth processor |
深度计算处理器, 用于实现深度计算算法并输出深度图像的专用ASIC 芯片,如MX400、MX6000 |
IR camera |
红外相机,或红外摄像头 |
RGB camera |
彩色相机,或彩色摄像头 |
LDM |
红外投影仪(IR projector),也称红外激光投影仪、结构光投影仪等,用于发射结构光图案 |
VCSEL |
垂直腔面激光发射器 |
Depth camera |
深度相机, 包含深度成像模组以及彩色成像模组,其中深度成像模组一般由红外投影仪、红外相机以及深度计算处理器组成,彩色成像模组一般指彩色相机 |
I2C |
I2C总线是由Philips公司开发的一种简单、双向二线制同步串行总线。它只需要两根线即可在连接于总线上的器件之间传送信息 |
ISP |
图像信号处理器,用于对图像进行后处理 |
Lens |
透镜组,在红外相机、彩色相机中用于成像,在激光投影仪中用于投影 |
MIPI |
MIPI联盟,即移动产业处理器接口(Mobile Industry Processor Interface 简称MIPI)联盟。MIPI(移动产业处理器接口)是MIPI联盟发起的为移动应用处理器制定的开放标准和一个规范 |
SoC |
System on Chip的缩写,称为芯片级系统,也称片上系统,意指它是一个产品,是一个有专用目标的集成电路,其中包含完整系统并有嵌入软件的全部内容 |
ASIC |
ASIC被认为是一种为专门目的而设计的集成电路。是指应特定用户要求和特定电子系统的需要而设计、制造的集成电路。ASIC的特点是面向特定用户的需求,ASIC在批量生产时与通用集成电路相比具有体积更小、功耗更低、可靠性提高、性能提高、保密性增强、成本降低等优点. 在本文中主要指MX400,MX6000 |
PCBA |
基础电路板,用来承载深度计算处理器、存储器等关键电子器件 |
TBD |
待定,信息将在后期修订中提供 |
工业4.0、人工智能等产业的蓬勃发展,3D视觉感知成为了限制目前众多领域发展的瓶颈。基于结构光3D成像技术的深度相机能够实时获取高分辨率、高精度的深度图像,从而为其他终端提供了3D视觉感知能力。我们面向不同领域开发出AstraTM系列、P系列以及D系列深度相机,为用户提供了极具性价比、高性能的3D视觉感知解决方案。奥比中光旨在实现让所有终端看懂世界的广阔愿景。
奥比中光旨在实现让所有终端看懂世界。奥比中光3D传感摄像头能让硬件设备拥有一双感知环境的"智慧之眼",并拥有人脸识别、手势识别、人体骨架识别、三维测量、环境感知、三维地图重建等数十项功能,可广泛运用于电视、手机、机器人、无人机、物流、VR/AR、智能家居安防、汽车驾驶辅助等领域。
Astra Embedded S(Deeyea)系列是基于单目结构光3D成像技术的深度相机,如图1所示,主要包括一个红外相机(IR camera)、一个红外投影仪(IR projector)以及深度计算处理器(Depth processor)。红外投影仪用于向目标场景(Scene)投射结构光图案(散斑图案),红外相机采集目标的红外结构光图像,深度计算处理器接收红外结构光图像后执行深度计算算法并输出目标场景的深度图像。
Z:深度,物体距离深度相机的深度
B:基线(Baseline)长度,红外相机成像中心与红外投影仪投影中心之间的距离
f:焦距
Z0:深度相机到参考平面(参考结构光图像)的垂直距离
d:视差,图像之间各像素的偏离值
图1:单目结构光3D成像原理示意图
Astra Embedded S(Deeyea)可以广泛应用于各种消费级/工业级智能硬件领域包括:
表2:Astra Embedded S(Deeyea)应用场景表
领域 |
应用 |
机器人 |
避障、视觉安全化系统 |
安防 |
监控、人数统计、人脸追踪 |
人脸识别 |
刷脸支付,刷脸认证,刷脸门禁,刷脸考勤等 |
游戏 |
体感游戏,手势交互 |
3D扫描 |
室内扫描建模 |
工业 |
工业自动化的零件扫描检测分拣 |
图2:Astra Embedded S(Deeyea)产品实物图
表3:Astra Embedded S(Deeyea)产品规格表
参数 |
描述 |
备注 |
产品名称 |
Astra Embedded S(Deeyea) |
|
Baseline |
40mm |
|
深度范围 |
0.25-1.5m |
|
相对精度 |
5mm@1000mm |
|
功耗 |
平均功耗 典型值2.2W 待机功耗 典型值0.9W 峰值功耗 典型值5W |
USB2.0最大驱动电流需达到1A
深度640*400@60FPS模式平均功耗2.9W,参考散热建议。 |
深度图分辨率 |
USB2.0模式: 1280x800@7FPS 640x400@30FPS USB3.0模式: 1280x800@30FPS 640x400@60FPS |
|
彩色图分辨率 |
USB2.0模式: 1280*720@7FPS 640x480@30FPS USB3.0模式: 1920*1080@30FPS 1280*720@30FPS 640x480@30FPS 640*480@60FPS |
帧率动态调节 |
精度 |
5mm@1m |
|
深度FOV |
H/V/D:67.9°/45.3°/78°±3.0° |
|
彩色FOV |
H/V/D:71.5°/56.7°/84° |
|
数据传输 |
USB3.0 Type-C |
|
支持操作系统 |
Android / Linux / Windows7/10 |
|
供电方式 |
USB3.0 Type-C |
|
工作温度 |
10℃~ 40℃ |
激光的适宜工作温度为10℃~40℃ |
适用场景 |
室内,半户外 |
|
安全性 |
Class1激光 |
|
整体尺寸 |
长68.6mm,宽22.35mm,厚度14.8mm |
|
表4:产品组件表
系统组件 |
Astra Embedded S(Deeyea) |
ASIC |
深度计算处理器MX6000 |
ISP |
用于对图像进行后处理 |
LDM |
红外投影仪(IR projector),也称红外激光投影仪、结构光投影仪等,用于发射结构光图案 |
IR camera |
红外相机,或红外摄像头 |
RGB camera |
彩色相机,或彩色摄像头 |
线路板,承载深度计算处理器、存储器等电子器件 |
|
Optical Frame |
光电支架,用以承载所有其他组件,起到支撑作用 |
Temperature Sensor |
温度传感器,用于测量模组温度 |
USB |
通用串行总线,用作数据传递 |
图3:Astra Embedded S(Deeyea)系统框架示意图
Astra Embedded S(Deeyea)深度计算处理器MX6000主要用于执行深度图像计算,主处理器或上位机通过USB与深度相机通信,并从深度计算处理器接收图像数据。
• 支持主流RGB摄像头
• 支持YUV数据输出
• 支持深度图像输出:1600*1200@30fps, 1280x960@60fps,640x480@120fps
• 支持数字音频输入
• 支持MIPI输入、输出
• 支持DVP输入
• 支持USB3.0/USB2.0接口
• 支持OpenNI ,UVC, UAC主流协议
• 支持双目深度图像计算
• 支持深度图像与彩色图像硬件对齐
• 工作功耗小于400mW
ISP主要用于执行彩色图像信号处理。
表5:ISP彩色图像处理
型号 |
处理芯片 |
备注 |
Astra Embedded S(Deeyea) |
ISP |
支持UVC |
支持UVC标准的3D深度相机,用户可以免驱动使用,用户可以通过标准的 UVC 接口来调整摄像头参数,比如曝光,白平衡,使用UVC标准的接口以获得查阅。
表6:LDM
参数/型号 |
Astra Embedded S(Deeyea) |
类型 |
红外 |
照明组件 |
VCSEL+ 光学器件 |
激光控制器 |
脉冲 |
激光波长 |
940nm |
频率 |
30Hz |
水平FOV |
80.5° |
垂直FOV |
63.6° |
对角FOV |
>92° |
标准 |
IEC 60825-1 : 2014 |
表7:红外相机参数表
参数/型号 |
Astra Embedded S(Deeyea) |
Active Pixels |
1280*800 |
长宽比 |
8:5 |
F Number |
f/2.0 |
焦距 |
2.83 |
Filter Type |
IR940nm窄带 |
Focus |
固定 |
快门类型 |
Global Shutter |
信号接口 |
MIPI CSI-2, 2X Lanes |
水平视野 |
67.9° |
垂直视野 |
45.3° |
对角线视野 |
78° |
表8:彩色相机参数表
参数 |
Astra Embedded S(Deeyea) |
Active Pixels |
2592*1944 |
传感器长宽比 |
4:3 |
F Number |
f/2.0 |
焦距 |
2.51 |
Filter Type |
蓝玻璃/BG |
Focus |
固定 |
快门类型 |
Rolling Shutter |
信号接口 |
2-lane MIPI serial output |
水平视野 |
71.5° |
垂直视野 |
56.7° |
对角线视野 |
84° |
Astra Embedded S(Deeyea)模组带有温度传感器,具备监控模组温度的能力。
本产品通过 USB 与主机连接。
深度数据采集/输出
Astra Embedded S(Deeyea)采集并输出物体在 0.25m-1.5m 间的深度数据。
深度分辨率:
• 1280x800@30FPS
• 640x400@30FPS
• 640x400@60FPS
彩色数据采集/输出(UVC)
Astra Embedded S(Deeyea)采集并输出彩色数据。
彩色分辨率:
• 1920*1080@30FPS
• 1280*720@30FPS
• 640x480@30FPS
• 640*480@60FPS
Windows系统
• Windows系统需求:Windows 7 / 10 ,32-bit / 64-bit
• USB接口需求:USB 2.0 或3.0
• 处理器需求 :双核,主频2.2GHz(或以上)
• RAM需求:建议4GB RAM(或以上)
Android
• Android 系统需求:Android 4.4 / 5.1 / 6.0 / 7.1
• USB接口需求:USB 2.0 或3.0(支持host接口)
• 处理器需求:建议RK3288(或以上)
• RAM需求:建议2GB RAM(或以上)
Linux
• Ubuntu 14.04 及以上
• USB 2.0 或3.0
• 双核,主频2.2GHz或以上
• 建议4GB RAM或以上
表9:各平台性能评测
|
全功能 |
基础性能 |
|
Windows |
配置 |
win10-x64-i7-7700K 4.2GHz |
win10-x64-AMD A12-9720P RADEON R7,12 COMPUTE CORES 4C+8G 2.7GHz |
帧率 |
Depth/IR:1280*800@30FPS |
Depth/IR:640*400@30FPS |
|
CPU占用率 |
18~20% |
40~44% |
|
Android |
配置 |
arm64-RK3399 6core 408~1512MHz |
arm32-RK3288 4core 126~1800MHz |
帧率 |
Depth:1280*800@24FPS IR:1280*800@15FPS |
Depth/IR:640*400@30FPS |
|
CPU占用率 |
29~33% |
23~25% |
|
Linux |
配置 |
arm64(英伟达TX1) GPU 256 CUDA cores CPU A57/2 MB L2 4 GB 64 bit LPDDR4 |
arm32(树莓派3B) |
帧率 |
Depth/IR:1280*800@30FPS |
Depth/IR:640*400@30FPS |
|
CPU占用率 |
138%左右 |
75~77% |
固件更新
a)固件升级不需要进入特定的模式;
b)升级固件时,请确保深度流已经关闭;
c)升级工具目前不会检查当前设备的固件版本有可能升级版本,也有可能降级版本,请确认是否需要'升级'。
更新限制
升级成功后,需要将USB线缆断开,再次插入后新的版本即可生效;(也可以确保设备USB断电)。
恢复
升级过程中确保USB线缆稳定,否则有可能导致升级失败,失败后,请将USB断开,重新插入,再次烧录即可。如果重新烧录无效可能需要返厂处理。
UVC RGB支持接口如下表所示,相关demo及示例代码请联系应用支持获取。
表10:UVC RGB支持接口
|
参数 |
接口描述 |
图像参数设置 |
分辨率 |
出厂默认 |
手动设置参数 |
||
帧率 |
出厂默认 |
|
动态帧率(10-60) |
||
亮度 |
出厂默认 |
|
手动设置参数 |
||
对比度 |
出厂默认 |
|
手动设置参数 |
||
饱和度 |
出厂默认 |
|
手动设置参数 |
||
色调 |
出厂默认 |
|
手动设置参数 |
||
清晰度 |
出厂默认 |
|
手动设置参数 |
||
增益 |
出厂默认 |
|
手动设置参数 |
||
伽玛 |
出厂默认 |
|
手动设置参数 |
||
曝光 |
出厂默认(自动曝光) |
|
手动曝光 |
||
白平衡 |
出厂默认(自动白平衡) |
|
手动白平衡 |
||
其他接口 |
镜像 |
|
旋转180° |
|
|
扫码模式/刷脸模式 |
|
|
ROI接口 |
|
|
读/写RGB_SN |
|
|
读取固件版本号 |
|
开发套件 ORBBEC SDK
ORBBEC SDK中配套NiViewer 工具,可运行于 Windows 和 Linux、Android 系统上,用于查看ORBBEC深度相机采集的彩色图像、IR图像和输出的深度图像,并提供图像设置、图像显示、设备操作等功能。
Astra Embedded S(Deeyea)产品为USB供电需要保证USB为标准的电源输出。
由于产品的特殊性,激光的峰值电流较高,条件允许的情况下建议使用USB3.0接口。
Astra Embedded S(Deeyea)接入使用USB2.0可能存在风险,导致偶发性无法驱动产品。最大驱动电流需达到1A。
下面介绍产品的基本结构。
备注:
结构尺寸数据及图片因产品具体配置差异可能会导致细微差别,请以实物为准。
Astra Embedded S(Deeyea)结构尺寸
Astra Embedded S(Deeyea)嵌入式模组尺寸为68.6mm×22.35mm×14.80mm。
图4:Astra Embedded S(Deeyea)结构尺寸
a)3D模组与外壳之间采用泡棉或Rubber密封,做防尘用;
b)安装过程中,不要对3D模组支架施加外力;
c)安装过程中,不要对3D模组支架与桥接钢片之间螺丝进行拆卸。
a)主板背面芯片需要做散热处理;
b)禁止3D模组被其他热源加热;
c)3D摄像头外壳增大内部空间,利于降低硬件工作的环境温度;
d)3D摄像头壳做散热窗结构,考虑到整机外观,可以做类似出音;孔的局部开孔或类似百叶窗的局部或大面开孔,考虑整机防水防尘,可以增加喇叭网类的辅料。
e)针对深度640*400@60FPS模式,平均功耗2.9W,长时间持续工作建议增加主动散热措施。如下散热措施仅用于参考评估,实际需根据安装条件、温度条件进行测试模拟。
A. 5V/0.12A_尺寸30mm×30mm×10mm(风量CFM5.5,转速RPM9500)
参考风扇型号:SUNON台湾建准 MC30100V1-00C-A99
B. 12V/0.05A_尺寸25mm×25mm×10mm(风量CFM3.5,转速RPM13000)
参考风扇型号:SUNON台湾建准 MC25101V1-00C-A99
注意:
安装与散热主要适用于3D模组,详细散热方案请联系深圳奥比中光科技有限有限公司销售人员。
1. 整机上前盖保护镜片需要满足如下要求:
a)光学透过率:400-1050nm全局每点透过率95%以上;
b)蓝紫区,50%透过率 ,所对应的波长小于 395nm ; 透过波面差:PV4λ以下
c)前盖镜片材质平面度要求:<0.005mm。
2. 挡板材质要求:
a)亚克力镜片材质厚度设计≥1.5mm以上,防止受力变形;
b)亚克力镜片与摄像头间距<0.5cm;
c)光学玻璃材质厚度设计需要在0.8-1.5mm;
d)镜片在Laser的透光孔处的IR油墨要求940nm透过率>85%以上;
e)机壳的保护玻璃,推荐材质建议:
Class1:蓝宝石玻璃;
Class2:康宁大猩猩玻璃;
Class3:铝硅玻璃;
Class4:亚克力PMMA/PC。
3. 丝印要求:
a)LDM/IR:可见光(420-680nm) 透过率T%=15%±5%;
红外光(925-955nm) 透过率T%≥90%;
b)RGB:可见光(420-680nm) 透过率T%≥92%。
符合Class 1 激光产品,执行标准如下:
EU & other:EN/IEC 60825-1,2014
US:IEC 60825-1,2007
图5:CLASS1激光安全认证
用户选择Astra Embedded S(Deeyea)深度相机进行开发前应先在与深圳奥比中光科技有限公司销售人员取得联系,获取用户手册并申请SDK开发包;通过评估、调试和验证等步骤确认方案是否符合量产要求。
我们为Astra Embedded S(Deeyea)深度相机提供适配各种软件平台的 SDK,您需要相应平台的SDK来开发和使用硬件设备。SDK支持多平台,Windows,Linux,Android,ROS平台。
SDK 是针对奥比中光的系列产品推出的二次开发包,用户购买产品之后,可通过奥比中光销售人员获取SDK包, 用户可以通过3D摄像头模组获取彩色图, 深度图,并可以使用相应的API接口将原始深度,彩色数据转换为点云数据。
通过使用驱动 与SDK套件即可对产品进行更多的应用层开发。
1. 阅读Astra Embedded S(Deeyea)产品说明书;
2. 购买并获取Astra Embedded S(Deeyea)样机;
3. 开发前应先在与深圳奥比中光科技有限公司销售人员取得联系,获取用户手册并申请SDK开发包;
4. 选择合适的开发平台:Windows、Linux、Android 等;
5. 根据功能进行产品开发,遇到技术问题请及时与奥比中光工作人员联系;
6. 确认终端产品的量产方案;
7. 根据量产方案对终端产品进行量产。
• 奥比中光 SDK 是针对奥比中光的系列产品推出的二次开发包, 用户可以通过 Astra Embedded S(Deeyea) 获取彩色图、 深度图,并可以使用相应的 API 接口将原始深度,彩色数据转换为点云数据;
• 安装Astra Embedded S(Deeyea)驱动后,通过 SDK 套件即可对产品进行更多的应用层开发。
1. 请按照指引正确操作机器,如非法操作可能会导致内部元件损坏;
2. 请勿摔落或撞击本产品,以防内部组件损坏及精度下降;
3. 请勿试图用任何方式修改或拆解此机器,以免造成摄像机的损坏及精度下降;
4. 产品在使用一段时间后温度升高,属于正常现象;
5. 请勿触摸镜头,以免留下异物从而影响取图效果;
6. 请勿将产品放置于孩童或动物可触动的地方,以避免意外发生;
7. 虽然本产品使用 Class1 激光器(无害免控激光器),但我们也不建议直视激光发射器超过 20 秒,以免引起不适。
奥比中光 · 3D视觉开发者社区...