安卓手机具备camera imu gps等SLAM技术所需要的传感器,且安卓手机很普及,如果能使用安卓设备作为ros的sensor,通过安卓设备节点传输到计算机,进行实时定位与建图分析,那么这项技术将变得很易用。
以下介绍并不是事无巨细的介绍,要求阅读者有强大的动手能力,资料查阅能力,对linux系统,opencv,slam技术,ROS,android studio应用开发,python,C++都有一定程度的了解。
是我个人在实现过程中解决问题途径的记录,很多东西是我在网上没有找到的,希望能给大家带来帮助。
ubuntu18系统下应该安装melodic
启动ros内核
查看topic列表
显示某个topic
显示某个topic的header
将compressed格式转为raw格式
限制topic频率
录制rosbag包
播放与加速播放rosbag
安装rviz
----------------------
启动rviz
安卓ROS SENSOR开源库链接
----------------------
这里注意修改相机分辨率到合适的大小,本文选择640x480
需要使用android studio同时挂好梯子,将android studio中的代理设置好
Kalib的个人发现难以直接使用
需要git clone进行编译
参考链接如下
编译过程中坑很多,如果遇到如找不到lblas等报错,可以考虑apt remove相关库后重新安装
过程中需要apt安装大量库
需要用到catkin(ros专用编译系统)
需要建立catkin空间,并在空间目录下新建src文件夹用于存放源码,切换到空间目录下可以执行指令进行编译,编译完成后注意添加系统变量。
我重写了一版本Python3的
----------------------
也是使用catkin进行编译
中间坑挺多的
录制一个将SENSOR静止放置一段时间,推荐2小时的IMU数据bag
随后标定得到重力与加速度的噪声,随机走动等参数
这里可以录制图片bag包,使用Kalibr中的程序进行标定,输出相机标定结果文件
为了提高标定效果,这里推荐如下进行操作
并使用Kalib中的提取程序提取得到图片
并使用matlab进行标定,得到的数据如何转化为Kalib和SLAM需要的格式可以参考我的另一篇文章
得到相机标定数据后,替换到相机标定结果文件中
从安卓手机中直接抓取到的bag包有以下问题存在
- IMU信息无法被Kalib直接读取
- IMU和CAMERA的时间戳可能不在一个范围
- IMU和CAMERA的时间戳可能不同步
这里分别有两个脚本解决以上问题
对于IMU信息无法直接读取的,使用以下脚本,在python2下运行
对于2,3两个问题,需要使用以下脚本来解决
这里简单介绍下原理
我的手机华为Mate30,IMU的频率为100,相机频率30
需要将相机的时间戳对齐到IMU中,这里将遍历ROSBAG中的所有信息
对于CAMERA信息,我们将其时间戳跟改为上一个IMU的时间戳,这样实现了CAMERA和IMU的时间戳对齐
这里需要编译安装opencv,等一系列库,同时也需要更改一些代码
在ROS相关的源码中,需要将topic根据实际情况进行改变
同时,可以用手机录制一个具有camera和IMU的bag,并用单目和单目+IMU进行测试
注意,这个录制的bag,也需要经过两个脚本以处理时间戳问题