基于机器学习的行人惯性里程计

发布时间:[2022-11-13] 来源:[王琰 旷俭 牛小骥] 点击量:[3007]


长期以来行人航位推算(PDR)的稳健性受到手机使用模式切换的破坏,而精度受到轨迹航向漂移的干扰。为此我们提出了一种基于轻量化机器学习并加入磁航向约束的行人惯性里程计,显著改善了稳健性和精度;轻量化的网络结构也使其计算效率可用于现有高端手机。


    行人定位方案中广泛采用了多传感器融合技术以实现更好的精度,其中基于IMU的航位递推是融合方案的骨干技术,起到“穿针引线”的关键作用。近年来,由于基于脚步模型的航位推算(PDR)难以适应复杂多样的真实用户动态场景,而基于机器学习的惯性里程计(Learned Inertial Odometry, LIO)在类似场景表现出非常稳健的定位性能,因此受到越来越多的关注。

    但目前LIO算法仍然受到以下两个问题的困扰:

1. 室内环境下LIO轨迹的航向发散会严重影响其定位精度,为此有必要利用地磁信息来抑制航向发散(即磁罗盘)。然而室内地磁场被建筑结构中的铁磁性材料严重干扰,局部磁场航向不可信,需要更有效的方法来合理利用室内地磁场。

2. 现有的LIO算法直接使用了视觉领域的经典网络模型,计算效率较低。面向实际应用存在功耗过大、CPU占用率过高的问题,不适于手机和智能穿戴产品。

针对以上问题,我们做出了以下两点改进:

1. 室内“宏观磁航向”辅助 LIO[1]:

    室内磁场虽然在局部容易受到建筑结构影响存在明显的扰动,但宏观来看大范围内的平均磁场航向仍是较为稳定的地磁方向。使用图优化方法融合 LIO (Learned Inertial Odometry)和宏观磁场航向信息(如图1框图所示),不但能够像所有基于深度学习的惯性里程计一样适应复杂多变的行人动态和手机持握方式,而且能应对剧烈扰动的室内磁场干扰,保持准确的轨迹航向。该算法在典型场景(办公楼、图书馆、地下车库、商场等)测试中达到了非常一致的定位性能,例如在大型商场中行走 600m 轨迹的平均定位误差约 2.3m,航向误差约2°(RMS)。

    图2展示了测试参考轨迹和轨迹上不同位置对应的磁航向。可以看出,尽管局部区域的磁航向有较大的扰动,但是整片区域的平均磁航向稳定一致。基于此设计的航向估计算法受到室内局部磁场扰动影响较小。图3展示了参考轨迹真值(灰色)和不同算法估计的轨迹,我们团队提出的算法(Graph-Based)获得了最高的轨迹估计精度。


1668327913275002858.png

图1:基于机器学习和磁航向辅助的行人惯性里程计算法框图

图片2.png

图2:室内行人轨迹上不同位置的磁航向

图片3.png

图3:不同算法估计的测试轨迹(灰色轨迹为参考真值,红色轨迹为提出的方法)


2. LIO 的网络结构轻量化[2]:

    基于 IMU 数据特性与视觉图像数据特性的差异,从感受野(Receptive Field)和归纳偏置的角度考虑,我们团队提出使用1D ResMLP 模型替代 1D ResNet。在定位精度不出现明显损失的条件下,端侧(华为Mate 30,多核运行)单次推理时间从现有方法的 6.1ms减少到 0.5ms,效率提升 12 倍;每处理1秒数据需要运行网络推理10次,共需要消耗5ms计算时间。

    图4给出了不同网络模型的推理精度和推理时间的关系,其中ResMLP512,ResMLP256和ResMLP128为团队提出的算法(红色)。可以看到,相对于主流网络ResNet(黑色),团队提出的算法在端侧的推理速度提高了一个数量级;且与其他轻量化网络结构模型(蓝色)相比,也有明显的效率优势。

图片4.png

图4:不同网络模型的推理精度(1秒数据神经网络推理的平均误差)和推理时间的关系


总结:

    我们在基于机器学习的惯性里程计(LIO)中加入了“宏观磁航向”约束,提高了推算定位精度,并采用了1D ResMLP深度学习网络提高了计算效率。在大型商场的实验结果中LIO展现了出色的递推精度,600m轨迹能保持米级定位误差;计算效率相对于前人方案提升了一个量级,在高端手机上初步达到了实用水平。

    后续我们将继续做算法轻量化努力,并让网络给出定位结果的误差水平,以及尝试个人定制的LIO模型训练方法。

参考文献:

[1] Yan Wang, Kuang, J., Li, Y., Niu, X. (2022). Magnetic Field-Enhanced Learning-Based Inertial Odometry for Indoor Pedestrian. IEEE Transactions on Instrumentation and Measurement, 71, 1 – 13.  [PDF]

[2] Yan Wang, Kuang, J., Niu, X., Liu, J. (2022). LLIO: Lightweight Learned Inertial Odometer. IEEE Internet of Things Journal.  [PDF]


版权所有:武汉大学多源智能导航实验室(微信公众号:i2Nav) 当前访问量: 技术支持:武汉楚玖科技有限公司