深度学习多模态融合的激光雷达点云与视频图像目标检测研究

程 晓悦1, 严 璐1, 冯 迎东1, 刘 科岢1, 张 恒畅2
1、南京莱斯信息技术股份有限公司
2、南京航天航空大学数学学院

摘要


随着智慧机场、飞机自动泊位引导系统、机坪安全监控以及跑道入侵监控等航空安全管理技术的快速发展,
机场场景对多源感知数据的高精度、实时性与鲁棒性提出更高要求。激光雷达点云具备三维空间尺度稳定的优势,
视频图像在纹理、边缘与语义层面表现突出,将二者进行深度学习框架下的多模态融合,有助于提升机场关键区域
的目标识别性能。本文在梳理多模态检测研究现状的基础上,围绕特征对齐、融合策略与网络结构展开研究,通过
构建点云与图像的统一特征表达空间,并比较显式与隐式融合在航空场景中的性能差异,提出适用于机坪复杂动态
环境的新型融合模型。实验结果表明,多模态融合技术在机坪车辆调度、飞机滑行监测、跑道异物检测等场景中显
著提升目标检测鲁棒性,可为智慧机场核心安全系统提供方法参考。本文进一步展望了该技术在未来机场智能化中
的发展方向。

关键词


激光雷达点云;视频图像;多模态融合;深度学习;智慧机场检测

全文:

PDF


参考


[1]张伟,李强.激光雷达点云处理技术研究进展[J].

计算机工程,2022.

[2]刘芳,周凯.基于深度学习的图像目标检测综述

[J].软件学报,2021.

[3]王磊,陈晨.多模态融合技术在自动驾驶中的应

用研究[J].电子技术应用,2023.


Refbacks

  • 当前没有refback。