(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210678796.0 (22)申请日 2022.06.15 (71)申请人 清华大学 地址 100084 北京市海淀区清华园1号 (72)发明人 李骏　张新钰　王力　冉冠阳　 黄健耕　周沫　 (74)专利代理 机构 北京三聚阳光知识产权代理 有限公司 1 1250 专利代理师 张建纲 (51)Int.Cl. G06T 17/00(2006.01) G06T 7/277(2017.01) G06T 7/80(2017.01) G06T 7/73(2017.01) G06V 10/774(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于路侧点云补全的三维目标检测方 法 (57)摘要 本发明属于自动驾驶领域， 尤其涉及一种基 于路侧点云补全的三维目标检测方法， 所述方法 包括： 将采集的点云数据输入预先建立和训练好 的点云补全模型， 得到完整点云的高维特征； 将 完整点云的高维特征输入预先建立和训练好的 目标检测网络实现三维目标检测； 所述点云补全 模型， 基于蒙面自动编码器的设计思想， 采用注 意力机制实现从不完整的点云中提取完整点云 的高维特征。 基于本发明的方法， 对现有的三维 目标检测算法进行微调即可， 具有很高的灵活 性， 并可以达 到更高的三维目标检测精度。 权利要求书2页 说明书8页 附图2页 CN 114972654 A 2022.08.30 CN 114972654 A 1.一种基于路侧点云补全的三维目标检测方法， 所述方法包括： 将采集的点云数据输入预先建立和训练好的点云补全模型， 得到完整点云的高维特 征； 将完整点云的高维特 征输入预 先建立和训练好的目标检测网络实现三维目标检测； 所述点云补全模型， 基于蒙面自动编码器的设计思想， 采用注意力机制 实现从不完整 的点云中提取完整点云的高维特 征。 2.根据权利要求1所述的基于路侧点云补全的三维 目标检测方法， 其特征在于， 所述点 云补全模型为Tr ansformer模型的编码器， 输入为点云， 输出为完整点云的高维特征， 所述 编码器由L个块重复堆叠， 每个块包括由残差结构和层归一化连接的多头 自注意力机制与 多层感知机 。 3.根据权利要求2所述的基于路侧点云补全的三维 目标检测方法， 其特征在于， 所述多 头自注意力机制包括多个自注 意力模块， 每个自注意力模块通过三个可学习的变换矩阵Q、 K、 V生成输入点云之间的关系矩阵A ttention(Q,K,V)： 其中， dk是Q、 K矩阵的列数， 即向量维度， softmax( ·)为归一化指数函数， T表示 转置； 所述多层感知机包括两层全连接层， 第一层全连接层的激活函数为ReLU， 第二层全连 接层不使用激活函数。 4.根据权利要求3所述的基于路侧点云补全的三维 目标检测方法， 其特征在于， 所述方 法还包括对点云补全 模型进行训练的步骤； 具体包括： 步骤1)在路侧设备部署预先标定好的多线激光雷达和四个相机， 其中， 以多线激光雷 达为中心， 四个相机围绕部署在多 线激光雷达的周围， 分别指向路口 的四个方向； 步骤2)通过位于十字路口的路侧设备录制连续的点云数据和图像数据； 将点云和图像 进行物体标注， 分别生成3D检测框和2D检测框， 使用外参矩阵完成两种检测框的对应； 步骤3)以步骤2)的点云数据作为原始点云数据集， 并结合对应的两种检测框完成原始 点云数据集的标注； 步骤4)结合跟踪算法， 对标注的原 始点云数据集进行补全， 得到补全点云数据集； 步骤5)以原始点云数据 集为输入数据， 以补全点云数据 集为真值， 对Transformer模型 进行训练， 直至满足训练要求， 使Transformer模 型的编码器能够从原始 点云中提取补全点 云的高维特征， 得到训练好的Transformer模型， 进而 得到点云补全模型； 所述Transformer 模型包括依次连接的编码器、 解码器和线性变换层。 5.根据权利要求4所述的基于路侧点云补全的三维 目标检测方法， 其特征在于， 所述步 骤2)包括： 将路侧设备设置在十字路口， 四个相机对准四条道路， 获取点 云数据PCDi和四个相机拍 摄的图像cij， 其中， i表示第i帧， 为正整数， j 表示第j个相机拍摄到的十字路口图像， 1≤j≤ 4； 按激光雷达的频率， 将点云与图像进行帧对齐； 对帧对齐的点云和图像进行标注， 获取每一帧点云和图像中的检测框， 所述检测框包权　利　要　求　书 1/2 页 2 CN 114972654 A 2括3D检测框和2D检测框； 使用提前 标定好的外参矩阵将每一帧的3D检测框和2D检测框进行对应。 6.根据权利要求5所述的基于路侧点云补全的三维 目标检测方法， 其特征在于， 所述步 骤4)包括： 步骤4‑1)将每帧点云和标注的检测框依次输入跟踪算法， 生成每个检测框对应的ID 号； 步骤4‑2)提取第i帧点云经跟踪算法生成的ID号为p的检测框内的点云， 根据下式变换 到各自的车辆坐标系中： 式中， [x′,y′,z′]p表示ID号为p的检测框在车辆坐标系下的真值点云， conc ate(·)表 示合并操作， [x,y,z]ip表示第i帧ID号为p的检测框内的所有点云在雷达坐标系中的坐标， θip表示第i帧ID号为p的检测 框与雷达坐标系y轴 正方向的夹角， [xc,yc,zc]ip表示第i帧ID 号为p的检测框中心点在雷达坐标系中的坐标； 步骤4‑3)对于同一 ID号的点云进行融合， 否则记录该ID号的点云； 步骤4‑4)当遍历完所有帧， 转至步骤4 ‑5)， 否则， 令i+1， 转至步骤4 ‑2)； 步骤4‑5)将基于车辆坐标系的同一ID号的点云生成点云真值GTp， 经降采样， 再经逆变 换转换回雷达坐标系中； 步骤4‑6)将转换回雷达坐标系的GTp点云填充进每一帧原始点 云同ID号的检测框中， 生 成全域补全的点云地图， 进 而得到补全点云数据集。 7.根据权利要求4所述的基于路侧点云补全的三维 目标检测方法， 其特征在于， 所述解 码器包括两个级联的多头自注意力机制和一个多层感知机 。 8.一种基于路侧点云补全的三维 目标检测系统， 其特征在于， 所述系统包括： 点云补全 模型、 目标检测网络、 高维特 征输出模块和三维目标检测输出模块； 所述高维特征输出模块， 用于将采集的点云数据输入预先建立和训练好的点云补全模 型， 得到完整点云的高维特 征； 所述三维 目标检测输出模块， 用于将完整点云的高维特征输入预先建立和训练好的目 标检测网络实现三维目标检测； 所述点云补全模型， 基于蒙面自动编码器的设计思想， 采用注意力机制 实现从不完整 的点云中提取完整点云的高维特 征。 9.一种计算机设备， 包括存储器、 处理器及存储在所述存储器上并可在所述处理器上 运行的计算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要求1至7 中任一项所述的方法。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储有计算机程 序， 所述计算机程序当被处理器执行时使 所述处理器执行如权利要求1至7任一项 所述的方 法。权　利　要　求　书 2/2 页 3 CN 114972654 A 3