(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111639065.7 (22)申请日 2021.12.2 9 (71)申请人 北京大学口腔医学院 地址 100081 北京市海淀区中关村南大街 22号-北京大 学口腔医院 申请人 北京邮电大 学 (72)发明人 赵一姣　傅湘玲　王勇　朱玉佳　 付子旺　许晴　温奥楠　陈虎　 萧宁　高梓翔　 (74)专利代理 机构 北京神州华茂知识产权有限 公司 11358 专利代理师 吴照幸 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/778(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/82(2022.01) (54)发明名称 一种三维人脸标志点智能确定方法 (57)摘要 本发明涉及一种三维人脸标志点智能确定 方法， 有以下步骤： (1)三维颜面数据渲染多视 图； (2)多视图堆叠沙漏神经网络模型构建二维 热图； (3)三维颜面标志点自动确定； 本发明提出 了基于虚拟相机的三维人脸多视图渲染， 实现三 维模型与二维深度图像的变换； 采用堆叠沙漏神 经网络及层级注意监督模块信号实现三维颜面 解剖标志点的自动确定， 实现了符合专家诊断策 略的标志点智能确定效果。 权利要求书1页 说明书5页 附图1页 CN 114529967 A 2022.05.24 CN 114529967 A 1.一种三维人脸标志点智能确定方法， 其特 征在于包括以下步骤： (1)三维颜面数据渲染多视图： 设置虚拟相机焦点位于三维颜面数据几何中心焦点， 由虚拟相机拍摄三维人脸不同角 度的数十个随机位置图像， 每个视图需包含该角度下 的完整面部二维 图像， 并对上述数十 个二维视图渲染得到其深度图像， 视图渲染过程基于pytho n开源工具包 vtk实现； (2)多视图堆叠 沙漏神经网络模型构建二维热图： 应用算法训练的多视图堆叠沙漏神经网络模型， 分别计算上述步骤(1)构建的数十个 二维视图的二维热图。 (3)三维颜面标志点自动确定： 通过虚拟相机矩阵的映射实现将标志点二维热图坐标投影到的三维颜面数据相应位 置的结果， 即实现自动确定三维颜面数据的标志点。 2.根据权利要求1所述的一种三维人脸标志点智能确定方法， 其特征在于： 所述步骤 (1)的算法虚拟相机的焦点是 人脸模型的几何中心， 坐标系的原点。 3.根据权利要求1所述的一种三维人脸标志点智能确定方法， 其特征在于： 所述多视图 堆叠沙漏神经网络模型还包括多层级注意力机制的监督模块， 以进一步提高表征 空间的能 力。 4.根据权利要求1所述的一种三维人脸标志点智能确定方法， 其特征在于： 所述多视图 沙漏神经网络模型由pytorch框架进行编写， 使用0.001的初始学习率， 100个迭代次数， 设 置8个批量大小。权　利　要　求　书 1/1 页 2 CN 114529967 A 2一种三维人脸标志点智能确定方 法 技术领域 [0001]本发明涉及三维人脸标志； 具体涉及一种三维人脸标志点智能确定方法。 背景技术 [0002]三维人脸标志是重要的颜面部解剖 特征， 也是进行颜面形态分析的重要依据， 在 口腔正颌外科、 口腔正畸、 口腔修复等学科有着广泛的应用， 在人脸识别、 人脸跟踪、 表情分 析、 人脸建模等领域标志点也具有非常重要的作用。 随着三维扫描设备 的广泛应用和标志 点自动确定临床需求迫切， 高效、 自动确定颜面标志点成为研究热点。 [0003]三维颜面解剖标准点的准确确定是进行三维颜面分析基础和前提， 直接影响口腔 正畸、 颌面外科和口腔修复的手术设计和治疗评价。 既往研究多采用人工手动标志点的方 式， 工作量大、 经验依赖性强。 因此， 如何实现三维颜面解剖标志点的自动、 准确和 高效确 定， 是自动化 算法和智能化 算法都有 待解决的关键问题。 [0004]1堆叠沙漏网络模型 [0005]堆叠沙漏网络模型最初是用于人体姿态估计， 网络捕获并整合图像的所有尺度信 息， 基于下采样和上采样结合的方式来实现像素级别的特征提取。 该网络与沙漏形状相似 且呈对称装。 如图1所示， 每个方框表 示该阶段各个 关键点的Feature  Map(特征图像)。 在沙 漏网络的前半部分每层网络通过三个残差模块及下采样(Max  Pooling)操作得出分辨率逐 渐降低的Feature  Map(特征图像)， 向后续传递到中心得出最低分变率， 后半部分每层网络 通过上采样(Nearest  Neighbor  Interpolation)和一个残差模块逐步恢复高分辨率的 Feature Map(特征图像)。 通过沙漏网络跳跃层经过逐步提取向沙漏网络的后半部分传递 关节特征。 最后， 将跳跃层保留的各尺度特征与后半部 分低分辨率特征进 行融合。 沙漏网络 以其自下而上， 自上而下的独特结构将网络低层次和高层次的Feature  Map(特征图像)联 合起来， 捕捉关键点的空间位置信息 。 [0006]同时， 该网络考虑到关键点之间是可以相互参考预测的， 既然热力图代表了输入 对象的所有关键点， 那么热力图就包含了所有关键点的相互关系。 因此， 堆叠的结构 便是将 第一个沙漏网络给出的热力图作为下一个沙漏网络的输入， 就意味着第二个沙漏网络可以 使用关节点件的相互关系， 从而提升了关节点的预测精度。 2020年2月26 日， 在百度搜索的 论文： 人工智能HourglassNet堆叠沙漏网络(论文地址:https://arxiv.org/abs/ 1603.06937)， 就是这种堆叠沙漏网络模型。 但 这种堆叠沙漏网络模 型仅仅用于人体姿态估 计， 没有用于口腔临床医学的三维人脸标志点的多视图堆叠 沙漏神经网络技 术方案。 [0007]2国内外研究发展动态及现状 [0008]既往文献中自动确定颜面标志点主要分为几何信息分析类算法和机器学习算法。 几何信息分析类算法根据颜面几何形态变化自动确定， 2016年Kat ina等基于三维颜面数据 表面的曲率分类， 自动确定17个标志点， 但该方法在面部几何特征不明显区域的标志点定 位效果欠佳； 2017年， 梁艳等利用HK曲率分析结合对颜面部几何形状的先验知识， 提出了一 种在三维颜面数据上自动确定8个解剖标志点的方法。说　明　书 1/5 页 3 CN 114529967 A 3