(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210664896.8 (22)申请日 2022.06.13 (71)申请人 湖北工业大 学 地址 430068 湖北省武汉市洪山区南李路 28号 (72)发明人 张明武　刘沣啸　 (74)专利代理 机构 武汉科皓知识产权代理事务 所(特殊普通 合伙) 42222 专利代理师 肖明洲 (51)Int.Cl. G06F 21/60(2013.01) G06F 21/62(2013.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种神经网络训练中不完整数据的隐私保 护方法及系统 (57)摘要 本发明提供了一种神经网络训练中不完整 数据的隐私保护方法及系统， 参与者包括可信的 第三方TA、 数据提供者DP、 云服务器CS； 假设有T 个参与训练的数据提供者DP， 可信机构TA为每个 DP生成并分发密钥， 不参与任何计算。 DP拥有一 个专用数据集， 希望与其他参与者在任意划分的 数据集上进行协作式的神经网络学习， 通过接入 云端保持在线。 DP之间不会向TA以外的任何参与 方披露各自的隐私数据。 DP也不允许CS了解原始 数据集和训练的中间结果等敏感信息。 本发明让 云服务器CS 对加密后的数据集进行填补， 于神经 网络中进行训练， 直至满足终止条件。 本发明不 仅保证了神经网络中分布式训练时数据的隐私， 且具备良好的通信和运算效率， 同时拥有较高的 扩展性。 权利要求书3页 说明书6页 附图2页 CN 115033903 A 2022.09.09 CN 115033903 A 1.一种神经网络训练中不完整数据的隐私保护方法， 参与者包括可信中心TA、 T个参与 训练的数据提供者D P、 云服务器CS； 其特征在于， 所述方法包括以下步骤： 步骤1： 可信中心TA为数据提供者D P生成密钥； 步骤2： 数据提供者D P加密数据并使用云服 务器CS对缺失数据填补； 步骤3： 构建反向传播神经网络BPN N， 定义训练参数； 步骤4： 数据 提供者DP输入加密 数据至反向传播神经网络BPNN， 数据提供者DP和云服务 器CS共同使用基于HE的安全内积运算和安全求和运算， 反向传播神经网络BPNN开始多轮训 练； 步骤5： 反向传播神经网络BPN N达到收敛并满足 终止条件后结束训练。 2.根据权利要求1所述的神经网络训练中不完整数据的隐私保护方法， 其特征在于， 步 骤1的具体实现包括以下子步骤： 步骤1.1： 可信中心TA生成阶为n＝q1q2循环群G和G1， 其中q1和q2为大素数， 且满足双线 性映射e： G ×G→G1； 步骤1.2： 可信中心TA随机 选择两个生成元g， u ∈G， 计算 步骤1.3： 可信中心TA将q1分为q1＝(q11+q12+…+q1T)mod n， 其中q1s随机从Zn中选出， 1≤ s≤T， T表示DP的数目， Zn表示小于n的非负整数集； 可信 中心TA把q1s发给各个数据提供者 DP， 作为每 个数据提供者D P的私钥； 步骤1.4： 取PK＝{n， G， G1， e， g， h}作为公钥， 主私钥SK＝q1仅可信中心TA拥有。 3.根据权利要求2所述的神经网络训练中不完整数据的隐私保护方法， 其特征在于， 步 骤2的具体实现包括以下子步骤： 步骤2.1： 在明文空间中随机 选择 输入明文m和公钥PK， 加密数据C＝gmhr∈G； 步骤2.2： 数据提供者DP将不完整的加密 数据上传至云服务器CS， 云服务器CS使用多重 插补法填补缺失值， 获得一个完整的加密数据矩阵。 4.根据权利要求3所述的神经网络训练中不完整数据的隐私保护方法， 其特征在于： 步 骤3中， 所述反向传播神经网络BPNN包括输入层、 隐藏层、 输出层， a， b， c分别代表输入层、 隐 藏层、 输出层的节点数量， 使用Sigmo id激活函数， 交叉熵作为损失函数； 用 于 在 所 述 反 向 传 播 神 经 网 络 B P N N 中 训 练 的 数 据 集 有 N 条 样 本 每条样本中的数据可以任意归属于 不同的参与者， 初始化权 值 wh、 wo， 并自定义学习率η、 训练周期； 其中wh、 wo分别表示输入层和隐藏层、 隐藏层和输出层 之间的权值； 在所述反向传播神经网络BPNN中每次迭代都要通过前馈和反馈阶段最终更新权值w＝ w‑ηΔw， 而 其中， E为损失函数； 根据交叉熵损失函数和反 向传播的过程， 权值的变化即误差对权值的偏导数用以下方 法计算： 权　利　要　求　书 1/3 页 2 CN 115033903 A 2其中 代表连接隐藏层和输入层的权值， j和k是隐藏层和输入层的节点序号， 这样写 表示为连接隐藏层和输入层的权值； 代表连接输出层和隐藏层之间的权值， i和j 是输出 层和隐藏层的节点序号； hj、 oi为隐藏层和输出层的输出值， yi为用于计算 误差的目标值。 5.根据权利要求4所述的神经网络训练中不完整数据的隐私保护方法， 其特征在于： 步 骤4中， 所有的数据提供者DP都产生并分配随机权值 和 给每个数据提供者DP， 并在 训练开始前对每个输出层节点的最大迭代次数iterationmax、 学习率η、 误差阈值和目标值 yi达成一致； 在前馈阶段， 所有数据提供者DP的加密数据输入所述反向传播神经网络BPNN， 为保护 隐私， 由云服务器CS使用安全的内积与求和 计算， 各数据提供者DP只能获得加密过的中间 值的随机份额， T个数据提供者D P的随机份额 δs满足以下等式： 其中， xk是输入层节点的输入数据， 满足xk＝xk1+xk2+…+xkT， xks为DP持有的数据； 表 示连接输入层和隐藏层的权值， 满足关系 其中 是分配给 DP的随机权值； 然后各数据提供者DP再使用泰勒级数做线性运算， 用于拟合si gmoid激活函数， 并获得 在隐藏层激活后的输出份额 满足以下等式： 其中， 是隐藏层各节点的输出值； 则是每个参与者持有的份额， s代表DP的序号； 表示使用激活函数处 理隐藏层数据的结果； 在输出层上， 各 数据提供者D P获得由云服 务器CS计算的秘密份额 ois， 并满足以下等式： 其中， 表示参与者持有的随机 输出层权值， s是D P的序号； 云服务器CS与所有数据提供者DP使用安全的内积与求和运算， 计算出输出值与预期值 的误差， 当误差超过了设定的阈值， 进入反向传播阶段； 对于每个输出层节点i∈[1， c]， 使用安全内积和求和运算， 并让每个数据提供者DP获 得随机加密份额 满足以下等式： 对于每个隐藏层节点j∈[1， b]， 使用安全内积和求和运算， 并让每个数据提供者DP先 后获得随机加密份额 εis和 ζis， i∈[1， c]， 满足以下等式：权　利　要　求　书 2/3 页 3 CN 115033903 A 3