(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210183917.4 (22)申请日 2022.02.28 (71)申请人 山东大学 地址 250013 山东省青岛市 即墨区滨 海路 72号 (72)发明人 徐明辉　程业　邹宗瑞　赵廷森　 于东晓　 (74)专利代理 机构 青岛华慧泽专利代理事务所 (普通合伙) 37247 专利代理师 马千会 (51)Int.Cl. G06N 20/20(2019.01) G06F 21/64(2013.01) H04L 9/30(2006.01) H04L 9/32(2006.01)H04L 67/1097(2022.01) (54)发明名称 基于拜占庭容错与隐私保护的去中心化机 器学习方法 (57)摘要 本发明涉及区块链、 机器学习技术领域， 具 体涉及基于拜占庭容错与隐私保护的去中心化 机器学习方法及系统。 一种基于拜占庭容错与隐 私保护的去中心化机器学习方法， 包括： 初始化 阶段： 每个节点生成一个密钥对(pk， vk)和唯一 标识符id， 所有节点建立连接； 每个节点初始化 其信誉值ω、 学习速率γ以及训练轮数T、 梯度、 参数； 训练阶段： 所有节点都以相同的初始参数 开始训练， 每轮训练包括梯度计算和区块链共 识； 其中区块链共识由本轮选举出的领导节点负 责。 本发明提供的方法， 使用拜占庭共识算法确 保了多轮模 型转换的一致性， 同时提供了在每轮 检测和过滤拜占庭梯度的有效方法。 节点使用本 地训练数据计算梯度， 只与节点共享受扰动梯 度， 提供强大的隐私保护功能。 权利要求书2页 说明书7页 附图1页 CN 114595836 A 2022.06.07 CN 114595836 A 1.一种基于拜占庭容 错与隐私保护的去中心化机器学习方法， 其特 征在于， 包括： 初始化阶段： 每个节点生成一个密钥对(pk， vk)和唯一标识符id， 所有节点建立连接； 每个节点初始化 其信誉值 w、 学习速率γ以及训练轮数T、 梯度、 参数； 训练阶段： 所有节点都以相同的初始参数开始训练， 每轮训练包括梯度计算和区块链 共识； 其中区块链共识由本轮选举出的领导节点负责。 2.根据权利要求1所述的基于拜占庭容错与隐私保护的去中心化机器学习方法， 其特 征在于： 所述的领导节点 通过以下步骤选举： (1)各节点利用自己的私钥和可验证随机数函数产生随机数以及证明， (h， π)＝VRF (sk， seed)， 其中h为产生的随机数， π为证明， sk为节点的私钥， seed为用于产生随机数的随 机种子； (2)参与竞争的节点i将其(hi， πi)广播到网络中， 并接收到来自其他节点j的(hj， πj)后， 进行验证， 若验证通过， 节点 i将(hj， πj， idj)插入到其本地的候选人列表Li中； (3)在到达选举的时间限制之后， 所有节点从候选人列表中选出最大的随机数hmax， 其 对应的节点将成为本轮训练的领导节点。 3.根据权利要求1所述的基于拜占庭容错与隐私保护的去中心化机器学习方法， 其特 征在于： 所述梯度计算过程中， 每个节点具有一个随机梯度和一个高斯噪声扰动梯度， 具体 包括： (1)节点i计算本地局部的随机梯度 其中 为在本地数据集Di中 的随机取样； t 表示轮次， t∈ T； i＝1， 2， ...， n， n为节点数； (2)产生一个随机的高斯噪声 该高斯噪声的方差用输入变量 σ 来表示， 有 (3)将该高斯噪声 添加到共享的局部梯度 上， 获得扰动梯度： (4)节点i将扰动梯度 广播出去， 同时接受其 他节点广播的扰动梯度。 4.根据权利要求3所述的基于拜占庭容错与隐私保护的去中心化机器学习方法， 其特 征在于： 所述区块链共识采用拜占庭容 错协议作为系统的共识 协议， 包括四个步骤： (1)PRE‑PREPARE阶段： 领导节点利用拜占庭梯度聚合 规则函数计算聚合梯度 形成一个记录聚合梯度Δ(t)的新区块 之后领导节点广播 预准备消息 (2)PREPARE阶段： 所有的跟随节点基于局部扰动梯度计算 跟随节点在收到领导节点发布的预准备消息之后， 验证 是否成立； 如果验 证通过， 跟随节点广播 准备消息 (3)COMMIT阶段： 如果节点收到2f+1个准备信息， 该节点广播 一个决策消息 并且该节点进入决策阶段； 其中f为拜占庭 节点数； (4)DECIDE阶段： 如果节 点收到2f+1个决策消息， 该节点向本地的区块链 追加一个 新的区块 节点利用区块 中的聚合梯度Δ(t)更新其局部梯度 权　利　要　求　书 1/2 页 2 CN 114595836 A 25.根据权利要求4所述的基于拜占庭容错与隐私保护的去中心化机器学习方法， 其特 征在于： 在DE CIDE阶段， 当节点的随机梯度与聚合梯度的差值大于 时， 更新其信誉值： 其中， c为常数。 6.根据权利要求4所述的基于拜占庭容错与隐私保护的去中心化机器学习方法， 其特征在 于： 当共识时间超过设定时间后， 每个节点广播一个变更消息 如果节点收到2f+1个 变更消息， 则放弃本轮训练。 7.根据权利要求1 ‑6任一项所述的基于拜占庭容错与隐私保护的去中心化机器学习方 法， 其特征在于： 所有节点都具有相同的初始信誉值。 8.根据权利要求2 ‑6任一项所述的基于拜占庭容错与隐私保护的去中心化机器学习方 法， 其特征在于： 信誉值 为0的节点， 不能参与领导节点的竞选 。 9.一种基于拜占庭容错与隐私保护的去中心化机器学习系统， 其特征在于： 运行该系 统能够实现如权利要求1 ‑6任一项所述的方法步骤。权　利　要　求　书 2/2 页 3 CN 114595836 A 3