(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210179894.X (22)申请日 2022.02.25 (71)申请人 华南理工大 学 地址 510641 广东省广州市天河区五山路 381号 (72)发明人 苏锦钿　张明锋　 (74)专利代理 机构 广州嘉权专利商标事务所有 限公司 4 4205 专利代理师 郑宏谋 (51)Int.Cl. G06N 5/04(2006.01) G06F 40/211(2020.01) G06F 40/30(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种自然语言推理微调方法、 系统、 装置及 存储介质 (57)摘要 本发明公开了一种自然语 言推理微调方法、 系统、 装置及存储介质， 其中方法包括： 获取前提 文本与假设文本， 对前提文本与假设文本进行分 词， 获得文本的离散编码； 将离散编码输入预训 练模型中进行句向量建模， 获得隐藏向量； 将隐 藏向量拆分为前提隐藏向量和假 设隐藏向量； 将 前提隐藏向量的句首向量输入到推理模块进行 推理任务， 并获取第一损失； 将前提隐藏向量输 入到文本生成模块进行生 成任务， 并获取第二损 失； 将第一损失和第二损失进行相加， 根据相加 获得的损失优化预训练模型、 推理模块以及文本 生成模块。 本发 明能够充分学习句子间的语义相 关性， 在原本的推理任务中取得更好的效果。 本 发明可广泛应用于自然语言推理技 术领域。 权利要求书2页 说明书7页 附图1页 CN 114626529 A 2022.06.14 CN 114626529 A 1.一种自然语言推理微调方法， 其特 征在于， 包括以下步骤： 获取前提文本与假设文本， 对前提文本与假设文本进行分词， 获得文本的离 散编码； 将离散编码输入预训练模型中进行句向量建模， 获得隐藏向量； 将隐藏向量拆分为前提隐藏向量和假设隐藏向量； 将前提隐藏向量的句首向量输入到推理模块进行推理任务， 并获取第一损失； 将前提隐藏向量输入到文本生成模块进行生成任务， 并获取第二损失； 将第一损 失和第二损 失进行相加， 根据相加获得的损 失优化预训练模型、 推理模块以 及文本生成模块。 2.根据权利要求1所述的一种自然语言推理微调方法， 其特征在于， 所述对前提文本与 假设文本进行分词， 获得文本的离 散编码， 包括： 将前提文本表示 为 其中m为前提文本的长度； 将假设文本表示 为 其中n为假设文本的长度； 将前提文本与假设文本连接起来作为联合文本， 联合文本表示为 其中， 句首的CLS作为句向量表示词， 句中SEP作为句子对的分 割词， 以及文本的结尾； 将联合文本 输入到分词器得到文本的离 散编码。 3.根据权利要求2所述的一种自然语言推理微调方法， 其特征在于， 所述将离散编码输 入预训练模型中进行句向量建模， 获得隐藏向量， 包括： 将文本的离散编码输入到预训练模型BERT中， 经过编码后获得 隐藏向量， 隐藏向量表 示为 4.根据权利要求3所述的一种自然语言推理微调方法， 其特征在于， 所述将隐藏向量拆 分为前提隐藏向量和假设隐藏向量， 包括： 将隐藏向量进行拆分得到前提隐藏向量和假设隐藏向量如下： 前提隐藏向量： 假设隐藏向量： 5.根据权利要求1所述的一种自然语言推理微调方法， 其特征在于， 所述将前提隐藏向 量的句首向量输入到推理模块进行推理任务， 并获取第一损失， 包括： 将前提隐藏向量 中的句首向量hCLS， 输入到推理模块的MLP网络中， 并根据分类器获 取样本预测类的概 率分布， 获取最大的概 率作为预测类别； 将预测类别和预设的标签进行交叉熵损失计算， 得到推理任务的第一损失。 6.根据权利要求5所述的一种自然语言推理微调方法， 其特征在于， 所述将前提隐藏向 量输入到文本生成模块进行生成任务， 并获取第二损失， 包括： 将前提隐藏向量 以及样本的标签嵌入输入到BiLSTM网络中， 其中， 前提隐藏向量 中的每个向量作为Bi LSTM网络每一个时间步的输入； 获取每一个时间步生成的单词的概率分布， 选取最高概率的单词作为输出单词， 生成 句子；权　利　要　求　书 1/2 页 2 CN 114626529 A 2将生成的句子和原本样例的假设文本进行交叉熵损失计算， 得到生成任务的第二损 失。 7.根据权利要求6所述的一种自然语言推理微调方法， 其特征在于， 所述生成任务中采 用到的标签根据推理任务是三分类还是二分类进行自适应地选择； 标签信息通过标签嵌入矩阵得到标签嵌入向量， 作为文本生成模块中BiLSTM网络的起 始输入向量， 表明当前生成的假设文本和前提文本之间的蕴含关系， 从而指导BiLSTM网络 进行生成； 利用Softmax函数计算每一步生成的单词概率分布， 选择最高的概率的单词作为最终 生成的单词。 8.一种自然语言推理微调系统， 其特 征在于， 包括： 文本分词模块， 用于获取前提文本与假设文本， 对前提文本与假设文本进行分词， 获得 文本的离 散编码； 句子建模 模块， 用于将离 散编码输入预训练模型中进行句向量建模， 获得隐藏向量； 向量拆分模块， 用于将隐藏向量拆分为前提隐藏向量和假设隐藏向量； 文本推理模块， 用于将前提 隐藏向量的句首向量输入到推理模块进行推理任务， 并获 取第一损失； 文本生成模块， 用于将前提 隐藏向量输入到文本生成模块进行生成任务， 并获取第二 损失； 网络优化模块， 用于将第一损 失和第二损 失进行相加， 根据相加获得的损 失优化预训 练模型、 推理模块以及文本生成模块。 9.一种自然语言推理微调装置， 其特 征在于， 包括： 至少一个处 理器； 至少一个存 储器， 用于存 储至少一个程序； 当所述至少一个程序被所述至少一个处理器执行， 使得所述至少一个处理器实现权利 要求1‑7任一项所述方法。 10.一种计算机可读存储介质， 其中存储有处理器可执行的程序， 其特征在于， 所述处 理器可执行的程序在由处 理器执行时用于执 行如权利要求1 ‑7任一项所述方法。权　利　要　求　书 2/2 页 3 CN 114626529 A 3