(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210063290.9 (22)申请日 2022.01.20 (71)申请人 浙江大学 地址 310013 浙江省杭州市西湖区浙大路 38号 (72)发明人 周清炀　李荣鹏　赵志峰　张宏纲　 (74)专利代理 机构 北京志霖恒远知识产权代理 事务所(普通 合伙) 11435 专利代理师 张荣鑫 (51)Int.Cl. G06F 40/30(2020.01) G06F 40/126(2020.01) G06F 40/289(2020.01) G06F 40/242(2020.01) G06F 40/284(2020.01) (54)发明名称 一种语义 通信的重传方法 (57)摘要 本发明提出了一种语义通信的重传方法， 提 出了基于语义通信的重传方式， 相较于遇到差错 时， 直接重传信息， 该方法有效的利用了之前传 输的信息， 通过将重传的信息与最初传输的信息 的整合， 有校的提高了重传的准确率。 提出了两 种具体的重传方案， 一种方案是多解码器方式， 采用不同输入维度的解码器， 在重传时候， 采用 更大输入维度的解码器整合多次的传输信息， 进 行一个信息解码。 另 一种方案是单解码器方式， 直接采用一个大输入维度的解码器， 在信息未重 传时， 对剩余的空维度采取一个自动补零的方 式， 节约了 接收方的内存 使用。 权利要求书2页 说明书5页 附图1页 CN 114564963 A 2022.05.31 CN 114564963 A 1.一种语义 通信的重传方法， 其特 征在于， 包括如下步骤： S1、 训练重传方式， 所述重传方式包括多解码器方式和单解码器方式； S2、 根据接收双方的共有知识， 将双方传输过程中所有可能会用的单词进行编号， 创建 一个词典； S3、 利用输入语句嵌入模块对输入语句进行词嵌入， 并添加位置向量； 利用目标语句词 嵌入模块对目标语句进行词嵌入， 并添加 位置向量； 得到输入语句对应的带有位置 向量的 词向量和目标语句对应的带有位置向量的词向量； S4、 语义编码： 输入语句对应的带有位置向量的词向量经过语义编码层， 通过 Transformrer的Encoder层完成语义编码， 得到语义编码向量； S5、 将语义编码向量 通过无线信道； S6、 语义解码： 将通过无线信道的语义编码向量， 通过Transformer的解码层， 进行语义 解码， 通过概 率逻辑回归处 理后输出解码后的语义文本； S7、 接收方根据接收到的语义文本进行重传判断； 若需要重传， 则给发送方发送重传指 令， 发送方选择重传方式， 将步骤S4中的语义编 码向量再次送入无线信道， 得到重传后的语 义编码向量； 若无需重传， 则传输结束； S8、 将重传后的语义编码向量以及之前接收到的语义编码向量相结合， 通过维度整合 模块进行聚合得到聚合后的语义编码向量； 将聚合后的语义编码向量通过Transformer的 解码层， 进行语义 解码， 通过概 率逻辑回归处 理后输出解码后的语义文本， 返回步骤S7。 2.如权利要求1所述的一种语义通信的重传方法， 其特征在于， 所述多解码器方式包括 如下训练过程： A11、 训练一个能够 在各个信噪比下正常传输的编码器与解码器； A12、 固定步骤A 11中的编码器， 新建第二解码器， 所述第二解码器的输入为步骤S1中的 解码器的两倍， 所述第二 解码器中设有维度整合模块； 所述维度整合模块由全连接层构成； A13、 传输两次编码器的编码结果， 在通过无线信道后， 将两者进行拼接， 将拼接后的结 果送入第二解码 器中， 利用第二解码 器中的维度整合模块， 进 行整合， 第二解码器对整合后 的信息进行相应的解码 操作； A14、 根据步骤A12与步骤A13， 新建第N解码器， 所述N为大于2的自然数， 所述第N解码器 的输入为 步骤A11中的解码器的N 倍； A15、 完成训练， 在传输过程中， 根据需要重传的次数按照解码器的序号依次启动解码 器。 3.如权利要求1所述的一种语义通信的重传方法， 其特征在于， 所述单解码器方式包括 如下训练过程： B11、 建立一个编码器和解码器， 所述解码器中设有维度整合模块， 根据需要传输的信 道以及训练用到的文本， 测试解码 器在不同重传次数下性能的表现， 根据性能表现， 决定所 允许的最大重传次数N， 根据最大重传次数N， 决定解码 器中维度整合模块的输入维度； 所述 维度整合模块的输入维度为编码器输出维度的N+1倍； B12、 在训练过程中， 随机决定需要重传次数， 所述重传次数小于最大重传次数， 并将重 传的信息与 原始信息进 行拼接， 作为 维度整合模块的输入维度， 并将余下的空维度， 进行一 个补零的操作；权　利　要　求　书 1/2 页 2 CN 114564963 A 2B13、 重复步骤B12， 得到能够用于多次重传的单解码器。 4.如权利要求1所述的一种语义通信的重传方法， 其特征在于， 所述步骤S2具体包括如 下： S21、 读入整个用于传输的文本文件； S22、 对整个文本进行分词 处理， 统计文本中每个单词的使用次数， 给每个单词进行编 号， 移除那些使用次数 过低的单词； S23、 在整个字典中添加开始或终止的字符； S24、 输出词典。 5.如权利要求1所述的一种语义通信的重传方法， 其特征在于， 所述步骤S3 中的具体步 骤如下： S31、 创建一个嵌入层， 将需要传输的语句送入嵌入层， 将其转化成为相映维度的词向 量； S32、 计算并添加位置向量； S33、 将词向量与位置向量相加， 得到拥有位置信息的词向量。 6.如权利要求1所述的一种语义通信的重传方法， 其特征在于， 所述步骤S4中的具体步 骤如下： S41、 定义三个矩阵， 根据三个矩阵， 对输入语句对应的带有位置向量的词向量进行三 次线性变化， 得到查询向量、 键向量和值向量； S42、 对查询向量、 键向量和值向量进行自注意力Self ‑Attention 的计算， 得到注意力 向量； S43、 进行残差连接， 将注意力向量与输入语句对应的带有位置向量的词向量相加， 并 将得到的结果进行层归一 化操作得到残差向量； S44、 将得到的残差向量进行前馈传输操作， 通过两层线性映射并用激活函数ReLU进行 激活得到语义编码向量。 7.如权利要求1所述的一种语义通信的重传方法， 其特征在于， 所述步骤S6 中的具体步 骤如下： S61、 将S3的得到的目标语句对应的带有位置向量的词向量输入多头自注意层进行解 码； S62、 将通过无线信道接收的编码信息和上一步中多头自注意层的输出信息输入多头 注意层进行解码； S63、 在目标语句通过多头自注意层与多头注意层 之后通过前馈传输层， 得到语义解码 向量； S64、 通过Softmax函数进行概 率逻辑回归， 输出语句。权　利　要　求　书 2/2 页 3 CN 114564963 A 3