(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210085894.3 (22)申请日 2022.01.25 (71)申请人 建信融通有限责任公司 地址 100055 北京市西城区朗琴国际A座17 层 (72)发明人 白迪　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 代理人 李慧引 (51)Int.Cl. G06F 16/25(2019.01) G06F 16/28(2019.01) G06F 40/30(2020.01) (54)发明名称 基于数据仓库的数据血缘关系处理方法及 装置 (57)摘要 本申请公开了一种基于数据仓库的数据血 缘关系处理方法及装置， 利用预设的正则表达 式， 从工作集的字符信息中获取得到各个工作集 之间的包含关系， 以及工作集和ETL任务之间的 包含关系。 对工作集的字符信息进行解析， 得到 各个ETL任务之间的依 赖关系。 对ET L任务进行解 析， 得到ET L任务所包含的各个组件。 对每个组件 进行解析， 得到每个组件中所包含的各个库表之 间的依赖关系、 各个字段之间的依赖关系。 基于 每个组件所包含的各个库表之间的依赖关系， 构 建数据仓库中各个库表之间的依赖关系。 相较于 现有技术， 本申请所示方案无需人工参与数据血 缘关系的解析过程， 节省了大量的人力成本， 且 解析得到的数据血缘关系准确性更高、 实时性更 高。 权利要求书5页 说明书17页 附图6页 CN 114416848 A 2022.04.29 CN 114416848 A 1.一种基于数据仓库的数据血缘关系处 理方法， 其特 征在于， 包括： 获取数据仓库中所包 含的工作集以及ETL任务； 利用预设的正则表达式， 从所述工作集的字符信 息中获取得到各个所述工作集之间的 包含关系， 以及所述工作集和所述ETL任务之间的包 含关系； 对所述工作集的字符信息进行解析， 得到各个所述ETL任务之间的依赖关系； 对所述ETL任务进行解析， 得到所述ETL任务所包 含的各个组件； 对每个所述组件进行解析， 得到每个所述组件中所包含的各个库表、 各个所述库表之 间的依赖关系 、 各个字段、 各个所述字段之间的依赖关系； 基于每个所述组件所包含的各个所述库表之间的依赖关系， 构建所述数据仓库中各个 所述库表之间的依赖关系； 基于每个所述组件所包含的各个所述字段之间的依赖关系， 构建所述数据仓库中各个 所述字段之间的依赖关系； 基于所述ETL任务中所包含的各个所述库表， 生成所述ETL任务和所述库表之间的包含 关系； 获取每个所述库表所包含的字段， 并基于每个所述库表所包含的字段， 生成所述库表 和所述字段之间的包 含关系； 获取各个所述库表 的有效词语集合， 并基于各个所述库表的有效词语集合， 确定各个 所述库表之间的语义近似关系。 2.根据权利要求1所述的方法， 其特征在于， 所述获取数据仓库中所包含的工作集以及 ETL任务， 包括： 从预先构建的第三信息表中获取 数据仓库中所包 含的工作集以及ETL任务； 其中， 所述第 三信息表的构建过程包括： 获取所述数据仓库的各个项目文件； 将各个所 述项目文件中文件后缀名为.kjb的项目文件， 标识为所述工作集， 以及将文件后缀名为 .ktr的项目文件， 标识为所述ETL任务； 基于各个所述工作集以及所述ETL任务， 构建所述第 三信息表。 3.根据权利要求1所述的方法， 其特征在于， 所述利用预设的正则表达式， 从所述工作 集的字符信息中获取得到各个所述工作集之间的包含关系， 以及所述工作集和所述ETL任 务之间的包 含关系， 包括： 从所述工作集的字符信息中， 获取与第一 正则表达式匹配的字符串； 从与所述第一 正则表达式匹配的字符串中， 获取与第二 正则表达式匹配的字符串； 从工作集的字符信息中， 获取与第三 正则表达式匹配的字符串； 从与所述第二正则表达式匹配的字符串中， 获取与第 四正则表达式匹配的字符串， 并 从与所述第四正则表达式匹配的字符串中， 解析 得到所述工作集所包 含的其他工作集； 从与所述第三正则表达式匹配的字符串中， 获取与第五正则表达式匹配的字符串， 并 从与所述第五正则表达式匹配的字符串中， 解析 得到所述工作集所包 含的ETL任务； 基于每个所述工作集所包 含的其他工作集， 生成各个所述工作集之间的包 含关系； 基于每个所述工作集所包含的ETL任务， 生成所述工作 集和所述ETL任务之间的包含关 系。 4.根据权利要求1所述的方法， 其特征在于， 所述对所述工作集的字符信息进行解析，权　利　要　求　书 1/5 页 2 CN 114416848 A 2得到各个所述ETL任务之间的依赖关系， 包括： 从所述工作集的字符信息中， 获取与第一关键 字匹配的字符串； 从与所述第一关键 字匹配的字符串中， 获取与第二关键 字匹配的字符串； 从与所述第二关键字匹配的字符串中， 解析得到源任务的名称， 以及依赖于所述源任 务的目标任务的名称； 从所述工作集的字符信息中， 获取与第三关键 字匹配的字符串； 从与所述第三关键 字匹配的字符串中， 解析 得到各个文件路径； 从各个所述文件路径中获取包含有所述源任务的名称的文件路径， 以及包含有所述目 标任务的名称的文件路径； 根据包含有所述源 任务的名称的文件路径， 查询得到与所述源 任务对应的ETL任务； 根据包含有所述目标任务的名称的文件路径， 查询得到与所述目标任务对应的ETL任 务； 基于所述源任务和所述目标任务之间的依赖关系、 与所述源任务对应的ETL任务、 与所 述目标任务对应的ETL任务， 生成各个ETL任务之间的依赖关系。 5.根据权利要求1所述的方法， 其特 征在于， 所述组件的类型包括存 储过程； 所述对每个所述组件进行解析， 得到每个所述组件中所包含的各个库表、 各个所述库 表之间的依赖关系 、 各个字段、 各个所述字段之间的依赖关系， 包括： 对于所述ETL任务所包含的每个存储过程， 从预先构建的第 四信息表中获取所述存储 过程的有效实现逻辑， 并将所述有效实现逻辑， 标识为待解析逻辑； 其中， 所述第四信 息表的构建过程包括： 预先获取数据仓库的各个项目逻辑， 以及每个 所述项目逻辑的配置文件； 对于每个所述项目逻辑， 对所述项目逻辑的配置文件进 行解析， 得到所述项目逻辑的纲要； 调用预设的SQL查询语句， 从所述纲要中查询得到所述项目逻辑 所包含的各个存储过程的实现逻辑； 对各个所述存储过程的实现逻辑进行数据清洗， 得到 各个所述存储过程的有效实现逻辑； 对各个所述存储过程的有效实现逻辑进 行数据格式转 换， 使得各个所述有效存储过程的有效实现逻辑的数据格式相同； 基于经 由数据格式转换 后的各个所述存 储过程的有效实现逻辑， 构建所述第四信息表； 对所述待解析逻辑进行解析， 得到所述存储过程中所包含的各个库表、 各个所述库表 之间的依赖关系 、 各个字段、 各个所述字段之间的依赖关系。 6.根据权利要求5所述的方法， 其特征在于， 所述对所述待解析逻辑进行解析， 得到所 述存储过程中所包含的各个库 表、 各个所述库 表之间的依赖关系、 各个字段、 各个所述字段 之间的依赖关系， 包括： 从所述待解析逻辑中获取与第四关键 字匹配的各个字符串； 从与所述第四关键字匹配的各个字符串中， 解析得到所述待解析逻辑中所包含的各个 输出表； 从所述待解析逻辑中获取与第五关键 字匹配的各个字符串； 从与所述第五关键字匹配的各个字符串中， 解析得到所述待解析逻辑中所包含的各个 库表； 将各个所述库表中表名与 所述输出表的表名不同的库表， 作为所述待解析逻辑中所包 含的输入表；权　利　要　求　书 2/5 页 3 CN 114416848 A 3