说明:收录各省市地方标准 提供单次或批量下载
文库搜索
切换导航
文件分类
频道
仅15元无限下载
联系我们
问题反馈
文件分类
仅15元无限下载
联系我们
问题反馈
批量下载
(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210003312.2 (22)申请日 2022.01.04 (71)申请人 中广核工程有限公司 地址 518000 广东省深圳市大鹏新区鹏飞 路大亚湾 核电基地工程公司办公大楼 申请人 深圳中广核工程设计有限公司 中国广核集团有限公司 中国广核电力股份有限公司 (72)发明人 吴祥勇 王云福 涂红兵 侯斌 刘鹤敏 (74)专利代理 机构 华进联合专利商标代理有限 公司 44224 代理人 邓丹 (51)Int.Cl. G06F 16/23(2019.01)G06F 16/242(2019.01) G06F 16/25(2019.01) G06F 16/27(2019.01) (54)发明名称 数据处理方法、 装置、 计算机设备和存储介 质 (57)摘要 本申请涉及一种数据处理方法、 装置、 计算 机设备、 存储介质和计算机程序产品。 所述方法 包括: 获取各源系统中的增量源数据; 将增量源 数据与源系统快照数据进行匹配, 识别增量源数 据的数据状态, 源系统快照数据包括有获取增量 源数据之前, 从各源系统中获取的源 数据的属性 信息; 根据增量源数据的数据状态, 修正增量源 数据, 获得修正源数据; 基于配置的业务元数据, 将修正源数据进行规范化处理, 获得规范化后的 修正源数据, 并发布规范化后的修正源数据, 业 务元数据包括修正源数据的元数据及其属性元 数据。 采用本申请实施例的方法, 能够确保数据 的规范性和有效性, 提高数据处 理的效率。 权利要求书2页 说明书22页 附图5页 CN 114356945 A 2022.04.15 CN 114356945 A 1.一种数据处 理方法, 其特 征在于, 所述方法包括: 获取各源系统中的增量源数据; 将所述增量源数据与源系统快照数据进行匹配, 识别所述增量源数据的数据状态, 所 述源系统快照数据包括有获取所述增量源数据之前, 从各所述源系统中获取的源数据的属 性信息; 根据所述增量源数据的数据状态, 修 正所述增量源数据, 获得修 正源数据; 基于配置的业务元数据, 将所述修正源数据进行规范化处理, 获得规范化后的修正源 数据, 并发布规范化后的所述修正源数据, 所述业务元数据包括所述修正源数据的元数据 及其属性元 数据。 2.根据权利要求1所述的数据处理方法, 其特征在于, 所述获取各源系统中的增量源数 据, 包括: 确定技术元数据中配置的增量数据同步方案; 根据所述增量数据同步方案, 从各 所述源系统中获取 所述增量源数据。 3.根据权利要求2所述的数据处理方法, 其特征在于, 所述将所述增量源数据与源系统 快照数据进行匹配, 识别所述增量源数据的数据状态, 包括: 确定所述增量源数据的属性信息; 将所述增量源数据的属性信息, 与所述源系统快照数据进行匹配, 确定所述增量源数 据的数据状态, 所述数据状态包括是否更新、 主键是否变化、 是否为物理删除中的任意一 种。 4.根据权利要求3所述的数据处理方法, 其特征在于, 所述根据 所述增量源数据的数据 状态, 修正所述增量源数据, 获得修 正源数据, 包括: 若所述增量源数据的数据状态为主键变化, 根据所述源系统快照数据, 确定所述增量 源数据对应的更新前 数据; 恢复所述更新前数据, 并将所述更新前数据的数据状态设置为删除, 所述修正源数据 包括所述增量源数据与所述更新前 数据。 5.根据权利要求1所述的数据处理方法, 其特征在于, 在所述获得规范化后的修正源数 据之后, 在所述发布规范化后的所述 修正源数据之前, 包括: 对所述规范化后的所述修正源数据进行数据 预处理, 得到预处理后的规范化后的所述 修正源数据, 所述数据预处 理包括数据去重处 理和数据清洗处 理中的至少一种。 6.根据权利要求1所述的数据处理方法, 其特征在于, 所述增量源数据存储在数据缓存 区, 所述源系统快照数据存 储在数据快照区; 在所述获得修 正源数据之后, 所述方法还 包括: 将所述修正源数据更新至所述数据快照区, 并清空所述数据缓存区。 7.一种数据处 理装置, 其特 征在于, 所述装置包括: 获取模块, 用于获取 各源系统中的增量源数据; 识别模块, 用于将所述增量源数据与源系统快照数据进行匹配, 识别所述增量源数据 的数据状态, 所述源系统快照数据包括有获取所述增 量源数据之前, 从各所述源系统中获 取的源数据的属性信息; 修正模块, 用于根据 所述增量源数据的数据状态, 修正所述增量源数据, 获得修正源数权 利 要 求 书 1/2 页 2 CN 114356945 A 2据; 发布模块, 用于基于配置的业务元数据, 将所述修正源数据进行规范化处理, 获得规范 化后的修正源数据, 并发布规范化后的所述修正源数据, 所述业务元数据包括所述修正源 数据的元 数据及其属性元 数据。 8.一种计算机设备, 包括存储器和处理器, 所述存储器存储有计算机程序, 其特征在 于, 所述处理器执行所述计算机程序时实现权利要求 1至6中任一项 所述的数据处理方法的 步骤。 9.一种计算机可读存储介质, 其上存储有计算机程序, 其特征在于, 所述计算机程序被 处理器执行时实现权利要求1至 6中任一项所述的数据处 理方法的步骤。 10.一种计算机程序产品, 包括计算机程序, 其特征在于, 该计算机程序被处理器执行 时实现权利要求1至 6中任一项所述的数据处 理方法的步骤。权 利 要 求 书 2/2 页 3 CN 114356945 A 3
专利 数据处理方法、装置、计算机设备和存储介质
文档预览
中文文档
30 页
50 下载
1000 浏览
0 评论
309 收藏
3.0分
赞助2.5元下载(无需注册)
温馨提示:本文档共30页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
下载文档到电脑,方便使用
赞助2.5元下载
本文档由 人生无常 于
2024-03-18 11:19:59
上传分享
举报
下载
原文档
(1.5 MB)
分享
友情链接
绿盟 2014工控系统的安全研究与实践报告.pdf
T-CDJC 003—2022 交联聚乙烯卷材浮筑楼板隔声保温系统应用技术标准.pdf
DPO 非个人数据自由流动框架条例 中文版.pdf
DB43-T 1903-2020 茶园有机肥替减化肥技术规程 湖南省.pdf
JCT 2743-2022 平板玻璃生产企业节能技术指南.pdf
YD T 1730-2024 电信网和互联网安全风险评估规范.pdf
T-UNP 22—2022 跨境电子商务 交易产品 知识产权侵权鉴定管理规范.pdf
GB-T 36072-2018 活动断层探测.pdf
T-CAAMTB 64—2022 汽车解耦式电子助力制动系统总成性能要求及台架试验方法.pdf
中国移动通信企业标准 QB-018-2008 通信用不间断电源-UPS-V1.0.0 .pdf
GM-T 0043-2015 数字证书互操作检测规范.pdf
T-CACM 1065—2018 中药DNA分子鉴定试剂盒 定性 评价技术要求.pdf
GB-T 20280-2006 信息安全技术 网络脆弱性扫描产品测试评价方法.pdf
GB-T 3478.4-2008 圆柱直齿渐开线花键 米制模数 齿侧配合 第4部分:45°压力角尺寸表.pdf
GB-T 43697-2024 数据安全技术 数据分类分级规则.pdf
民航 CTSO-C77b 燃气涡轮辅助动力装置(APU.pdf
GB-T 23938-2021 高纯二氧化碳.pdf
DB11-T 2111-2023 信息系统运行维护服务 用户单位实施要求 北京市.pdf
T-CI 146—2022 智慧教室 基于云网边端协同的 教学评价体系技术指南.pdf
GB-T 35986-2018 煤矸石烧失量的测定.pdf
1
/
3
30
评价文档
赞助2.5元 点击下载(1.5 MB)
回到顶部
×
微信扫码支付
2.5
元 自动下载
官方客服微信:siduwenku
支付 完成后 如未跳转 点击这里 下载
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们
微信(点击查看客服)
,我们将及时删除相关资源。