说明:收录各省市地方标准 提供单次或批量下载
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210121059.0 (22)申请日 2022.02.09 (71)申请人 普联技术有限公司 地址 518000 广东省深圳市南 山区深南路 科技园工业厂房24栋南段 1层、 3-5层、 28栋北段1-4层 (72)发明人 杨鹏翼  (74)专利代理 机构 深圳中一联合知识产权代理 有限公司 4 4414 专利代理师 翁唱玲 (51)Int.Cl. G06F 16/22(2019.01) G06F 16/23(2019.01) G06F 16/27(2019.01) (54)发明名称 数据写入方法、 装置、 数据写入设备和存储 介质 (57)摘要 本申请涉及数据处理技术领域, 尤其涉及一 种数据写入方法、 装置、 数据写入设备和存储介 质。 该数据写入方法应用于将数据写入HBase数 据库的数据写入设备, 所述数据写入方法包括: 获取目标数据表的预分区信息, 所述预分区信息 包括有序的分区键序列; 根据预设的洗牌规则, 对所述分区键序列进行处理, 得到目标分区键序 列; 获取目标随机数; 根据所述目标随机数与所 述目标分区键序列, 确定待写入 数据在所述目标 数据表中对应的目标分区; 将所述待写入数据写 入所述目标分区中。 采用该数据写入方法, 可有 效避免均匀并发写入导致的各分区同时清空的 问题, 同时有效保障系统并发性能的稳定 。 权利要求书2页 说明书10页 附图3页 CN 114490659 A 2022.05.13 CN 114490659 A 1.一种数据写入方法, 其特征在于, 应用于将数据写入HBase数据库的数据写入设备, 所述数据写入方法包括: 获取目标 数据表的预分区信息, 所述预分区信息包括有序的分区键序列; 根据预设的洗牌 规则, 对所述分区键序列进行处 理, 得到目标分区键序列; 获取目标随机数; 根据所述目标随机数与所述目标分区键序列, 确定待写入数据在所述目标数据表中对 应的目标分区; 将所述待 写入数据写入所述目标分区中。 2.如权利要求1所述的数据写入方法, 其特征在于, 所述根据所述目标随机数与所述目 标分区键序列, 确定待 写入数据在所述目标 数据表中对应的目标分区, 包括: 根据所述目标随机数, 从所述目标分区键序列中确定目标分区键; 基于所述目标分区键, 确定所述待 写入数据在所述目标 数据表中对应的目标分区。 3.如权利要求1所述的数据写入方法, 其特征在于, 所述根据预设的洗牌规则, 对所述 分区键序列进行处 理, 得到目标分区键序列, 包括: 获取目标时间戳与预设时间戳, 所述目标时间戳 为系统的当前时间戳; 计算所述目标时间戳与所述预设时间戳的差值; 若所述目标时间戳与 所述预设时间戳的差值大于预设洗牌 时间阈值, 则对所述分区键 序列进行洗牌处 理, 并将经 过洗牌处 理后的分区键序列确定为目标分区键序列。 4.如权利要求3所述的数据写入方法, 其特 征在于, 所述数据写入方法还 包括: 若所述目标时间戳与 所述预设时间戳的差值小于或等于所述预设洗牌 时间阈值, 则所 述分区键序列即为目标分区键序列。 5.如权利要求3所述的数据写入方法, 其特 征在于, 所述数据写入方法还 包括: 若所述目标时间戳与 所述预设时间戳的差值大于预设洗牌 时间阈值, 则更新所述预设 时间戳, 更新后的所述预设时间戳与所述目标时间戳相同。 6.如权利要求3所述的数据写入方法, 其特 征在于, 所述获取 预设时间戳, 包括: 若所述待写入数据为首条需写入所述目标数据表的数据, 则所述预设时间戳为发起数 据写入请求的客户端刚启动的时间戳; 若所述待写入数据非首条需写入所述目标数据表的数据, 则所述预设时间戳为发起数 据写入请求的客户端刚启动的时间戳, 或者, 所述预设时间戳与上一条待写入数据对应的 目标时间戳相关。 7.如权利要求1至6任一项所述的数据写入方法, 其特征在于, 所述预分区信息还包括 分区键数量, 所述获取目标随机数, 包括: 获取随机值与 预设倍率, 所述随机值为调用预设函数生成标准正态分布的一 次随机取 值, 所述预设倍 率用于放大 所述随机值; 根据所述随机值、 所述预设倍 率以及所述分区键数量, 生成目标随机数。 8.一种数据写入装置, 其特征在于, 应用于将数据写入HBase数据库的数据写入设备, 所述数据写入 装置包括: 分区信息获取单元, 用于获取目标数据表的预分区信息, 所述预分区信息包括有序的 分区键序列;权 利 要 求 书 1/2 页 2 CN 114490659 A 2目标序列获取单元, 用于根据 预设的洗牌规则, 对所述分区键序列进行处理, 得到目标 分区键序列; 随机数生成单 元, 用于获取目标随机数; 目标分区确定单元, 用于根据所述目标随机数与所述目标分区键序列, 确定待写入数 据在所述目标 数据表中对应的目标分区; 数据写入单 元, 用于将所述待 写入数据写入所述目标分区中。 9.一种数据写入设备, 包括存储器、 处理器以及存储在所述存储器中并可在所述处理 器上运行的计算机程序, 其特征在于, 所述处理器执行所述计算机程序时实现如权利要求 1 至7中任一项所述的数据写入方法的步骤。 10.一种计算机可读存储介质, 所述计算机可读存储介质存储有计算机程序, 其特征在 于, 所述计算机程序被处理器执行时实现如权利要求 1至7中任一项 所述的数据写入方法的 步骤。权 利 要 求 书 2/2 页 3 CN 114490659 A 3

.PDF文档 专利 数据写入方法、装置、数据写入设备和存储介质

文档预览
中文文档 16 页 50 下载 1000 浏览 0 评论 309 收藏 3.0分
温馨提示:本文档共16页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 数据写入方法、装置、数据写入设备和存储介质 第 1 页 专利 数据写入方法、装置、数据写入设备和存储介质 第 2 页 专利 数据写入方法、装置、数据写入设备和存储介质 第 3 页
下载文档到电脑,方便使用
本文档由 人生无常 于 2024-03-18 11:19:50上传分享
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。