(19)国家知识产权局
(12)发明 专利申请
(10)申请公布号
(43)申请公布日
(21)申请 号 202210965324.3
(22)申请日 2022.08.12
(71)申请人 上海阵方科技有限公司
地址 200232 上海市徐汇区丰 谷路315弄24
号1-3层
(72)发明人 李维成 袁文俊 李升林
(74)专利代理 机构 南昌金轩知识产权代理有限
公司 36129
专利代理师 文珊
(51)Int.Cl.
H04L 9/32(2006.01)
H04L 9/40(2022.01)
H04L 67/1097(2022.01)
H04L 67/133(2022.01)
H04L 67/51(2022.01)H04L 67/141(2022.01)
(54)发明名称
一种用于对加密数据进行分片发送的系统
(57)摘要
本发明涉及数据存储技术领域, 具体公开了
一种用于对加密数据进行分片发送的系统, 所述
系统包括: 数据储存服务模块, 所述储存储存服
务模块用于对数据进行储存; 数据引擎服务模
块, 所述数据引擎服务模块用于提供数据列表的
查看、 数据上传、 数据下载、 数据分片、 数据删除
相关的服务接口; 数据传输网络服务模块, 所述
数据传输网络服务模块用于在客户端和服务器
之间建立连接, 等模块。 本发明适用于大多数的
分布式的系统, 可用于解决分布式系统各节点之
间数据传输, 比如隐私计算、 深度学习、 联邦 学习
等系统存在的数据加密传输的问题; 有效的保障
了分布式系统各节点之间数据流通的安全性, 同
时可以提高数据传输的安全性, 分片技术的运用
节约了存 储的资源。
权利要求书1页 说明书6页 附图2页
CN 115361137 A
2022.11.18
CN 115361137 A
1.一种用于对加密数据进行分片发送的系统, 其特 征在于, 所述系统包括:
数据储存服务模块, 所述储 存储存服务模块用于对数据进行储 存;
数据引擎服务模块, 所述数据引擎服务模块用于提供数据列表的查看、 数据上传、 数据
下载、 数据分片、 数据删除相关的服 务接口;
数据传输网络服务模块, 所述数据传输网络服务模块用于在客户端和服务器之间建立
连接。
2.根据权利要求1所述的一种用于对加密数据进行分片 发送的系统, 其特征在于, 所述
数据储存服务模块中设置有 多个本地储 存节点, 即 设置有多个物理设备。
3.根据权利要求1所述的一种用于对加密数据进行分片 发送的系统, 其特征在于, 所述
储存服务模块通过分布式文件系统提供统一视图。
4.根据权利要求1所述的一种用于对加密数据进行分片 发送的系统, 其特征在于, 所述
储存服务模块使用的分布式文件系统包括glusterfs系统和hdfs系统。
5.根据权利要求1所述的一种用于对加密数据进行分片 发送的系统, 其特征在于, 所述
数据引擎 服务模块包括:
数据列表查看子模块, 所述数据列表查看子模块用于提供查看数据列表接口;
数据上传子模块, 所述数据上传子模块用于提供 数据上传服 务接口;
数据下载服务子模块, 所述数据下 载服务子模块用于提供 数据下载服务接口;
数据分片子模块, 所述数据分片子模块用于数据分片删除服 务接口。
6.根据权利要求5所述的一种用于对加密数据进行分片 发送的系统, 其特征在于, 所述
数据引擎 服务模块还 包括:
数据删除子模块, 所述数据删除子模块用于提供 数据删除服 务接口。
7.根据权利要求1所述的一种用于对加密数据进行分片 发送的系统, 其特征在于, 所述
无数据传输网络服 务模块引入国密证书, 对信道进行加密和认证。
8.根据权利要求1所述的一种用于对加密数据进行分片 发送的系统, 其特征在于, 所述
无数据传输网络服务模块使用微服务技术, 所述微服务技术对组织内的机器的ip, 端口, 机
器ID, 接口信息进 行统一注册, 需要被外部组织调用时, 由本组织的微服务进 行请求消息的
转发和返回响应。
9.根据权利要求1所述的一种用于对加密数据进行分片 发送的系统, 其特征在于, 所述
无数据传输网络服 务模块在组织和服 务器之间的通讯进行加密的同时, 使用双证书认证。
10.根据权利要求1所述的一种用于对加密数据进行分片发送的系统, 其特征在于, 所
述无数据传输网络服 务模块内置握 手协议认证单 元。权 利 要 求 书 1/1 页
2
CN 115361137 A
2一种用于对加密数据进行分片发送的 系统
技术领域
[0001]本发明涉及数据存储技术领域, 具体是一种用于对加密数据进行分片发送的系
统。
背景技术
[0002]在大多数分布式系统比如隐私计算网络中, 各个组织处于不同网络中, 彼此之间
默认情况下都是不可信的, 每个隐私计算任务都会涉及到数据的传输、 数据的接 收以及对
数据的计算等过程。 很多情况下, 数据传输的过程中是很难保证数据是保密的以及传输是
否安全的, 同时对于数据量较大 的数据在传输过程中也很难保证其数据的完整性。 而数据
分片, 又常称为partition、 sharding。 狭义上是指数据存储系统, 把大表切分成更小的切片
的过程, 分割后的数据块会分布在多个服务器中。 广义上的数据分片也包含数据计算分片,
即将的请求路由到不同的服务器上进行数据计算处理。 zookeeper,etcd等系统都是分布
式系统常用的组件, 但是他们 首先强调的是数据节点之间的通信和一致性的机制保证, 并
不强调单节点的读写性能, 而且 对数据加密 传输的支持也 不是很高。
[0003]现有技术存在如下缺陷:
[0004](1)数据分片之前的系统, 当面临数据突增带来的服务器压力, 一般的思路是垂直
扩展, 但是会带来很多的问题, 需替换为更大的磁盘, 随着数据的增长, 将额外的磁盘添加
到服务器。 然而, 系统最终将达到极限, 无法再轻松地给服务器增加存储容量, 也可能由于
并发用户的量逐渐增多, 服务器的CPU最 终会达到上限导致响应变慢或计算超时, 对网络带
宽的要求 也很高, 网络流 量可能会 超过用于连接 到服务器的网络的容 量, 导致请求失败;
[0005](2)使用了数据分片处理了数据, 但是大多数系统仍然无法保证数据传输 的安全
性, 以及数据量大 所面临的传输效率问题。
[0006]因此我们提出一种用于对加密数据进行分片发送的系统。
发明内容
[0007]本发明的目的在于提供一种用于对加密数据进行分片发送的系统, 其中数据服务
完成对数据的存储、 数据分片以及下发等一系列操作, 而加密数据的分片则是通过调用
Rosetta完成。 同时我们在数据传输的过程中, 考虑到信道安全问题, 引入了国密证书, 对信
道进行加密和认证, 保 障了传输的安全; 同时本发明旨在解决数据传输效率及提高数据传
输过程中的安全性, 以此将数据服务分成存储服务、 数据引擎服务包括上传、 下载、 分片等,
同时还有数据传输的网络模块 服务等。
[0008]为实现上述目的, 本发明提供如下技 术方案:
[0009]一种用于对加密数据进行分片发送的系统, 所述系统包括:
[0010]数据储存服务模块, 所述储 存储存服务模块用于对数据进行储 存;
[0011]数据引擎服务模块, 所述数据引擎服务模块用于提供数据列表的查看、 数据上传、
数据下载、 数据分片、 数据删除相关的服 务接口;说 明 书 1/6 页
3
CN 115361137 A
3
专利 一种用于对加密数据进行分片发送的系统
文档预览
中文文档
10 页
50 下载
1000 浏览
0 评论
0 收藏
3.0分
温馨提示:本文档共10页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
本文档由 SC 于 2024-02-18 22:27:20上传分享