ICS 01.040.03 A 12 浙 江 DB3308 省 衢 州 市 地 方 标 准 DB3308/T 050—2018 政务服务数据仓建设规范 2018 - 09-11 发布 衢州市质量技术监督局 2018- 10 - 11 实施 发 布 DB3308/T 050—2018 目 次 前言..................................................................................................................................................................... II 1 范围................................................................................................................................................................. 1 2 规范性引用文件............................................................................................................................................. 1 3 术语和定义..................................................................................................................................................... 1 4 基本原则与要求............................................................................................................................................. 3 5 数据架构......................................................................................................................................................... 3 6 建设要求......................................................................................................................................................... 3 7 数据开发......................................................................................................................................................... 6 I DB3308/T 050—2018 前 言 本标准按照GB/T 1.1-2009给出的规则起草。 本标准由衢州市行政服务中心管理办公室提出并归口。 本标准起草单位:衢州市行政服务中心管理办公室、浙江衢时代大数据科技有限公司、浙报浙数文 化集团股份有限公司、浙江省方大标准信息有限公司、衢州市质量技术监督检测中心(衢州市标准化研 究院)。 本标准主要起草人:洪寒月、李文阳、袁琼、李靖翔、楚龙、叶华飞、何琳、潘旭峰、张理敏、祁 劲松。 II DB3308/T 050—2018 政务服务数据仓建设规范 1 范围 本标准规定了衢州政务服务数据仓的基本要求、数据架构、建设要求、数据开发等内容。 本标准适用于衢州政务服务数据仓的建设。 2 规范性引用文件 下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件,仅所注日期的版本适用于本文 件。凡是不注日期的引用文件,其最新版本(包括所有的修改单)适用于本文件。 GB/T 21062.3 政务信息资源交换体系 第3部分:数据接口规范 GB/T 20270 信息安全技术 网络基础安全技术要求 GB/T 20271 信息安全技术 信息系统通用安全技术要求 GB/T 28452 信息安全技术 应用软件系统通用安全技术要求 GB/T 29765 信息安全技术 数据备份与恢复产品技术要求与测试评价方法 《浙江政务服务网技术规范 第二部分 数据交换技术规范》 《浙江政务服务网技术规范 第三部分 数据交换信息规范》 《浙江省公共数据共享交换技术规范(试行)》 3 术语和定义 下列术语和定义适用于本文件。 3.1 云平台 具有提供云服务器、开放结构化数据服务,开放缓存服务等服务的能力,用于相关配套系统的部署。 同时云平台还需拥有提供云数据库、分布式关系型数据库服务以及基于开放存储服务构建的大数据平台 的能力,便于在整体的建设过程中,根据数据的规模按需进行技术选型。 3.2 云数据库 具有多重安全防护措施和完善的性能监控体系,并提供专业的数据库备份、恢复及优化方案的一种 即开即用、稳定可靠、可弹性伸缩的在线数据库服务。 3.3 开放存储服务 云平台提供的海量、安全和高可靠的云存储服务。 3.4 1 DB3308/T 050—2018 分布式关系型数据库服务 水平拆分、可平滑扩缩容、可读写分离的在线分布式数据库服务。 3.5 开放结构化数据服务 构建在云平台分布式系统之上的NoSQL数据服务,以实例和表的形式组织数据,通过数据分片和负 载均衡技术,实现规模上的无缝扩展。 3.6 开放缓存服务 在线缓存服务,为热点数据的访问提供高速响应。 3.7 元数据 描述数据的数据,对数据及信息资源的描述性信息。 3.8 数据映射 给定两个数据模型,在模型之间建立起数据元素的对应关系的过程。 3.9 维度表 维度属性的集合。 3.10 事实表 数据仓结构中的中央表,包含联系事实与维度表的数字度量值和键。 3.11 主题 在较高层次上将企业信息系统中的数据进行综合、归类和分析利用的一个抽象概念。 3.12 数据源 提供某种所需要数据的载体。 3.13 政务服务数据仓 政务服务运行过程中,为各类应用系统提供所有类型、海量数据支持的数据集合与战略集合。 4 基本原则与要求 4.1 基本原则 2 DB3308/T 050—2018 文件命名习惯等保持统一,编制符合“统一性”原则,包括但不限于:模型层次命名、主题域命名、 数据模型命名、工作流任务命名等的统一性,还包括开发过程以及问题处理方式的统一性。 4.2 基本要求 规范数据仓的开发过程,降低开发难度,保障开发质量,避免因开发不规范问题导致的重复开发以 及返工等问题。 5 数据架构 数据仓的建设是一个整体性工作,数据从产生到入库的整体环节应尽量遵循数据架构图进行建设, 各环节采用一套标准。数据仓建设数据架构图如下图1所示。 图1 6 数据仓建设数据架构图 建设要求 6.1 部署环境选型 政务服务数据仓整体相关建设内容应统一基于衢州市政务云平台进行构建。 6.2 数据仓模型层次 政务服务数据仓模型层次表如表1所示。 3 DB3308/T 050—2018 表1 数据仓模型层次表 分层名 英文全称 中文名 ADS Application Data Summary 应用数据层 DWS DWD ODS DIM 6.3 基础标签层 实现功能:该层为基础标签层,主要有统 计汇总或算法产生的基础数据标签,按不 同维度进行统计,主要操作包括基于业务 整合、关联计算得到的明细数据;着力公 共指标、排序聚合得到的汇总数据。 数据来源范围:DWD、ODS。 数据存储时长: 根据业务需求状况保留。 基础数据层 实现功能:该层为基础数据层,主要操作 包括数据清洗、数据过滤、数据历史变更 记录等。 数据来源范围:此层数据来源于 ODS。 数据存储时长:根据业务需求状况保留。 源数据接入层 实现功能:业务源系统数据接入到此层, 此层数据不做任何加工,禁止重复进入。 数据来源范围:业务源系统。 数据存储时长: 永久。 公共维表 实现功能:该层为公共维表层,该层独立 于 DWD、DWS、ADS,为 DWD、DWS、ADS 提供 维度字段说明。 数据来源范围:ODS。 数据存储时长: 根据业务需求状况保留。 Data Warehouse Summary Data Warehouse Detail Operational Data Store 层次定义 实现功能:该层为应用数据层,根据业务 需求组织数据,该层定期需要定期 review, 将公共指标沉淀到 DWS 中。 数据来源范围:DWS、DWD。 数据存储时长: 根据业务需求状况保留。 Dimension 主题域划分 6.3.1 政务服务数据仓逻辑模型的设计采用自顶而下的方法,将需求涉及范围内的业务对象从高度概 括的概念层次归类,再针对各个主题设计实体关系图。由于主题域的划分与实际需求存在较强关联且存 在迭代的情况,故仅就部分主题域以示列出,作为相关建设的参考,如表 2 所示。 表2 数据仓系统主题域示例表 主题中文名 英文全称 英文简称 物理表前缀 城**通 T***c Tc tc 城**疗 M**h Mh mh 城**育 C**e Ce ce 4 DB3308/T 050—2018 表2 6.3.2 数据仓系统主题域示例表(续) 主题中文名 英文全称 英文简称 物理表前缀 市**理 C*z Cz cz 数据仓系统主题域细化划分示例如表 3 所示。 表3 6.4 数据仓系统主题域细化示例表 主题中文名 英文全称 英文简称 物理表前缀 所属父主题 基**息 B**c Bas bas 城**通 定**息 G**m Gps gps 城**通 地**置 L**n Loc loc 城**通 交**件 E**t Evt evt 城**通 交**制 C**l Ctl ctl 城**通 交**行 O**n Opt opt 城**通 数据模
DB3308-T 050-2018 政务服务数据仓建设规范 衢州市
文档预览
中文文档
11 页
50 下载
1000 浏览
0 评论
0 收藏
3.0分
温馨提示:本文档共11页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
本文档由 SC 于 2022-09-30 11:40:53上传分享