发布时间 : 星期一 文章统计局大数据统计平台建设方案 智慧统计大数据云平台建设方案更新完毕开始阅读06dd52353a3567ec102de2bd960590c69fc3d850
（3）权限管理模块
平台用户包括系统管理员、组管理员、一般操作员和信息查询员，系统用户具有编号、编码和名称等属性。为了管理的方便，将系统划分为操作员组和操作员层次，角色是定义在一组资源上的权限，角色权限描述角色与资源操作权限间对应关系的信息实体，一个角色拥有一些资源及其在资源上的权限，权限是对某一资源的操作许可类型。操作员组代表一组操作员的信息实体，操作员组、操作员都可以分配角色。
权限管理模块主要包括：系统用户增加、系统用户注销、系统用户授权、系统用户资料修改、系统用户查询；角色增加、角色修改、角色授权、角色查询；操作员组的增加、修改、授权、查询；操作员的增加、修改、授权、查询； （4）日志管理模块
日志管理模块提供用户登录日志管理功能以及日志管理工具，让系统管理人员能方便地查看到用户访问的历史数据及各种系统日志信息。日志主要包括系统参数日志、系统运行日志、信息打印日志、系统用户操作日志、接口访问日志。
3.5数据库设计
数据库系统包括专业数据库、数据库维护体系、数据库管理体系。其中，专业数据库包括基本单位名录库、人口信息资源库、地理信息库、统计业务数据库。同时，制定统一的数据库标准规
40
范，实现各类统计数据的统一管理、集成和应用；制定统一的服务接口规范，实现跨行业、跨部门、跨平台的信息共享与服务。
3.5.1数据库设计目标
（1）数据库的本地性，外部数据通过采集模块加载到大数据统计平台的数据库中；
（2）控制数据适当冗余，考虑到本地性、并发行、可靠性、一致性、开销等；
（3）工作负荷分布，充分利用每个节点的计算能力和资源提高性能；
（4）存储的能力，分布式的存储提高数据的存储能力。 3.5.2数据库架构
41
图3-11 数据库架构
基础数据层
基础数据层包括统计业务数库（普查数据库、人口信息资源库、地理信息库、基本单位名录库、一套表数据库、宏观数据库）、外部数据库（住建部门数据、国土部门数据、税务部门数据、金融机构数据）及互联网数据库作为基础明细数据，是支撑整个业务应用系统的数据统计及数据挖掘分析的基础。
轻度汇总层
基于基础数据层的相关数据，进行数据整合，生成多维信息库、“三新”统计基础明细数据库、文化产业统计基础明细数据库及宏观经济预测基础明细数据库。主要整合的相关部门的数据指标如下：
1.公安厅人口总数、性别分布、城镇分布、乡村人口，年龄段分布、户籍迁出、迁入等数据信息；
2.人社厅新增就业人数、登记失业率、失业动态监测、人力资源市场供需资料、农民工调查数据等数据信息；
3.科技厅的孵化器内企业总数、在孵企业从业人员、在孵企业总收入、在孵企业累计获得财政资助额、当年获得投融资的企业数量、孵化器孵化基金总额等数据信息；
4.国土部门土地招、拍、挂拍卖情况，购置面积、购置价款、投资主体等数据信息；
42
5.住建部门房地产项目审批系统资质、许可证书、房地产开发项目预售许可证发放情况等数据信息；
深度汇总层
实现主题域之间进行关联、汇总计算及模型预测。汇总数据服务于各项业务统计， 模型预测服务于宏观经济预测。
3.6大数据处理设计
3.6.1并行处理设计
并行计算是大数据统计平台基础支撑，通过分布式的计算框架可以实现对历史数据的批量处理、实时数据处理、SQL联邦查询及标签引擎搜索等。 （1）批量历史数据处理
分布式的内存数据实现数据历史数据的批量处理，分布式内存数据库提供数据的高速存取，高频事务处理能力。通过高扩展的分布式高速内存架构，具备了支持复杂事务、容错机制、高吞吐、低延时，高并发等特性。根据业务口径规则实现对专题统计业务的T+1的数据处理。 （2）实时数据处理
实时数据处理：实时数据获取源数据，快速进行数据分析确保在规定时间内获取到分析结果。分布式内存流数据库能够在毫秒级内连续、稳定地传输及分析处理数据的流数据库。数据流具有时间序列特征的有序项集,有着连续的、无限的、随时间不断
43