发布时间 : 星期一 文章缁熻灞�澶ф暟鎹粺璁″钩鍙板缓璁炬柟妗?鏅烘収缁熻澶ф暟鎹簯骞冲彴寤鸿鏂规 - 鐧惧害鏂囧簱更新完毕开始阅读06dd52353a3567ec102de2bd960590c69fc3d850
障系统具有高效、全面和稳定等良好品质。系统结构采用分布式、组件化技术和模块化的业务构造与系统构造方式。 （4）扩展性
系统设计应充分保证系统容量、处理能力和业务范围具有良好的扩展能力；应满足XX省统计局今后业务发展的需要，保护投资，避免重复建设。 （5）易用性
系统设计需要保证系统软件容易使用，界面简单易操作，能够使操作用户方便识别并易于操作，能够为各类用户提供良好的服务。
（6）安全性
运用区块链数据库保证系统在运营过程中管理的各种资料的安全，保证系统与其他相关系统信息交换过程的安全；保证系统业务管理体系的安全。区块链数据库技术作为互联网底层安全保障，为数据服务提供分布式安全共性技术和“基础设施安全屏障”。对传统统计专业机构所涉及范围的互联网化 新业态开发都将利用区块链数据库的定向追索性、分布式账本及留痕制，保障数据的安全性。 （7）可靠性
保证系统具有较高的可靠性和良好的容错性能，保证系统能够提供7×24小时不间断访问服务。
20
3.2 建设目标
XX省大数据统计平台定位于服务全省14个市州86个县区的数据采集，数据包括统计局的统计业务数据、相关部门数据（如：发改委数据，交通厅数据等）及互联网数据。数据采集之后，平台将对数据进行整合、清洗、汇总、分析对比、数据挖掘等一系列的数据治理活动。根据业务的需求实现各种灵活专题统计任务（如：“三新”统计等）和宏观经济预测。平台提供良好的业务扩展能力，可基于已经整合的数据资源池实现业务制度订制，实现新业务制度的建立、编辑、管理、删除等任务的订制及发布，为业务统计提供友好的扩展接口，实现新增专题统计。
3.3 平台架构
21
图3-1 平台架构图
（1）数据源
大数据统计平台的数据包括联网直报数据、住建部门数据、国土部门数据、金融机构数据、税务部门数据、省发展改革委数据、省文化厅数据、省交通运输厅数据及互联网数据，是支撑整个业务应用系统的数据统计及数据挖掘分析。 （2）数据获取层
数据整理主要通过ETL及内容分析实现数据的治理问题，确保数据的质量，保证数据的正确性、完整性、一致性、完备性、有效性、时效性和可获取性等，主要通过空值处理、规范化数据格式、拆分数据、验证数据正确性、数据替换等手段实现数据的整合。 （3）数据层
负责存储海量数据，提供并行的计算和非结构化数据的处理能力，实现低成本的存储和低时延、高并发的查询能力。数据加工、关联、汇总后的业务数据，并提供分布式计算，支撑数据深度分析和数据挖掘能力，向主数据仓库输出KPI和高度汇总数据。
（4）能力层
通过对原始数据进行整合汇总，形成上层可用的数据挖掘工具，平台能力层主要向用户提供实时数据处理能力、基础分析能力、数据挖掘能力、自助分析能力、数据共享能力等，同时面向
22
使用人员提供FTP传输、API接口、SQL\\MDX语句使用能力。 （5）应用层
数据应用层存储不同的综合级别的数据，主要包括当前明细数据、轻度综合数据、高度综合数据。根据不同的报表分割不同的数据粒度，实现数据立方体的存储。根据统计的基础数据和各行业各领域的数据构造WEB资源池。根据业务需要实现各种灵活专题统计任务（如“三新统计”、文化产业统计等）和宏观经济预测。并可以根据新的业务需求，实现新增专题统计。
3.4 大数据平台功能
3.4.1数据交换系统
数据交换系统主要实现所有源系统中原始的业务数据进行采集，并对其进行一定的数据处理，并根据业务的需要分为实时数据采集和批量数据采集，实时数据采集不能对业务系统有较大的负担影响到业务系统的运行，建议使用基于数据库日志的方式进行数据同步。整个过程按照主题进行数据重组和格式转换，传送并装载到大数据平台中。 （1）数据采集
大数据统计平台的数据包括联网直报数据、住建部门数据、国土部门数据、金融机构数据、税务部门数据、省发展改革委数据、省文化厅数据、省交通运输厅数据及互联网数据，支撑整个业务应用系统的数据统计及数据挖掘分析。
23