发布时间 : 星期日 文章单井库源头数据采集系统更新完毕开始阅读e26424d4240c844769eaee0d
数据采集表单动态生成技术应用
1需求分析
根据单井地质数据采集责任单位的调研结果，确立了采集系统的应用需求：
（1）采集系统界面美观，B/S设计风格，大方，整洁，统一，程序设计简洁明快，各模块响应速度快[2]；
（2）用户操作简便，采集系统界面只显示用户相关的录入或审核工作[3]； （3）系统需要对采集到的数据进行审核后，数据才能入库；
（4）符合需求描述，信息显示合理，具有石油天然气勘探开发专业特色； （5）保障系统安全性、可维护性、可扩展性强。
2系统架构设计
综合分析业务需求、数据需求、安全需求、扩展需求等方面需求，系统开发平台采用J2EE [4]，具体应用了JSP、Servlet、EJB、Web Service等技术（图1）。客户端采用B/S模式，通过浏览器对Web服务器进行访问，采用HTTP协议，支持HTML、JSP、Servlet和JavaBean，并可扩展到对XML支持。数据库采用Oracle数据库，提供通用数据库连接接口，可以适应SQL Server、Sybase、DBII数据库。
客户层中间层企业信息系统层Web浏览器HTTP/XML/HTML协议防火墙Web容器Web服务节点SOAP协议接口（JNDI、JMS、JavaMail）RMI/I单井地质数据库驱动器/适配器IOP协议数据采集平台客户端EJB容器RMI/IIOP协议其它应用软件界面层应用逻辑层应用逻辑支撑层数据访问层
图1 采集系统架构图
客户端可以通过IE访问，数据采集首先存储到二级服务站，二级服务站再上传到总服务站（数据中心）。
J2EE平台基础上采用SOA架构[5]，采用Servlets、JSP、XML、JSON和AJAX等技术运用到数据采集业务流程，划分为四个功能层：界面层、应用逻辑层、支撑层和数据访问层（图1）。
（1）界面层
该层是整个单井地质数据库采集系统面向最终用户的统一入口，是各类用户获取所需服务的主
1
要入口和交互界面，目前包含普通用户界面和系统用户界面。普通用户界面是源头数据采集系统对外的统一入口，系统用户界面是源头数据采集系统对内的统一入口，对内部人员提供系统维护功能、数据调整功能、基础数据定义功能。
（2）应用逻辑层
该层是体现源头数据采集系统的关键点，也是源头数据采集系统面向最终用户的功能层面。应用层以应用逻辑支撑层为基础，向最终用户提供业务处理功能的各类应用系统，现在功能包括信息采集、并支持通过数据中心集成管理与发布平台对本数据库进行信息查询及图表生成等功能。
（3）应用逻辑支撑层
该层提供各种应用逻辑的服务。应用逻辑服务提供了可工作于不同应用项目中的核心逻辑功能，作为基础平台支撑在其上开发的应用逻辑的运行。应用逻辑由部件化的基础工作平台和相应的二次开发接口组成。
该层在整个模型中承担着承上启下的关键作用，处于应用逻辑层和数据访问层之间。应用逻辑支撑层构建在J2EE技术架构上。
（4）数据访问层
该层构建于IT基础设施层之上，并为上层的应用支撑层提供各种数据资源，主要分为“通用数据访问组件、hibernate”两类，数据访问层包括结构化数据和非结构化数据，非结构化数据包括数据文件、视频文件、语音文件、图形文件。
3功能特点及技术实现
（1）采用SOA系统框架
系统参照SOA架构思想，利用Java（J2EE）实现，采用B/S的开发模式；B/S客户端通过浏览器对Web服务器进行访问，采用HTTP协议；表现层使用HTML、JavaScript、JSP和Servlet技术，可通过内部调用、RMI-IIOP和Webservice方式对下层进行访问；业务功能层和支持层使用EJB，并对开放接口进行WebService封装；数据整合则封装了多种接口，实现各种数据资源的访问，及外部系统的交互、可扩展性强。
（2）自定义采集表单
在单井地质数据采集系统中，共有十多个实体的数据被采集管理。这十多个实体涉及到20多张数据表，700余项数据库字段。而且，根据业务及管理需要，这些数据库的结构、字段名称、数据规则随时都有更改、添加的可能。
在这种情况下，系统提供了自定义采集表单的功能，技术人员在设计数据库时，设计了一个用于用户定义表结构的原始码表（SYS_DEFINE），允许用户对数据库字段的字段名、显示名、数据类型、长度、默认值、表单显示类型、提示信息、验证规则、字段排序、是否必填、是否支持搜索等二十多个属性进行自定义配置。当在页面生成表单时，就可以要据用户自己的要求，生成用户满意的，自定义的表单项。
自定义采集表单灵活、方便，无需编写程序代码就能够对数据库及相关字段进行维护，有效降低了维护成本。
（3）数据采集表单动态生成
通过完善的前期业务调研分析以及良好的数据结构设计，同时结合JS、JSON与AJAX技术，本系统实现了采集数据表单的动态生成。当系统中需要使用到采集表单时，系统会从上面所述码表（SYS_DEFINE）中查询与当前采集相关的表单项，并要据用户表单定义中数据字段的各个属性、结合数据码表、用户权限等指标，实时生成一张能够支持数据采集的表单，极大的提高了系统的灵活性和可扩展性。
2
自动表单生成功能不但能生成表单页面，还能将系统的多个功能特性进行融合展示。例如用户在任意时间对数据结构、字段、码表、验证规则进行修改之后，都能保证实时产生最新的数据采集页面。
（4）实时采集数据验证
单井地质数据字段有700余项，避免采录人员因为手误、原始数据错误等原因导致入库数据不准确、增加审核人工作负担，该系统提供了自动数据校验功能。通过制订一套灵活可靠的数据验证规范，实现业务数据采集的同时进行数据验证，采集数据出现错误、确实、重复等不符合预定规范等情况及时给予实时的、详尽的错误提示，减少审核人员的工作量、提高数据的准确性和规范性。
具体而言，使用JavaScript技术结合用户指定的验证规则（正则，脚本等），在客户端对要入库的数据进行一些格式的验证；对于数据库中重复等验证，采用Ajax异步消息服务方式，在对一些数据进行验证的同时，用户可以做其它工作，减少了用户等待数据验证结果的时间，增强页面的友好性。通过上述技术的应用，实现了在数据录入或提交时对系统采集数据的完整性、准确性、关联性、重复性等的校验，并对错误字段高亮显示，同时标示出错误原因，便于操作者进行修正。
除了上述校验，对于多个字段之间有数据大小关系的，也能够通过智能校验系统进行对比提示。 对于一些较为复杂的数据填写要求，例如被采集数据的编号，系统将采取“自动编号”的形式自动生成。例如“DJ2010010001”的形式，系统能够根据当前采集项目的项目内容、年份以及已采集数据的条数生成符合系统要求的编号。
图2 单井数据采集系统操作流程
通过系统登录数据采集（自动校验）1、重复数据验证2、必填字段验证3、格式化数据4、关联数据填充5、其它辅助功能拒绝数据审核数据入库4运行效果
单井数据采集系统的操作流程如图2所示：
根据角色的不同，单井数据采集系统的用户可分为三类：数据采集、数据审核和系统管理员，按照三类用户进行测试、试运行，达到研发目标。
（1）数据采集
数据采集功能是单井地质数据采集系统的核心部分，主要实现各业务项目的数据采集。在本功能中，通过预先定义的业务表及字段属性定义，动态生成数据采集表单，并能够根据当前用户权限自动显示相应采集项目。
（2）数据审核
在业务数据被创建或编辑之后，将由“数据审核”模块进行审核确认数据是否具有专业可靠性。为减少操作步骤、提高操作效率，审核操作支持批量审核操作，可同时对多条数据进行审核。
（3）系统管理
在本模块中主要实现了对单井地质数据采集系统的用户进行权限设置、用户类型设置、密码初始化、操作日志、历史数据、系统统计功能等。
3
5结束语
单井地质数据采集系统是为了解决源头数据及时、准确入库，保障数据库不断为生产科研提供数据而开发的，目的是使新数据不再成为历史数据。通过需求分析，建立基于B/S模式的系统架构，采用JS、JSON和AJAX等关键技术，自动生成前台采集界面，最后按用户类型对系统的各项功能性能进行了测试，表明系统在功能、性能上满足需求，简单、高效、灵活地使用。其实现方法技术可以运用于油气勘探开发数据库领域的源头数据采集系统的研发。
4