太原理工大学数据挖掘考试题库 联系客服

发布时间 : 星期日 文章太原理工大学数据挖掘考试题库更新完毕开始阅读0b9bc7f3aaea998fcd220e1d

1. 数据仓库:是一种新的数据处理体系结构,是面向主题的、集成的、不可更新

的(稳定性)、随时间不断变化(不同时间)的数据集合,为企业决策支持系统提供所需的集成信息。

2. 孤立点:指数据库中包含的一些与数据的一般行为或模型不一致的异常数据。 3. OLAP:OLAP是在OLTP的基础上发展起来的,以数据仓库为基础的数据分析处

理,是共享多维信息的快速分析,是被专门设计用于支持复杂的分析操作,侧重对分析人员和高层管理人员的决策支持。

4. 粒度:指数据仓库的数据单位中保存数据细化或综合程度的级别。粒度影响存

放在数据仓库中的数据量的大小,同时影响数据仓库所能回答查询问题的细节程度。

5. 数据规范化:指将数据按比例缩放(如更换大单位),使之落入一个特定的区域

(如0-1)以提高数据挖掘效率的方法。规范化的常用方法有:最大-最小规范化、零-均值规范化、小数定标规范化。

6. 关联知识:是反映一个事件和其他事件之间依赖或相互关联的知识。如果两项

或多项属性之间存在关联,那么其中一项的属性值就可以依据其他属性值进行预测。

7. 数据挖掘:从大量的、不完全的、有噪声的、模糊的、随机的数据中,提取隐

含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。 8. OLTP:OLTP为联机事务处理的缩写,OLAP是联机分析处理的缩写。前者是以数

据库为基础的,面对的是操作人员和低层管理人员,对基本数据进行查询和增、删、改等处理。

9. ROLAP:是基于关系数据库存储方式的,在这种结构中,多维数据被映像成二维

关系表,通常采用星型或雪花型架构,由一个事实表和多个维度表构成。 10. MOLAP:是基于类似于“超立方”块的OLAP存储结构,由许多经压缩的、类似

于多维数组的对象构成,并带有高度压缩的索引及指针结构,通过直接偏移计算进行存取。

11. 数据归约:缩小数据的取值范围,使其更适合于数据挖掘算法的需要,并且能

够得到和原始数据相同的分析结果。

12. 广义知识:通过对大量数据的归纳、概括和抽象,提炼出带有普遍性的、概括

性的描述统计的知识。

13. 预测型知识:是根据时间序列型数据,由历史的和当前的数据去推测未来的数

据,也可以认为是以时间为关键属性的关联知识。

14. 偏差型知识:是对差异和极端特例的描述,用于揭示事物偏离常规的异常现象,

如标准类外的特例,数据聚类外的离群值等。

15. 遗传算法:是一种优化搜索算法,它首先产生一个初始可行解群体,然后对这

个群体通过模拟生物进化的选择、交叉、变异等遗传操作遗传到下一代群体,

并最终达到全局最优。

16. 聚类:是将物理或抽象对象的集合分组成为多个类或簇(cluster)的过程,使得

在同一个簇中的对象之间具有较高的相似度,而不同簇中的对象差别较大。 聚类:通过聚类分析可以检测孤立点,将类似的值组织成群或“聚类”,直观看,落在聚类之外的值被看成孤立点。

17. 决策树:是用样本的属性作为结点,用属性的取值作为分支的树结构。它是分

类规则挖掘的典型方法,可用于对新样本进行分类。

18. 相异度矩阵:是聚类分析中用于表示各对象之间相异度的一种矩阵,n个对象

的相异度矩阵是一个nn维的单模矩阵,其对角线元素均为0,对角线两侧元素的值相同。

19. 频繁项集:指满足最小支持度的项集,是挖掘关联规则的基本条件之一。 20. 支持度:规则A→B的支持度指的是所有事件中A与B同地发生的的概率,即

P(A∪B),是AB同时发生的次数与事件总次数之比。支持度是对关联规则重要性的衡量。

21. 可信度:规则A→B的可信度指的是包含A项集的同时也包含B项集的条件概率

P(B|A),是AB同时发生的次数与A发生的所有次数之比。可信度是对关联规则的准确度的衡量。

22. 关联规则:同时满足最小支持度阈值和最小可信度阈值的规则称之为关联规则。 23 计算机和人工检查结合:通过结合的方法识别孤立点。

24 回归(regression):利用拟合函数(回归函数)来平滑数据。如找出两个变量的“最佳”直线。涉及多个变量的多线性回归是进一步扩展,即找多维面。回归出适合的数据方程式,进而帮助消除噪声。 25

数据集成:需要统一原始数据中的所有矛盾之处,如字段的:同名异义、同名同义、单位不统一、字长不一致,从而把原始数据在最低层上加以转换、提炼和集成。

常见数据集成:

– 模式集成:如不同库中的id或Number对应(元数据一致可避免模式集成中的错误);

– 冗余问题:另一个表导出的属性,命名不一致导致的;

26

数据变换:将数据转换成适合于挖掘的形式,主要是找到数据的特征表示,对数据进行格式化处理,用维变换或转换方式减少有效变量的数目(降维)或找到数据的不变式 ? 常见的数据变换:

① 平滑(smoothing):去掉数据中的噪声,如用分箱、聚类和回归; ② 聚集:对数据进行汇总和聚集

如聚集日销售数据,计算月或年销售额 (为多粒数据度分析准备数据立方体)

① 数据概化:利用概念分层,用高层次概念替换低层次“原始”数据,如

? 分类属性:街道用城市或国家替换; ? 数值属性,年龄用老、中、青替换。

27

数据管理框架/系统结构 a)

基于关系数据库: – 基于文件系统:

将主要数据分目录/分类存在文件系统中

– 基于云计算平台/NoSQL数据库:

存在HBase等NoSQL或分布式文件系统

– 混合结构:多种数据管理技术

? 各系统结构均支持如下功能:

数据模型、数据预处理与集成、数据查询、存储与索引等。

28 计算智能:是以生物进化的观点认识和模拟智能。按照这一观点,智能是在生物的遗传、变异、生长以及外部环境的自然选择中产生的。在用进废退、优胜劣汰的过程中,适应度高的(头脑)结构被保存下来,智能水平也随之提高。因此说计算智能就是基于结构演化的智能。

? 主要方法:人工神经网络(第7章,P155-182)、遗传算法、遗传程序、演化程序、局部搜索等,当前主要研究方向有群智能、模糊逻辑/推理等。 ? 这类方法的特点是通过自适应学习的特性,这些算法达到了全局优化的目的,有些算法容易陷入局部最优,有时也专门求次优解。 28

决策支持:即决策支持系统(decision support system ,简称dss)是辅助决策者通过数据、模型和知识,以人机交互方式进行半结构化或非结构化决策的计算机应用系统。 29

DSS是管理信息系统(MIS)向更高一级发展而产生的先进信息管理系统。它为决策者提供分析问题、建立模型、模拟决策过程和方案的环境,调用各种信息资源和分析工具,帮助决策者提高决策水平和质量。 30

决策按其性质可分为如下3类: a) 31 32

结构化决策,是指对某一决策过程的环境及规则,能用确定的模型或语言描述,以适当的算法产生决策方案,并能从多种方案中选择最优解的决策; 典型的物联网智能决策应用模式

体系结构:主要由四个部分组成:数据部分:一个数据库系统;模型部分:模型库(MB)及其管理系统(MBMS);推理部分:由知识库(KB)、知识库管理系统(KBMS)和推理机组成;人机交互部分:人机交互界面,用以接收和检验用户请求。 a) 何谓数据挖掘?它有哪些方面的功能?

从大量的、不完全的、有噪声的、模糊的、随机的数据中,提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程称为数据挖掘。相

Oracle(双机热备)、MS SQL (GPS数据)

关的名称有知识发现、数据分析、数据融合、决策支持等。

数据挖掘的功能包括:概念描述、关联分析、分类与预测、聚类分析、趋势分析、孤立点分析以及偏差分析等。 b) 何谓数据仓库?为什么要建立数据仓库?

数据仓库是一种新的数据处理体系结构,是面向主题的、集成的、不可更新的(稳定性)、随时间不断变化(不同时间)的数据集合,为企业决策支持系统提供所需的集成信息。

建立数据仓库的目的有3个:

一是为了解决企业决策分析中的系统响应问题,数据仓库能提供比传统事务数据库更快的大规模决策分析的响应速度。

二是解决决策分析对数据的特殊需求问题。决策分析需要全面的、正确的集成数据,这是传统事务数据库不能直接提供的。

三是解决决策分析对数据的特殊操作要求。决策分析是面向专业用户而非一般业务员,需要使用专业的分析工具,对分析结果还要以商业智能的方式进行表现,这是事务数据库不能提供的。

c) 列举操作型数据与分析型数据的主要区别。

操作型数据 当前的、细节的 面向应用、事务驱动 频繁增、删、改 操作需求事先知道 生命周期符合SDLC 对性能要求高 一次操作数据量小 支持日常事务操作 分析型数据 历史的、综合的 面向分析、分析驱动 几乎不更新,定期追加 分析需求事先不知道 完全不同的生命周期 对性能要求宽松 一次操作数据量大 支持管理决策需求

d) 何谓OLTP和OLAP?它们的主要异同有哪些?

OLTP即联机事务处理,是以传统数据库为基础、面向操作人员和低层管理人员、对基本数据进行查询和增、删、改等的日常事务处理。OLAP即联机分析处理,是在OLTP基础上发展起来的、以数据仓库基础上的、面向高层管理人员和专业分析人员、为企业决策支持服务。

OLTP和OLAP的主要区别如下表:

OLTP OLAP 数据库数据 细节性数据 当前数据 经常更新 一次性处理的数据量小 数据库或数据仓库数据 综合性数据 历史数据 不更新,但周期性刷新 一次处理的数据量大