高校大数据专业教学科研平台建设方案 联系客服

发布时间 : 星期一 文章高校大数据专业教学科研平台建设方案更新完毕开始阅读25cd643930b765ce0508763231126edb6e1a764d

向外扩展的架构,可以经济的存储所有公司的数据供以后使用,节省的费用是非常惊人的。

Ⅲ灵活性更好

Hadoop能够使企业访问新的数据源,并可以分析不同类型的数据,从这些数据中产生价值,这意味着企业可以利用Hadoop的灵活性从社交媒体、电子邮件或点击流量等数据源获得宝贵的商业价值。

Ⅳ处理速度更快

Hadoop拥有独特的存储方式,用于数据处理的工具通常在与数据相同的服务器上,从而导致能够更快的处理器数据。如果处理大量的非结构化数据,Hadoop能够在几分钟内处理TB级的数据,而不是像以前都需要以小时为单位。

Ⅴ容错能力更强

Hadoop的一个关键优势就是它的容错能力,Hadoop能够自动保存数据的多个副本,并且能够自动将失败的任务重新分配。。当数据被发送到一个单独的节点,该数据也被复制到集群的其它节点上,这意味着在故障情况下,存在另外的副本可供使用。

第 9 页 共 40 页

④ ZDM平台安装界面截图: ⅠZDM平台登陆界面

用户名密码登陆后,可以看到如下的首页。

第 10 页 共 40 页

Ⅱ系统管理界面

在系统管理界面中,“用户管理”和“角色管理”中,可以定义角色(管理员、操作员等)、添加用户、修改用户密码等。此外,在“资源管理”页面中,可以为每一个用户指定允许安装的组件或者模块。

Ⅲ组件安装界面

在“组件安装”界面中,具有以下功能:基础信息配置(主机名映射)、Hadoop组件安装、Spark组件安装、数据挖掘工具安装、集群监控及HUE安装。以下逐一进行介绍。

ⅰ 基础信息配置

基础信息配置,也即主机名映射,在初次安装Hadoop集群前需要配置各服务器的IP地址与主机名的映射。点击“配置”按钮后,系统会在后台完成以下配置。

修改各服务器的主机名,完成映射。 完成各服务器之间的SSH互信。 完成各服务器java JDK环境配置。

第 11 页 共 40 页

ⅱ Hadoop基础组件

在Hadoop基础组件页面,可以点击各个Hadoop基础组件的图标,完成相应组件的安装及配置。

说明:由于组件之间有相互依赖关系,因此,如果某个组件的前序依赖组件没有安装,系统会提示用户安装前序依赖组件。

ⅲ Spark基础组件安装

第 12 页 共 40 页