Hadoop学习总结 联系客服

发布时间 : 星期三 文章Hadoop学习总结更新完毕开始阅读0094e469856a561253d36f36

(3) 禁用防火墙

为了保证虚拟机之间的连通性,需要禁用防火墙。通过chkconfig iptables off命令关闭防火墙。

(4) 修改主机名 主机名在“etc/sysconfig/network”文件中设置。通过vi命令打开此文件,修改HOSTNAME的取值。

为了方便,在网络环境中通过主机名访问,因此需要配置IP与主机名的映射关系。该关系在“/etc/hosts”文件描述。除了配置本机主机名与IP的映射关系外,还需要配置网络中另外两台主机名与IP的映射关系。

(5) 配置SSH无密码登录

通过ssh-keygen生成SSH公钥与私钥(一直回车,采用缺省配置)

将id_isa.pub的内容拷贝到authorized_keys文件中。需要注意,为了虚拟机间可以相互免密码登录,需要将其他机器的id_isa.pub也拷贝到authorized_keys。

通过“ssh 主机名”命令测试是否可以无密码登录。

2.2 JDK安装

JDK安装过程是

(1) 将JDK的安装包拷贝到虚拟机上

使用WinSCP建立与虚拟机的会话,将宿主机上的JDK安装包拷贝到虚拟机上。

(2) 执行

第一步,通过 chmod +x jdk…,命令修改为可执行权限 第二步,./jdk…,解压缩并安装jdk。 (3) 配置环境变量

安装完成后,在/etc/profile文件中添加JAVA_HOME环境变量。

通过java命名测试jdk是否安装成功。

2.3 Hadoop运行环境搭建

环境变量 配置文件 启动

2.4 Hadoop开发环境搭建

3 Hadoop程序开发示例

3.1.1 HDFS 3.1.2 MapReduce 3.1.3 HBase

4 Hadoop营配应用思考

附录:Linux命令集合

/user/hadoop/ 放到Hadoop目录下