干货丨Hadoop安装步骤！详解各目录内容及作用

内容导航：

干货丨Hadoop安装步骤！详解各目录内容及作用

如何在windows下安装hadoop

如何在windows下安装hadoop

怎么一键安装hadoop

一、干货丨Hadoop安装步骤！详解各目录内容及作用

Hadoop是Apache基金会面向全球开源的产品之一，任何用户都可以从Apache Hadoop 官网下载使用。今天，播妞将以编写时较为稳定的Hadoop2.7.4版本为例，详细讲解Hadoop的安装。

先将下载的hadoop-2.7.4.tar.gz安装包上传到主节点hadoop01的/export/software/目录下，然后将文件解压到/export/servers/目录，具体指令如下。

$ tar -zxvf hadoop-2.7.4.tar.gz -C /export/servers/

执行完上述指令后，同样通过“vi /etc/profile”指令打开profile文件，在文件底部进一步添加如下内容类配置Hadoop环境变量。

# 配置Hadoop系统环境变量export HADOOP_HOME=/export/servers/hadoop-2.7.4export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

在/etc/profile文件中配置完上述Hadoop环境变量后(注意HADOOP_HOME路径)，保存退出即可。然后，还需要执行“source /etc/profile”指令使可使配置文件生效。

安装完Hadoop并配置好环境变量后，可以在当前主机任意目录下查看安装的Hadoop版本号，具体指令如下。

$ hadoop version

执行完上述指令后，效果如图1所示。

△ 图1 Hadoop版本号

从图1可以看出，当前Haddoop版本就是指定的2.7.4，说明Hadoop安装成功。

接下来，可以在Hadoop解压目录下通过ll指令查看Hadoop目录结构，如图2所示。

△ 图2 Hadoop安装目录结构

从图2可以看出，Hadoop安装目录包括有bin、etc、include、lib、libexec、sbin、share和src共8个目录以及其他一些文件，下面简单介绍下各目录内容及作用。

bin：存放操作Hadoop相关服务(HDFS、Yarn)的脚本，但是通常使用sbin目录下的脚本。

etc：存放Hadoop配置文件，主要包含core-site.xml、hdfs-site.xml、mapred-site.xml等从Hadoop1.0继承而来的配置文件和yarn-site.xml等Hadoop2.0新增的配置文件。

include：对外提供的编程库头文件(具体动态库和静态库在lib目录中)，这些头文件均是用C++定义的，通常用于C++程序访问HDFS或者编写MapReduce程序。

lib：该目录包含了Hadoop对外提供的编程动态库和静态库，与include目录中的头文件结合使用。

libexec：各个服务对用的shell配置文件所在的目录，可用于配置日志输出、启动参数(比如JVM参数)等基本信息。

sbin：该目录存放Hadoop管理脚本，主要包含HDFS和YARN中各类服务的启动/关闭脚本。

share：Hadoop各个模块编译后的jar包所在的目录。

src：Hadoop的源码包。

一、如何在windows下安装hadoop

1、安装Cygwin
下载cygwin的setup.exe，双击运行：

选择从Internet安装：

设置安装目录：

设置安装包目录：

设置“Internet Connection”的方式，选择“Direct Connection”：

选择一个下载站点：

“下一步”之后，可能会弹出下图的“Setup Alert”对话框，直接“确定”即可

在“Select Packages”对话框中，必须保证“Net Category”下的“OpenSSL”被安装：

如果还打算在eclipse 上编译Hadoop，则还必须安装“Base Category”下的“sed”：

“Devel Category”下的subversion 建议安装：

下载并安装：

当下载完后，会自动进入到“setup”的对话框：

在上图所示的对话框中，选中“Create icon on Desktop”，以方便直接从桌面上启动
Cygwin，然后点击“完成”按钮。至此，Cgywin 已经安装完成。

2、配置环境变量
需要配置的环境变量包括PATH 和JAVA_HOME：将JDK 的bin 目录、Cygwin 的bin 目录
以及Cygwin 的usr\bin（sbin）目录都添加到PATH 环境变量中；JAVA_HOME 指向JRE 安装目录。

3、windows系统上运行hadoop集群，伪分布式模式安装步骤：
①启动cygwin，解压hadoop安装包。通过cygdrive（位于Cygwin根目录中）可以直接映射到windows下的各个逻辑磁盘分区。例如hadoop安装包放在分区D：\下，则解压的命令为＄ tar -zxvf /cygdrive/d/hadoop-0.20.2.tar.gz,解压后可使用ls命令查看，如下图：
默认的解压目录为用户根目录，即D：\cygwin\home\lsq（用户帐户）。
②编辑conf/hadoop-env.sh文件，将JAVA_HOME变量设置为java的安装目录。例如java安装在目录C：\Program Files\java\jdk1.6.0_13,如果路径没空格，直接配置即可。存在空格，需将Program Files缩写成Progra_1,如下图：

③依次编辑conf目录下的core-site.xml、mapred-site.xml和hdfs-site.xml文件，如下图：

④安装配置SSH

点击桌面上的Cygwin图标，启动Cygwin，执行ssh-host-config命令，然后按下图上的选择输入：

当提示Do you want to use a different name?输入yes，这步是配置安装的sshd服务，以哪个用户登录，默认是cyg_server这个用户，这里就不事先新建cyg_server这个用户，用当前本机的超管本地用户：chenx，后续根据提示，2次输入这个账户的密码

出现Host configuration finished. Have fun! 一般安装顺利完成。如下图：

输入命令$ net start sshd，启动SSH，如下图：

注：sshd服务安装完之后，不会默认启动，如果启动报登录失败，不能启动，可在服务属性-Log On窗口手工修改，在前述的过程之中，cygwin不会校验密码是否正确，应该只是校验了2次的输入是否一致，然后再手工启动。不知道为什么，sshd服务如果选择local system的登录方式，后续会有问题，所以sshd服务最好设置成当前的登录用户。

⑤配置ssh登录
执行ssh-keygen命令生成密钥文件

输入如下命令：
cd ~/.ssh
ls -l
cat id_rsa.pub >> authorized_keys

完成上述操作后，执行exit命令先退出Cygwin窗口，如果不执行这一步操作，下面的操作可能会遇到错误。接下来，重新运行Cygwin，执行ssh localhost命令，在第一次执行ssh localhost时，会有“are you sure you want to continue connection?”提示，输入yes，然后回车即可。当出现下图提示，即顺利完成该步：

⑥hadoop运行
格式化namenode
打开cygwin窗口，输入如下命令：
cd hadoop-0.20.2
mkdir logs
bin/hadoop namenode –format

启动Hadoop
在Cygwin 中，进入hadoop 的bin 目录，
运行./start-all.sh 启动hadoop；
可以执行./hadoop fs -ls /命令，查看hadoop 的根目录；
可以执行jps 查看相关进程；
如下图：（如果显示和下图类似，一般hadoop安装/启动成功）

二、如何在windows下安装hadoop

Hadoop三种安装模式：单机模式，伪分布式，真正分布式

一 单机模式standalone
单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时，Hadoop无法了解硬件安装环境，便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时，Hadoop会完全运行在本地。因为不需要与其他节点交互，单机模式就不使用HDFS，也不加载任何Hadoop的守护进程。该模式主要用于开发调试MapReduce程序的应用逻辑。

二 伪分布模式安装
tar xzvf hadoop-0.20.2.tar.gz
Hadoop的配置文件：
conf/hadoop-env.sh 配置JAVA_HOME
core-site.xml 配置HDFS节点名称和地址
hdfs-site.xml 配置HDFS存储目录，复制数量
mapred-site.xml 配置mapreduce的jobtracker地址

配置ssh，生成密匙，使到ssh可以免密码连接
(RSA算法，基于因数不对称加密：公钥加密私钥才能解密，私钥加密公钥才能解密)
cd /root
ssh -keygen -t rsa
cd .ssh
cp id_rsa.pub authorized_keys覆盖公钥，就能免密码连接

启动Hadoop bin/start-all.sh
停止Hadoop bin/stop-all.sh

三 完全分布式模式
1. 配置etc/hosts文件,使主机名解析为IP 或者使用DNS服务解析主机名
2. 建立hadoop运行用户: useradd grid>passwd grid
3. 配置ssh密码连入: 每个节点用grid登录，进入主工作目录，ssh -keygen -t rsa生产公钥，然后将每个节点的公钥复制到同一个文件中，再将这个包含所有节点公钥的文件复制到每个节点authorized_keys目录，这个每个节点之间彼此可以免密码连接
4. 下载并解压hadoop安装包
5. 配置namenode，修改site文件
6. 配置hadoop-env.sh
7. 配置masters和slaves文件
8. 向各个节点复制hadoop
9. 格式化namenode
10.启动hadoop
11.用jps检验各后台进程是否成功启动。

三、怎么一键安装hadoop

hadoop一键安装伪分布式

hadoop伪分布式和hive在openSUSE中的安装

在git上的路径为：

各个文件夹内容

一.lib文件夹，主要存放使用到的jar包

1. dom4j.jar 主要是用来解析xml文档的jar包
2. JavaStudy.jar 具体执行解析xml文档的jar包
3. mysql-connector-java-5.1.42-bin.jar hive中需要的Java连接MySQL数据库的驱动jar包

二.software文件夹，主要存放要安装的hadoop生态安装包

1. hadoop-2.6.0-cdh5.10.0.tar.gz CDH的hadoop安装包
2. hive-1.1.0-cdh5.10.0.tar.gz CDH的hive安装包

三.script文件夹，主要是一键安装的脚本

1. main.sh 主调函数，顺序执行安装步骤
2. install-env.sh 主要是安装需要用到的各种参数，比如安装目录，MySQL连接信息，xml配置信息等。有部分配置需要根据不同的机器进行修改。
3. functions.sh 安装步骤，主要是供main.sh调用的函数。不需要修改

如何执行

一.完成Linux环境的基本配置

1. 安装好Java
2. 安装好mysql
3. 停用防火墙
4. 配置网络，并能ping通外网
5. 设置好主机名

二.创建文件夹用于存放安装问价夹

1. root用户下修改/opt文件的权限
chown 用户名 /opt
2. 普通用户创建文件存放脚本的文件夹
mkdir /opt/install
3. 将安装文件夹放到刚才创建的文件夹中
4. 赋予脚本的执行权限
chmod 777 functions.sh install-env.sh main.sh

修改install-env.sh配置自己的安装环境

• 添加脚本的安装路径

• 添加MySQL的连接参数

• 给出要运行的Java的安装路径