Hadoop进级教程之-HDFS HA架构原理

在Hadoop 2.0.0之前，一个HDFS集群中只有一个单一的NameNode，如果NameNode所在的节点宕机了或者因服务器软件升级导致NameNode进程不可用，则将导致整个集群无法访问，直到NameNode被重新启动。

HDFS高可用性（HDFS High Availability，简称HDFS HA）解决了上述问题，它可以在同一个集群中运行两个NameNode，其中一个处于活动状态（active），另一个处于备用状态（standby），且只有活动状态的NameNode可以对外提供读写服务。当活动状态的NameNode崩溃时，HDFS集群可以快速切换到备用的NameNode，这样也就实现了故障转移功能。

为了能够实时无缝的进行故障切换，需要让备用NameNode的状态保持与活动NameNode同步，即元数据信息同步。因此两个NameNode都需要与一组名为“JournalNode”的独立守护进程进行通信。当活动状态的NameNode的元数据有任何修改时，会将修改记录持久地记录到大多数的JournalNode中。备用NameNode不断地监视JournalNode并读取变更信息，以便将变化应用于自己的命名空间，如图

为了提供快速故障转移，还需要备用NameNode拥有关于集群中块位置的最新信息。为了实现这一点，DataNode配置了两个NameNode的位置，并将块位置信息和心跳发送到这两个位置，如图

HDFS HA搭建

1. hdfs-site.xml文件配置

HA NameNode的配置，需要向hdfs-site.xml文件添加一些配置属性，其中的属性dfs.nameservices 和 dfs.ha.namenodes.[nameservice ID]所设置的值将被后面的属性所引用。因此，在设置其他配置属性之前，应该先添加这两个属性。

hdfs-site.xml文件完整的配置内容如下：

<property>
  <name>dfs.replication</name>
  <value>2</value>
</property>
<!--mycluster为自定义的值，下方配置要使用该值-->
<property>
  <name>dfs.nameservices</name>
  <value>mycluster</value>
</property>
<!--配置两个NameNode的标识符-->
<property>
  <name>dfs.ha.namenodes.mycluster</name>
  <value>nn1,nn2</value>
</property>
<!--配置两个NameNode所在节点与访问端口-->
<property>
  <name>dfs.namenode.rpc-address.mycluster.nn1</name>
  <value>hadoop-master:8020</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.mycluster.nn2</name>
  <value>hadoop-slave1:8020</value>
</property>
<!--配置两个NameNode的Web页面访问地址-->
<property>
  <name>dfs.namenode.http-address.mycluster.nn1</name>
  <value>hadoop-master:50070</value>
</property>
<property>
  <name>dfs.namenode.http-address.mycluster.nn2</name>
  <value>hadoop-slave1:50070</value>
</property>
<!--设置一组 JournalNode 的 URI 地址-->
<property>
  <name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://hadoop-master:8485;hadoop-slave1:8485;hadoop-slave2:8485/mycluster</value>
</property>
<!--JournalNode用于存放元数据和状态信息的目录-->
<property>
  <name>dfs.journalnode.edits.dir</name>
  <value>/opt/modules/hadoop-2.9.2/tmp/dfs/jn</value>
</property>
<!--客户端与NameNode通信的Java类-->
<property>
  <name>dfs.client.failover.proxy.provider.mycluster</name> <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!-- 解决HA集群脑裂问题--> 
<property>
  <name>dfs.ha.fencing.methods</name>
  <value>sshfence</value>
</property>
<!--上述属性SSH通讯使用的密钥文件-->
<property>
  <name>dfs.ha.fencing.ssh.private-key-files</name>
  <value>/home/hadoop/.ssh/id_rsa</value><!--hadoop为当前用户名-->
</property>

2.core-site.xml文件配置

修改core-site.xml文件中的fs.defaultFS属性值，为Hadoop客户端配置默认的访问路径，以使用新的支持HA的逻辑URI。若之前配置为hdfs://hadoop-master:9000，则需改为hdfs://mycluster，其中的mycluster为hdfs-site.xml中定义的nameservice ID值，Hadoop启动时会根据该值找到对应的两个NameNode。

core-site.xml的完整配置内容如下：

<configuration>
<property>
   <name>fs.defaultFS</name>
   <value>hdfs://mycluster</value>
</property>
<property>
   <name>hadoop.tmp.dir</name>
   <value>file:/opt/modules/hadoop-2.8.2/tmp</value>
</property>
</configuration>

3. 启动与测试

(1) 启动JournalNode进程

删除各个节点的$HADOOP_HOME/tmp目录下的所有文件。分别进入各个节点的Hadoop安装目录，执行以下命令，启动三个节点的JournalNode进程：

$ sbin/hadoop-daemon.sh start journalnode

(2) 格式化NameNode

在hadoop-master节点上进入Hadoop安装目录，执行以下命令，格式化NameNode。如果没有启动JournalNode，格式化将失败。

$ bin/hdfs namenode -format

(3) 启动NameNode1（活动NameNode）

在hadoop-master节点上进入Hadoop安装目录，执行以下命令，启动NameNode：

$ sbin/hadoop-daemon.sh start namenode

(4) 拷贝NameNode1元数据

在hadoop-slave2上进入Hadoop安装目录，执行以下命令，将hadoop-slave1上的NameNode元数据拷贝到hadoop-slave2上（也可以直接将centos01上的$HADOOP_HOME/tmp目录拷贝到centos02的相同位置）：

$ bin/hdfs namenode -bootstrapStandby

输出以下信息代表拷贝成功：

18/01/06 21:28:01 INFO common.Storage: Storage directory /opt/modules/hadoop-2.9.2/tmp/dfs/name has been successfully formatted.

(5) 启动NameNode2（备用NameNode）

在hadoop-slave2上进入Hadoop安装目录，执行以下命令，启动NameNode2：

$ sbin/hadoop-daemon.sh start namenode

(6) 在浏览器中输入网址http://hadoop-master:50070 查看NameNode1的状态，如图

(7) 重新启动HDFS

在centos01节点上进入Hadoop安装目录，执行以下命令，停止HDFS：

$ sbin/stop-dfs.sh

然后执行以下命令，启动HDFS：

$ sbin/start-dfs.sh

(8) 再次将NameNode1的状态置为active

重启以后，NameNode、DataNode等进程都已经启动了，但两个NameNode的状态仍然都为standby，需要再次执行步骤(6)的命令，将NameNode1的状态置为active。

(9) 在各节点中执行jps命令，查看各节点启动的Java进程.

(10) 测试HDFS

上传一个文件到HDFS，测试HDFS是否正常运行，文件的上传此处不做过多讲解。若一切正常，接下来测试NameNode故障转移功能。

首先将NameNode1进程杀掉：

$ jps
8996 DataNode
10452 Jps
9221 JournalNode
8877 NameNode
$ kill -9 8877

然后查看NameNode 2的状态，发现仍然是standby，没有自动切换到active，此时需要手动执行步骤(6)的命令，将NameNode2的状态切换为active。再次进行HDFS文件系统的测试，发现一切正常。

在Hadoop的YARN集群中，ResourceManager负责跟踪集群中的资源，以及调度应用程序(例如MapReduce作业)。在Hadoop 2.4之前，集群中只有一个ResourceManager，当其中一个宕机时，将影响整个集群。高可用特性增加了冗余的形式，即一个活动/备用的ResourceManager对，以便可以进行故障转移。YARN HA的架构如图