深入浅出Hadoop(part 4)YARN框架（hadoop框架结构详解）

YARN产生的背景：

一、直接源于MRv1的缺陷：

1、扩展性受限。

2、单点故障。

3、难以支持MR以外的计算

二、多个计算框架各自为战，数据共享困难

1、MR：离线计算框架：高延迟，高吞吐量

2、Storm：实时计算框架。

3、Spark：内存计算框架

MR用来处理海量数据，HDFS用来存储海量数据，NN：NameNode；HA：两个NameNode

客户端需要运行一个job，提交一个请求给resource manager，resource manager收到请求后，会告诉Node Manager有新的请求，需要准备资源，同时会生成一个APP Master（管理整个任务的运行和监控），再生成一个container，封装CPU、内存。

YARN各个模块：

1、resource manager

A、处理客户端请求。

B、启动、监控APP master。如果任务失败，可以通过APP Master查看日志，分析失败原因。

C、监控Node Manager。监控集群资源，方便统一管理。

D、资源的分配与调度。

2、Node Manager（小弟）

A、单个节点上的资源管理。

B、处理resource manager上的命令。

C、处理app master上的命令。

3、APP master：

A、数据切分。把数据分片，用于并行处理。

B、为应用程序申请资源，并分配给内部任务。

C、任务的监控与容错。如果任务出错，可以自动运行，但次数有限。

YARN容错：

1、resource manager

A、Hadoop1.x版本存在单点故障问题

B、2.x版本通过zookeeper选举机制，实现HA

2、Node Manager

A、Node Manager运行任务失败后，RM将失败的任务汇报给APP master，然后通过APP master重新运行任务。

B、APP master有决定权，决定如何处理失败的任务。

3、APP master

A、APP master失败后，由resource manager负责重启，APP master只负责内部任务的容错问题。

YARN调度框架

1、双层调度框架：

A、resource manager将资源分配给APP master

B、再有APP master进行统一分配给各个任务

2、基于资源预留的调度策略

A、当资源不够时，YARN会预留资源，直到资源充足时才会释放。

B、与Apache Mesos（all or nothing：集群任务要么全部成功，要么全部失败）不同

YARN资源调度器

1、多类型的资源调度：

A、采用DRF算法。

B、目前只支持CPU和内存两种资源。

2、提供多种资源调度器。

A、FIFO，先进先出。按照优先级高低调度；如果优先级相同，则按照提交时间先后顺序；如果提交时间也相同，则按照名称。

B、fair scheduler，公平调度器，按照内存资源使用率来调度。比如一个队列有两个任务同时运行，则两个任务都会得到二分之一的资源；如果是三个任务则是三分之一。

C、capacity scheduler，容量调度器，根据容量的剩余情况来调度任务。

D、多租户资源调度器：支持资源按比例分配，也支持层级队列划分方式，支持资源抢占。

YARN资源隔离方案：

1、支持内存和CPU两种资源隔离：

A、内存是“决定生死”的资源，如果集群资源不够，则会报出内存溢出错误，整个任务直接崩掉。

B、CPU是一种“影响快慢”的资源。

2、内存隔离：

A、基于线程监控方案。启动多个线程，每个线程占用一定内存，互相不受影响。

B、基于Cgroups方案。Linux内核提供的机制，可以限制、记录、隔离进程组所使用的的物理资源，比如CPU、内存、网络IO等。

3、CPU隔离：

A、默认不隔离CPU。

B、基于Cgroups方案。

YARN资源调度语义：

1、支持的语义：

A、支持请求某个特定节点的资源。

B、支持黑名单，将某个节点加入或移除黑名单，这是YARN不会再为这个节点分配资源。

C、请求归还资源，YARN可以回收资源

2、不支持的语义

A、请求任意任意节点的资源（只能请求指定节点）

B、请求一组或者几组符合某种特质的资源

C、超细粒度的资源

D、动态调整container的资源

运行在YARN上的计算框架

1、MapReduce：离线计算框架。

2、Tez：DAG计算框架。

3、Storm：流式计算框架。

4、Spark：内存计算框架。

5、Giraph、GraphLib：图计算框架。

1.x版本：Input输入数据，接着通过map任务处理数据，接着输出数据。

2.x版本：Input输入数据，接着通过map任务处理数据，接着通过reduce进行数据的汇总，接着输出数据。

Spark：input输入数据，然后将数据分成多个stage，然后进行处理，然后输出数据。

YARN程序类型：

1、长应用类型：一直启动YARN，比如HTTP Server。

2、短应用程序：MR任务，spark任务。

离线计算框架MapReduce

1、将计算过程分成两个阶段：Map和Reduce。Map阶段会并行处理输入的数据，比如需要处理200M的数据，Map会分成两部分来处理，一份128M，一份72M，这两份数据会同时并行处理，这样效率会提高。Reduce阶段会汇总数据，写入HDFS中。

2、Shuffle连接Map和Reduce两个阶段。Shuffle会将Map输出的数据写入本地， 然后Reduce再去读取。因为数据量大，所以写入本地而不是内存。

3、只适合离线批处理程序。具有良好的扩展性和容错性、适合简单的批处理任务。

4、缺陷明显：启动开销过大，过多使用磁盘导致效率低下。

客户端提交任务给resource manager，resource manager收到任务会生成一个APP manager，然后找到一个子节点，子节点生成一个MR APP master，生成好之后，会汇报给resource manager，同时也向resource manager申请资源，申请完成后，通知Node manager运行任务，然后分配资源container，最后运行map任务和reduce任务。