8.4 MapReduce V2优势
1)分散了JobTracker的任务。资源管理任务由资源管理器负责,作业启动、运行和监测任务由分布在集群节点上的应用主体负责。这样大大减缓了MapReduce V1中JobTracker单点瓶颈和单点风险的问题,大大提高了集群的扩展性和可用性。
2)在MapReduce V2中应用主体(ApplicationMaster)是一个用户可自定制的部分,因此用户可以针对编程模型编写自己的应用主体程序。这样大大扩展了MapReduce V2的适用范围。
3)在资源管理器上使用ZooKeeper实现故障转移。当资源管理器故障时,备用资源管理器将根据保存在ZooKeeper中的集群状态快速启动。MapReduce V2支持应用程序指定检查点。这就能保证应用主体在失败后能迅速地根据HDFS上保存的状态重启。这两个措施大大提高了MapReduce V2的可用性。
4)集群资源统一组织成资源容器,而不像在MapReduce V1中Map池和Reduce池有所差别。这样只要有任务请求资源,调度器就会将集群中的可用资源分配给请求任务,而无关资源类型。这大大提高了集群资源的利用率。