8.1 MapReduce V2设计需求

Hadoop MapReduce框架的设计者也意识到了MapReduce V1的缺陷,所以他们根据用户最迫切的需求设计了新一代Hadoop MapReduce框架。那么MapReduce V2需要满足用户哪些迫切需求呢?

可靠性(Reliability)。

可用性(Availability)。

扩展性(Scalability)。集群应支持扩展到10 000个节点和200 000个核心。

向后兼容(Backward Compatibility)。保证用户基于MapReduce V1编写的程序无须修改就能运行在MapReduce V2上。

演化。使用户能够控制集群中软件的升级。

可预测延迟(Predictable Latency)。提高小作业的反应和处理速度。

集群利用率。比如Map Task和Reduce Task的资源共享等。

MapReduce V2的设计者还提出了一些其次需要满足的需求:

支持除MapReduce编程框架外的其他框架。这样能够扩大MapReduce V2的适用人群。

支持受限和短期的服务。