8.1 MapReduce V2设计需求
Hadoop MapReduce框架的设计者也意识到了MapReduce V1的缺陷,所以他们根据用户最迫切的需求设计了新一代Hadoop MapReduce框架。那么MapReduce V2需要满足用户哪些迫切需求呢?
可靠性(Reliability)。
可用性(Availability)。
扩展性(Scalability)。集群应支持扩展到10 000个节点和200 000个核心。
向后兼容(Backward Compatibility)。保证用户基于MapReduce V1编写的程序无须修改就能运行在MapReduce V2上。
演化。使用户能够控制集群中软件的升级。
可预测延迟(Predictable Latency)。提高小作业的反应和处理速度。
集群利用率。比如Map Task和Reduce Task的资源共享等。
MapReduce V2的设计者还提出了一些其次需要满足的需求:
支持除MapReduce编程框架外的其他框架。这样能够扩大MapReduce V2的适用人群。
支持受限和短期的服务。