[搜文档]MapReduce - 搜索结果

第3章　MapReduce编程模型

57 2024-12-19 《Hadoop技术内幕：深入解析MapReduce架构设计与实现原理 (大数据技术丛书)》

第3章　MapReduce编程模型 3.1　MapReduce编程模型概述 3.1.1　MapReduce编程接口体系结构第3章　MapReduce编程模型 MapReduce应用广泛的原因之一在于它的易用性。它提供了一个因高度抽象化而变得异常简单的编程模型[1] 。在第2章中，我们已经对该编程模型的定义以及应用场景做了简单介绍。在这一章中，我...

3.2.3　MapReduce的数据流和控制流

30 2024-12-19 《Hadoop实战（第2版）》

3.2.3　MapReduce的数据流和控制流 3.2.3　MapReduce的数据流和控制流前面已经提到了MapReduce的数据流和控制流的关系，本节将结合WordCount实例具体解释它们的含义。图3-2是上例中WordCount程序的执行流程。图　3-2　MapReduce工作的简易图由前面的内容知道，负责控制及调度M...

A.1　平台介绍

35 2024-12-19 《Hadoop实战（第2版）》

A.1　平台介绍 A.1　平台介绍 MapReduce的日趋流行带动了普通程序员学习MapReduce的潮流，它的学习资料也日趋丰富起来。但是MapReduce运行所需的并行环境却成为了入门者学习的最大障碍，主要原因是并行环境的硬件要求高，配置复杂，同时现有的学习资料中鲜有编程实战方面的指导，更多专注在MapReduce的理论知识上。综合这些情况，我...

12.2　下一代MapReduce框架概述

28 2024-12-19 《Hadoop技术内幕：深入解析MapReduce架构设计与实现原理 (大数据技术丛书)》

12.2　下一代MapReduce框架概述 12.2.1　基本设计思想 12.2　下一代MapReduce框架概述 12.2.1　基本设计思想在第6章中，我们已经介绍了JobTracker的基本功能，包括资源管理（由TaskScheduler模块实现）和作业控制（由JobTracker中多个模块共同实现）两部分，具体如图12-1所示。当前Ha...

第4章　开发MapReduce应用程序

25 2024-12-19 《Hadoop实战（第2版）》

第4章　开发MapReduce应用程序第4章　开发MapReduce应用程序本章内容系统参数的配置配置开发环境编写MapReduce程序本地测试运行MapReduce程序网络用户界面性能调优 MapReduce工作流本章小结在前面的章节中，已经介绍了MapReduce模型。在本章中，将介绍如何在Hadoop中...

4.4　MapReduce通信协议分析

46 2024-12-19 《Hadoop技术内幕：深入解析MapReduce架构设计与实现原理 (大数据技术丛书)》

4.4　MapReduce通信协议分析 4.4.1　MapReduce通信协议概述 4.4　MapReduce通信协议分析本书重点介绍MapReduce，因此对Hadoop RPC上层系统的分析也只限于MapReduce分布式计算框架。在Hadoop MapReduce中，不同组件之间的通信协议均是基于RPC的。它们就像系统的“骨架”，支撑起整个...

6.1　MapReduce作业的执行流程

19 2024-12-19 《Hadoop实战（第2版）》

6.1　MapReduce作业的执行流程 6.1.1　MapReduce任务执行总流程 6.1　MapReduce作业的执行流程从第5章的MapReduce编程实例中可以看出，只要在mian（）函数中调用Job的启动接口，然后将程序提交到Hadoop上，MapReduce作业就可以Hadoop上运行。另外，在前面的章节中也从Task运行角度介绍了...

4.8　MapReduce工作流

29 2024-12-19 《Hadoop实战（第2版）》

4.8　MapReduce工作流 4.8.1　复杂的Map和Reduce函数 4.8　MapReduce工作流到目前为止，已经讲述了使用MapReduce编写程序的机制。不过还没有讨论如何将数据处理问题转化为MapReduce模型。数据处理只能解决一些非常简单的问题。如果处理过程变得复杂了，这种复杂性会通过更加复杂、完善的Map和Reduce...

第3章　MapReduce计算模型

29 2024-12-19 《Hadoop实战（第2版）》

第3章　MapReduce计算模型第3章　MapReduce计算模型本章内容为什么要用MapReduce MapReduce计算模型 MapReduce任务的优化 Hadoop流 Hadoop Pipes 本章小结 2004年，Google发表了一篇论文，向全世界的人们介绍了MapReduce。现在已经到处都有人在谈论MapRed...

4.7 这不是一个单选题

18 2025-01-31 《驾驭大数据》

4.7　这不是一个单选题 4.7　这不是一个单选题在驾驭大数据的分析生态环境中，海量并行关系型数据库、云计算、MapReduce都可以发挥重要的作用。可以将这3项技术整合起来使用，并从大数据中获得最大的价值。有许多方式可以把这些不同的技术整合起来。 ■　数据库可以运行在云里。 ■　数据库可以内置MapReduce功能。例如，Teradata公司...

第3章 MapReduce编程模型

3.2.3 MapReduce的数据流和控制流

A.1 平台介绍

12.2 下一代MapReduce框架概述

第4章 开发MapReduce应用程序

4.4 MapReduce通信协议分析

6.1 MapReduce作业的执行流程

4.8 MapReduce工作流

第3章 MapReduce计算模型