[搜文档]MapReduce - 搜索结果

4.8.2　MapReduce Job中全局共享数据

31 2024-12-19 《Hadoop实战（第2版）》

4.8.2　MapReduce Job中全局共享数据 4.8.2　MapReduce Job中全局共享数据在编写MapReduce代码的时候，经常会遇到这样的困扰：全局变量应该如何保存？如何让每个处理都能获取保存的这些全局变量？在编程过程中全局变量的使用是不可避免的，但是在MapReduce中直接使用代码级别的全局变量是不现实的。这主要是因为继承M...

4.8.3　链接MapReduce Job

24 2024-12-19 《Hadoop实战（第2版）》

4.8.3　链接MapReduce Job 4.8.3　链接MapReduce Job 在日常的数据处理过程中，常常会碰到有些问题不是一个MapReduce作业就能解决的，这时就需要在工作流中安排多个MapReduce作业，让它们配合起来自动完成一些复杂任务，而不需要用户手动启动每一个作业。那么怎样将MapReduce Job链接起来呢？应该怎么管理...

2.3.2　MapReduce编程实例

33 2024-12-19 《Hadoop技术内幕：深入解析MapReduce架构设计与实现原理 (大数据技术丛书)》

2.3.2　MapReduce编程实例 2.3.2　MapReduce编程实例 MapReduce能够解决的问题有一个共同特点：任务可以被分解为多个子问题，且这些子问题相对独立，彼此之间不会有牵制，待并行处理完这些子问题后，任务便被解决。在实际应用中，这类问题非常庞大，谷歌在论文中提到了MapReduce的一些典型应用，包括分布式grep、URL访问...

5.1.7　代码数据流

33 2024-12-19 《Hadoop实战（第2版）》

5.1.7　代码数据流 5.1.7　代码数据流 WordCount程序是最简单也是最具代表性的MapReduce框架程序，下面再基于上例给出MapReduce程序执行过程中详细的数据流。首先在MapReduce程序启动阶段，JobTracker先将Job的输入文件分割到每个Map Task上。假设现在有两个Map Task，一个Map Task一...

第2章　MapReduce设计理念与基本架构

59 2024-12-19 《Hadoop技术内幕：深入解析MapReduce架构设计与实现原理 (大数据技术丛书)》

第2章　MapReduce设计理念与基本架构 2.1　Hadoop发展史 2.1.1　Hadoop产生背景第2章　MapReduce设计理念与基本架构第1章介绍了Hadoop学习环境的搭建方法，这是学习Hadoop需要进行的最基本的准备工作。而在这一章中，我们将从设计理念和基本架构方面对Hadoop MapReduce进行介绍，同样，这属于准...

14.2.3　Pig运行模式

30 2024-12-19 《Hadoop实战（第2版）》

14.2.3　Pig运行模式 14.2.3　Pig运行模式 Pig有两种运行模式：Local模式和MapReduce模式。当Pig在Local模式运行时，它将只访问本地一台主机；当Pig在MapReduce模式运行时，它将访问一个Hadoop集群和HDFS的安装位置。这时，Pig将自动地对这个集群进行分配和回收。因为Pig系统可以自动对MapRedu...

2.4.2　Hadoop MapReduce架构

50 2024-12-19 《Hadoop技术内幕：深入解析MapReduce架构设计与实现原理 (大数据技术丛书)》

2.4.2　Hadoop MapReduce架构 2.4.2　Hadoop MapReduce架构同HDFS一样，Hadoop MapReduce也采用了Master/Slave（M/S）架构，具体如图2-5所示。它主要由以下几个组件组成：Client、JobTracker、TaskTracker和Task。下面分别对这几个组件进行介绍。 ...

18.2.3　Hadoop Eclipse的使用举例

28 2024-12-19 《Hadoop实战（第2版）》

18.2.3　Hadoop Eclipse的使用举例 18.2.3　Hadoop Eclipse的使用举例首先打开Hadoop视图（图略），然后右键点击Project Explorer空白处选择New→Project。在创建工程向导中选择创建Map/Reduce工程，然后输入工程名，点击finish，此时Project Explore中会出现新创建...

第6章　MapReduce工作机制

24 2024-12-19 《Hadoop实战（第2版）》

第6章　MapReduce工作机制第6章　MapReduce工作机制本章内容 MapReduce作业的执行流程错误处理机制作业调度机制 Shuffle和排序任务执行本章小结关于MapReduce的准备知识和应用案例在本书前面章节中已经做了详细介绍，本章将从MapReduce作业的执行情况、作业运行过程中的错误机制、作业的调...

8.3　MapReduce V2设计细节

30 2024-12-19 《Hadoop实战（第2版）》

8.3　MapReduce V2设计细节 8.3　MapReduce V2设计细节上面介绍了MapReduce V2的主体设计思想和架构及其各个部分的主要职责，下面将详细介绍MapReduce V2中的一些设计细节，让大家更加深入地理解MapReduce V2。 1.资源协商应用主体通过适当的资源需求描述来申请资源容器，可以包括一些指定的机器...

4.8.2 MapReduce Job中全局共享数据

4.8.3 链接MapReduce Job

2.3.2 MapReduce编程实例

5.1.7 代码数据流

第2章 MapReduce设计理念与基本架构

14.2.3 Pig运行模式

2.4.2 Hadoop MapReduce架构

18.2.3 Hadoop Eclipse的使用举例

第6章 MapReduce工作机制

8.3 MapReduce V2设计细节