[搜文档]MapReduce - 搜索结果

4.6 MapReduce

25 2025-01-31 《驾驭大数据》

4.6　MapReduce 4.6　MapReduce MapReduce是一种并行的编程架构。它不是数据库，更不是数据库的竞争对手。有人宣称，MapReduce将取代数据库以及天底下的任何事物。事实上，MapReduce是对现有技术的补充。很多MapReduce能干的事情，关系型数据库也可以完成。归根到底人们需要确定哪个环境更适合解决手头上的问题。...

1.4　Hadoop源代码组织结构

34 2024-12-19 《Hadoop技术内幕：深入解析MapReduce架构设计与实现原理 (大数据技术丛书)》

1.4　Hadoop源代码组织结构 1.4　Hadoop源代码组织结构直接解压Hadoop压缩包后，可看到图1-11所示的目录结构，其中，比较重要的目录有src、conf、lib、bin等。下面分别介绍这几个目录的作用： ❑src：Hadoop源代码所在的目录。最核心的代码所在子目录分别是core、hdfs和mapred，它们分别实现了Hadoo...

3.6　小结

31 2024-12-19 《Hadoop技术内幕：深入解析MapReduce架构设计与实现原理 (大数据技术丛书)》

3.6　小结 3.6　小结 MapReduce编程模型直接决定了MapReduce的易用性。本章从简单地使用实例、设计原理以及调用时机等方面介绍了MapReduce编程模型中的各个组件。从整个体系结构上看，整个编程模型位于应用程序层和MapReduce执行器之间，可以分为两层：第一层是最基本的Java API，第二层构建于Java API之上，添...

3.2　MapReduce计算模型

26 2024-12-19 《Hadoop实战（第2版）》

3.2　MapReduce计算模型 3.2.1　MapReduce Job 3.2　MapReduce计算模型要了解MapReduce，首先需要了解MapReduce的载体是什么。在Hadoop中，用于执行MapReduce任务的机器有两个角色：一个是JobTracker，另一个是TaskTracker。JobTracker是用于管理和调度工作的...

8.1　MapReduce V2设计需求

20 2024-12-19 《Hadoop实战（第2版）》

8.1　MapReduce V2设计需求 8.1　MapReduce V2设计需求 Hadoop MapReduce框架的设计者也意识到了MapReduce V1的缺陷，所以他们根据用户最迫切的需求设计了新一代Hadoop MapReduce框架。那么MapReduce V2需要满足用户哪些迫切需求呢？可靠性（Reliability）。可用性...

13.3　MapReduce扩展

47 2024-12-25 《大规模分布式存储系统：原理解析与架构实战》

13.3　MapReduce扩展 13.3.1　Google Tenzing 13.3　MapReduce扩展 MapReduce框架有效地解决了海量数据的离线批处理问题，在各大互联网公司得到广泛的应用。事实已经证明了MapReduce巨大的影响力，以至于引发了一系列的扩展和改进。这些扩展包括： ●Google Tenzing：基于MapRedu...

1.5.3　Hadoop Eclipse插件介绍

53 2024-12-19 《Hadoop技术内幕：深入解析MapReduce架构设计与实现原理 (大数据技术丛书)》

1.5.3　Hadoop Eclipse插件介绍 1.5.3　Hadoop Eclipse插件介绍 Hadoop提供了一个Eclipse插件以方便用户在Eclipse集成开发环境中使用Hadoop，如管理HDFS上的文件、提交作业、调试MapReduce程序等。本小节将介绍如何使用该插件访问HDFS、运行MapReduce作业和跟踪MapReduce...

参考资料

50 2024-12-19 《Hadoop技术内幕：深入解析MapReduce架构设计与实现原理 (大数据技术丛书)》

参考资料参考资料【参考书籍】 [1]Tom White. Hadoop权威指南[M].2版.周敏奇，王晓玲，金澈清，钱卫宁，译.北京：清华大学出版社，2011. [2]Chuck Lam. Hadoop实战[M].韩冀中.北京：人民邮电出版社，2011. [3]Eric Sammer. Hadoop Operations.O'Reilly ...

14.6.2　MapReduce模式

26 2024-12-19 《Hadoop实战（第2版）》

14.6.2　MapReduce模式 14.6.2　MapReduce模式这一节我们将结合上面给出的实例具体讲解如何在Pig的MapReduce模式下对数据进行操作。同时，我们同样对Pig在MapReduce模式下的三种运行方式进行详细介绍。 1.Grunt Shell MapReduce模式下，Pig的使用其实是Pig Local模式和Had...

第8章　下一代MapReduce：YARN

24 2024-12-19 《Hadoop实战（第2版）》

第8章　下一代MapReduce：YARN 第8章　下一代MapReduce：YARN 本章内容 MapReduce V2设计需求 MapReduce V2主要思想和架构 MapReduce V2设计细节 MapReduce V2优势本章小结在第7章中我们为大家详细介绍了MapReduce在Hadoop中的实现细节。尽管Hadoop ...

4.6 MapReduce

1.4 Hadoop源代码组织结构

3.6 小结

3.2 MapReduce计算模型

8.1 MapReduce V2设计需求

13.3 MapReduce扩展

1.5.3 Hadoop Eclipse插件介绍