[搜文档]Hadoop - 搜索结果

6.3　心跳接收与应答

25 2024-12-19 《Hadoop技术内幕：深入解析MapReduce架构设计与实现原理 (大数据技术丛书)》

6.3　心跳接收与应答 6.3.1　更新状态 6.3　心跳接收与应答心跳是沟通TaskTracker与JobTracker的桥梁，它实际上是一个RPC函数。TaskTracker周期性地调用该函数汇报节点和任务状态信息，从而形成心跳。在Hadoop中，心跳主要有三个作用： ❑判断TaskTracker是否活着。 ❑及时让JobTracker获...

3.1.2　新旧MapReduce API比较

33 2024-12-19 《Hadoop技术内幕：深入解析MapReduce架构设计与实现原理 (大数据技术丛书)》

3.1.2　新旧MapReduce API比较 3.1.2　新旧MapReduce API比较从0.20.0版本开始，Hadoop同时提供了新旧两套MapReduce API。新API在旧API基础上进行了封装，使得其在扩展性和易用性方面更好。新旧版MapReduce API的主要区别如下。（1）存放位置旧版API放在org.apache....

6.6　本章小结

33 2024-12-19 《Hadoop实战（第2版）》

6.6　本章小结 6.6　本章小结本章从MapReduce程序中的JobClient.runJob（conf）开始，给出了MapReduce执行的流程图，并分析了流程图中的四个核心实体，结合实际代码介绍了MapReduce执行的详细流程。MapReduce的执行流程简单概括如下：用户作业执行JobClient.runJob（conf）代码会在Had...

6.1.6　更新任务执行进度和状态

26 2024-12-19 《Hadoop实战（第2版）》

6.1.6　更新任务执行进度和状态 6.1.6　更新任务执行进度和状态在本章的作业提交过程中我们曾介绍：一个MapReduce作业在提交到Hadoop上之后，会进入完全地自动化执行过程，用户只能监控程序的执行状态和强制中止作业。但是MapReduce作业是一个长时间运行的批量作业，有时候可能需要运行数小时。所以对于用户而言，能够得知作业的运行状态是...

9.2.3　网络传输优化

30 2024-12-25 《Spark大数据处理：技术、应用与性能优化》

9.2.3　网络传输优化 9.2.3　网络传输优化 1.大任务分发优化在任务的分发过程中会序列化任务的元数据信息，以及任务需要的jar和文件。任务的分发是通过AKKA库中的Actor模型之间的消息传送的。因为Spark采用了Scala的函数式风格，传递函数的变量引用采用闭包方式传递，所以当需要传输的数据通过Task进行分发时，会拖慢整体的执行速度...

16.1　Avro介绍

30 2024-12-19 《Hadoop实战（第2版）》

16.1　Avro介绍 16.1　Avro介绍 Avro作为Hadoop下相对独立的子项目，是一个数据序列化的系统。类似于其他序列化系统，Avro可以将数据结构或对象转化成便于存储或传输的格式，特别是在设计之初它可以用来支持数据密集型应用，适合于大规模数据的存储和交换。总之，Avro可以提供以下一些特性和功能：丰富的数据结构类型；快速可压缩的...

第 15 章　结论

33 2025-02-12 《Python 高手进阶之路（套装全10册）》

第 15 章　结论 15.1　数据处理者的职责 15.2　数据处理之上 15.2.1　成为一名更优秀的数据分析师 15.2.2　成为一名更优秀的开发者 15.2.3　成为一名更优秀的视觉化讲故事者 15.2.4　成为一名更优秀的系统架构师 15.3　下一步做什么第 15 章　结论恭喜！你已经到达本书的最后一章。在刚开始阅读本书的时候...

9.6　HDFS中的读写数据流

29 2024-12-19 《Hadoop实战（第2版）》

9.6　HDFS中的读写数据流 9.6.1　文件的读取 9.6　HDFS中的读写数据流在本节中，我们将对HDFS的读/写数据流进行详细介绍，以帮助大家理解HDFS具体是如何工作的。 9.6.1　文件的读取本节将详细介绍在执行读取操作时客户端和HDFS交互过程的实现，以及NameNode和各DataNode之间的数据流是什么。下面将围绕图9...

大数据，变革思维

22 2025-01-31 《大数据时代：生活，工作与思维的大变革 (湛庐文化•财富汇)》

大数据，变革思维人们不再认为数据是静止和陈旧的。但在以前，一旦完成了收集数据的目的之后，数据就会被认为已经没有用处了。比方说，在飞机降落之后，票价数据就没有用了（对谷歌而言，则是一个检索命令完成之后）。 [1] 大数据洞察如今，数据已经成为了一种商业资本，一项重要的经济投入，可以创造新的经济利益。事实上，一旦思维转变过来，数据就能被巧妙地用来激...

选择Mac

37 2025-01-22 《MacTalk·人生元编程》

选择Mac 【发布日期　2013年7月16日】今天去苹果官网上扫了一眼，发现Macbook的价格比我之前购买的优惠了不少，加上有不少朋友让我说说如何选择Mac，那就简单说两句。苹果目前Mac系列的产品有MacBook Air，MacBook Pro，Mac mini，iMac，Mac Pro。 1、首先来说说MBA，如果追求轻薄便携的话，当然首...

6.3 心跳接收与应答

3.1.2 新旧MapReduce API比较

6.6 本章小结

6.1.6 更新任务执行进度和状态

9.2.3 网络传输优化

16.1 Avro介绍

第 15 章 结论

9.6 HDFS中的读写数据流