[搜文档]MapReduce - 搜索结果

6.5.2　TaskTracker容错

28 2024-12-19 《Hadoop技术内幕：深入解析MapReduce架构设计与实现原理 (大数据技术丛书)》

6.5.2　TaskTracker容错 6.5.2　TaskTracker容错 TaskTracker负责执行来自JobTracker的各种命令，并将命令执行结果定时汇报给它。在一个Hadoop集群中，TaskTracker数量通常非常多，设计合理的TaskTracker容错机制对于及时发现存在问题的节点显得非常重要。Hadoop提供了三种TaskT...

译者序

22 2025-02-12 《Python 高手进阶之路（套装全10册）》

译者序译者序云计算、大数据、物联网，这几年很火。到现在为止，人们对云计算的激情已经回落到比较理智的水平，各种云基础设施已投入使用，支撑起关系国计民生的信息化应用。物联网还在建设中，家电智能化、个人健康信息数字化、交通智能化等趋势在我们身边悄然推进。开放互联的概念不再囿于传统的互联网思维，我们生活所触及的一切正在被编织到一张包罗万象的大网之中。...

复杂查询

23 2025-02-01 《数据之美 : 解密优雅数据解决方案背后的故事》

复杂查询随着Web应用更加复杂有趣，这些应用需要以新的不同方式从数据库中检索和组合信息。下一步，我们将探索如何在大规模系统上支持这些查询。面临挑战系统对只需要一条或者几条记录的查询做了优化。尤其是，系统可以通过主键来查询记录；只要知道Alice的用户名，就可以直接确定哪个分区包含她的信息记录，加载页面时读取该记录。另外，系统可以采用散列分区表或...

9.2.1　调度与分区优化

34 2024-12-25 《Spark大数据处理：技术、应用与性能优化》

9.2.1　调度与分区优化 9.2.1　调度与分区优化下面从几个方面讲解调度与分区优化问题。 1.小分区合并问题在用户使用Spark的过程中，常常会使用filter算子进行数据过滤。而频繁的过滤或者过滤掉的数据量过大就会产生问题，造成大量小分区的产生（每个分区数据量小）。由于Spark是每个数据分区都会分配一个任务执行，如果任务过多，则每个任...

19.1　Hadoop在Yahoo！的应用

42 2024-12-19 《Hadoop实战（第2版）》

19.1　Hadoop在Yahoo！的应用 19.1　Hadoop在Yahoo！的应用关于Hadoop技术的研究和应用，Yahoo！都处于领先地位，它将Hadoop应用于自己的各种产品中，包括数据分析、内容优化、反垃圾邮件系统、广告的优化选择、大数据处理和ETL等；同样，在用户兴趣预测、搜索排名、广告定位等方面也得到了充分地应用。在Yahoo！...

第4章 HBase

59 2024-12-28 《七周七数据库》

第4章 HBase 4.1 介绍HBase 4.2 第1天：CRUD和表管理 4.2.1 配置HBase 4.2.2 HBase shell 4.2.3 创建表 4.2.4 插入、更新和读取数据 4.2.5 修改表 4.2.6 通过编程方式添加数据 4.2.7 第1天总结 4.3 第2天：处理大数据 4.3.1 导入数据，调用脚本 4.3...

10.5.2　Fair Scheduler实现

31 2024-12-19 《Hadoop技术内幕：深入解析MapReduce架构设计与实现原理 (大数据技术丛书)》

10.5.2　Fair Scheduler实现 10.5.2　Fair Scheduler实现 1.Fair Scheduler基本设计思想 Fair Scheduler核心设计思想是基于资源池的最小资源量和公平共享量进行任务调度。其中，最小资源量是管理员配置的，而公平共享量是根据队列或作业权重计算得到的。资源分配具体过程如下：步骤1　根据最小...

谷歌式科学

17 2025-04-02 《技术元素》

谷歌式科学一个巨大的以PB级计数的信息数据库曙光般的出现，足以改变我们学习的方式。科研工作的传统方式需要构造一个符合已有数据的假说，或者依靠这个假说来寻找新数据。现在这个数据库里有大量观测数据，为了让我们能够展开下阶段的观测，什么理论能充分地解释它们呢？可被证实的是，数量惊人的数据足以跳过理论部分进行预测观察。谷歌是首先注意到这一现象的。以谷歌的拼...

第9章结束语

67 2024-12-28 《七周七数据库》

第9章结束语 9.1 类型终极版 9.1.1 关系型 9.1.2 键-值存储库 9.1.3 列型 9.1.4 文档型 9.1.5 图 9.2 选择 9.3 我们将走向哪里第9章结束语现在，我们已经介绍完了7种数据库，祝贺大家！我们希望你已经了解了这7种数据库。如果你在项目中使用某一种数据库，我们会很高兴。如果你决定使用多种...

前言

26 2025-01-31 《驾驭大数据》

前言你收到一封邮件，邮件中提供了一套个人电脑的报价。而你几个小时前刚刚在这家零售商的网站上搜索过电脑的信息，似乎它们已经读出了你的想法……当你驱车前往这家商店购买这套个人电脑时，你路过了一家咖啡店，你看到了这家咖啡店的一条折扣信息。你获知由于你刚来到这片区域，你可以在未来20分钟内享受10％的折扣…… 在你享用咖啡的时候，你收到了一家制造商关于某产品...

6.5.2 TaskTracker容错

译者序

复杂查询

9.2.1 调度与分区优化

19.1 Hadoop在Yahoo！的应用