[搜文档]Hadoop - 搜索结果

第6章　分布式表格系统

41 2024-12-25 《大规模分布式存储系统：原理解析与架构实战》

第6章　分布式表格系统 6.1　Google Bigtable 6.1.1　架构第6章　分布式表格系统分布式表格系统对外提供表格模型，每个表格由很多行组成，通过主键唯一标识，每一行包含很多列。整个表格在系统中全局有序，适用3.3.2节中讲的顺序分布。 Google Bigtable是分布式表格系统的始祖，它采用双层结构，底层采用GFS作为持...

7.3.2　状态发送

59 2024-12-19 《Hadoop技术内幕：深入解析MapReduce架构设计与实现原理 (大数据技术丛书)》

7.3.2　状态发送！/bin/bash 7.3.2　状态发送 TaskTracker通过心跳向JobTracker汇报的是当前节点运行时信息，包括TaskTracker基本信息、节点资源使用情况和各个任务状态等，这些信息被封装到可序列化类TaskTrackerStatus中。每次发送心跳时，TaskTracker会根据最新信息重新构造一个Tas...

12.5.4　云平台架构

57 2024-12-25 《大规模分布式存储系统：原理解析与架构实战》

12.5.4　云平台架构 12.5.4　云平台架构从托管Web应用程序的角度看，云平台主要包括云存储以及应用运行平台，如图12-7所示。图　12-7　云平台整体架构云平台的核心组件包括：云存储组件和应用运行平台组件。下面简单介绍一下。（1）云存储组件云存储组件包括两层：分布式存储层以及存储访问层。分布式存储层管理存储服务...

14.3.4　Pig Latin关键字

27 2024-12-19 《Hadoop实战（第2版）》

14.3.4　Pig Latin关键字 14.3.4　Pig Latin关键字 Pig Latin语言有很多关键字，但是我们不可能一一给大家介绍。在下面的第一部分的内容中，我们给大家介绍Pig Latin语言都包含哪些关键字；然后在第二部分，我们就其中主要的关键字给大家做详细介绍。 1.Pig Latin关键字表14-2给出了一些与首字母相对应...

3.3.3　Actions算子

26 2024-12-25 《Spark大数据处理：技术、应用与性能优化》

3.3.3　Actions算子 3.3.3　Actions算子本质上在Actions算子中通过SparkContext执行提交作业的runJob操作，触发了RDD DAG的执行。例如，Actions算子collect函数的代码如下，感兴趣的读者可以顺着这个入口进行源码剖析。 /*返回这个RDD的所有数据，结果以数组形式存储*/ de...

4.2.2　Spark应用程序内Job的调度

28 2024-12-25 《Spark大数据处理：技术、应用与性能优化》

4.2.2　Spark应用程序内Job的调度 4.2.2　Spark应用程序内Job的调度在Spark应用程序内部，用户通过不同线程提交的Job可以并行运行，这里所说的Job就是Spark Action（如count、collect等）算子触发的整个RDD DAG为一个Job，在实现上，算子中的本质是调用SparkContext中的runJob提交...

9.2.1　调度与分区优化

34 2024-12-25 《Spark大数据处理：技术、应用与性能优化》

9.2.1　调度与分区优化 9.2.1　调度与分区优化下面从几个方面讲解调度与分区优化问题。 1.小分区合并问题在用户使用Spark的过程中，常常会使用filter算子进行数据过滤。而频繁的过滤或者过滤掉的数据量过大就会产生问题，造成大量小分区的产生（每个分区数据量小）。由于Spark是每个数据分区都会分配一个任务执行，如果任务过多，则每个任...

7.1 容器编排系统的演进

25 2025-03-18 《深入高可用系统原理与设计》

7.1 容器编排系统的演进 7.1.1 Borg 系统 7.1.2 Omega 系统 7.1.3 Kubernetes 系统 7.1.4 以应用为中心的转变 7.1 容器编排系统的演进近几年，业界对容器技术兴趣越来越大，大量的公司开始逐步将虚拟机替换成容器。实际上，早在十几年前，Google 内部就已开始大规模的实践容器技术了。Goog...

第13章：设计一个搜索自动完成系统

27 2025-03-16 《System Design Interview: An Insider’s Guide：系统设计面试：内幕指南（中文翻译）》

第13章：设计一个搜索自动完成系统第1步：了解问题并确定设计范围需求粗略估算第2步：提出高层次的设计方案并获得认同数据收集服务查询服务第3步：深入设计 Trie 数据结构数据收集服务查询服务 Trie 操作扩展存储第4步：总结参考资料第13章：设计一个搜索自动完成系统当你在谷歌上搜索或在亚马逊购...

程序员与编程

40 2025-01-22 《MacTalk·人生元编程》

程序员与编程并发的错觉【发布日期　2013年7月1日】今天聊一聊电脑和人脑的并发问题。在计算机发展初期，CPU的计算能力非常有限，计算资源稀缺而昂贵。最早的时候一个CPU只能同时运行一个任务，这简直让人无法忍受。什么叫做只能运行一个程序呢？这就像大学上自习占座一样，一旦一本书、一张纸、一个包或一个活人占有了那个桌子，其他人就再也没法用了...

第6章 分布式表格系统

7.3.2 状态发送

12.5.4 云平台架构

14.3.4 Pig Latin关键字

3.3.3 Actions算子

4.2.2 Spark应用程序内Job的调度

9.2.1 调度与分区优化