[搜文档]Hadoop - 搜索结果

2.1.4　基于网状直接交互的计算模式

28 2024-12-26 《大规模分布式系统架构与设计实战》

2.1.4　基于网状直接交互的计算模式 2.1.4　基于网状直接交互的计算模式 “包工头-职介所-手工仓库-工人”的基本结构和角色已经在前面介绍过了，这里重点介绍计算过程中的工头和工人的交互机制。先看看框架默认和推荐的网状直接交互模式。前面我们基本了解到工头通过在giveTask实现中，调用工人的doTask来分配任务，并轮询检查doTask结果...

11.4.2　人员成长

32 2024-12-25 《大规模分布式存储系统：原理解析与架构实战》

11.4.2　人员成长 11.4.2　人员成长 1.师兄带师弟分布式存储系统新人培养周期较长，新人的成长一方面需要靠自己的努力，另一方面更需要有经验的师兄悉心的指导。 OceanBase团队新人加入时，会给每人分配一个具有三年以上大规模分布式存储实践经验的师兄。师兄的主要职责包括： 1）对于新加入的师弟（无论应届生与否），提供各种技术文档，并...

译者序

29 2025-02-12 《Python 高手进阶之路（套装全10册）》

译者序译者序数据是事实的抽象形式，能比较则可量化。只要定义了事实的起点（几何中称为原点，代数中称为数字0），一切模棱两可的表象通过对比都将变得井然有序。然而，有时人们关心的事实是复杂的、多维的、难以想象的，因此需要分析数据、梳理信息、积累知识、作出决策。随着数据获取和计算成本的不断降低，开源免费的数据采集与分析工具愈加便利，人们将更愿意接受采...

12.6　云存储技术体系

53 2024-12-25 《大规模分布式存储系统：原理解析与架构实战》

12.6　云存储技术体系 12.6　云存储技术体系云存储涉及的知识面很广，既涉及云存储服务端的技术，又涉及终端设备应用开发相关的技术。本书关注云存储系统服务端技术，其技术体系如图12-8所示。图　12-8　云存储技术体系云存储技术体系结构分为四层：硬件层、单机存储层、分布式存储层、存储访问层，下面分别介绍。（1）硬件层硬...

第 6 章　数据获取与存储

40 2025-02-12 《Python 高手进阶之路（套装全10册）》

第 6 章　数据获取与存储 6.1　并非所有数据生而平等 6.2　真实性核查 6.3　数据可读性、数据清洁度和数据寿命 6.4　寻找数据 6.4.1　打电话 6.4.2　美国政府数据 6.4.3　全球政府和城市开放数据 6.4.4　组织数据和非政府组织数据 6.4.5　教育数据和大学数据 6.4.6　医学数据和科学数据 6.4.7　众包数据...

9.3.2　HDFS的体系结构

30 2024-12-19 《Hadoop实战（第2版）》

9.3.2　HDFS的体系结构 9.3.2　HDFS的体系结构如图9-1所示，HDFS采用Master/Slave架构对文件系统进行管理。一个HDFS集群是由一个NameNode和一定数目的DataNode组成的。NameNode是一个中心服务器，负责管理文件系统的名字空间（Namespace）以及客户端对文件的访问。集群中的DataNode一般是...

1.5.1　Spark在Amazon中的应用

42 2024-12-25 《Spark大数据处理：技术、应用与性能优化》

1.5.1　Spark在Amazon中的应用 1.5.1　Spark在Amazon中的应用亚马逊云计算服务AWS（Amazon Web Services）提供IaaS和PaaS服务。Heroku、Netflix等众多知名公司都将自己的服务托管其上。AWS以Web服务的形式向企业提供IT基础设施服务，现在通常称为云计算。云计算的主要优势是能够根据业务...

作者访谈

52 2024-12-28 《七周七数据库》

作者访谈作者访谈 Q：你们怎么选择这七种数据库的？ Eric：我们确实有一些选择标准，但没有明确列出来。这些数据库必须是开源的，因为我们不想介绍让读者绑定某公司的数据库。对于5种数据库类型（关系型、键-值对型、列型、文档型、图型），每种至少需要一个实现。然后我们选择一些数据库，它们能够用实例展示我们想介绍的一些一般概念，如CAP原理或MapRe...

11.2.2　Kerberos介绍

24 2024-12-19 《Hadoop技术内幕：深入解析MapReduce架构设计与实现原理 (大数据技术丛书)》

11.2.2　Kerberos介绍 11.2.2　Kerberos介绍 Kerberos是一种网络认证协议，主要用于计算机网络的身份鉴别。其特点是用户只需输入一次身份验证信息就可以凭借此验证获得的票据访问多个服务。Kerberos认证过程的实现不依赖于主机操作系统的认证。它不基于主机地址的信任，也不要求网络上所有主机的物理安全。Kerberos作为一...

4.6 MapReduce

25 2025-01-31 《驾驭大数据》

4.6　MapReduce 4.6　MapReduce MapReduce是一种并行的编程架构。它不是数据库，更不是数据库的竞争对手。有人宣称，MapReduce将取代数据库以及天底下的任何事物。事实上，MapReduce是对现有技术的补充。很多MapReduce能干的事情，关系型数据库也可以完成。归根到底人们需要确定哪个环境更适合解决手头上的问题。...

2.1.4 基于网状直接交互的计算模式

11.4.2 人员成长

译者序

12.6 云存储技术体系

第 6 章 数据获取与存储

9.3.2 HDFS的体系结构

1.5.1 Spark在Amazon中的应用