[搜文档]分布式存储 - 搜索结果

3.4　复制

26 2024-12-25 《大规模分布式存储系统：原理解析与架构实战》

3.4　复制 3.4.1　复制的概述 3.4　复制为了保证分布式存储系统的高可靠和高可用，数据在系统中一般存储多个副本。当某个副本所在的存储节点出现故障时，分布式存储系统能够自动将服务切换到其他的副本，从而实现自动容错。分布式存储系统通过复制协议将数据同步到多个存储节点，并确保多个副本之间的数据一致性。同一份数据的多个副本中往往有一个副本为主...

3.5　容错

40 2024-12-25 《大规模分布式存储系统：原理解析与架构实战》

3.5　容错 3.5.1　常见故障 3.5　容错随着集群规模变得越来越大，故障发生的概率也越来越大，大规模集群每天都有故障发生。容错是分布式存储系统设计的重要目标，只有实现了自动化容错，才能减少人工运维成本，实现分布式存储的规模效应。单台服务器故障的概率是不高的，然而，只要集群的规模足够大，每天都可能有机器故障发生，系统需要能够自动处理。首先...

11.4.2　人员成长

33 2024-12-25 《大规模分布式存储系统：原理解析与架构实战》

11.4.2　人员成长 11.4.2　人员成长 1.师兄带师弟分布式存储系统新人培养周期较长，新人的成长一方面需要靠自己的努力，另一方面更需要有经验的师兄悉心的指导。 OceanBase团队新人加入时，会给每人分配一个具有三年以上大规模分布式存储实践经验的师兄。师兄的主要职责包括： 1）对于新加入的师弟（无论应届生与否），提供各种技术文档，并...

12.5　云平台整体架构

57 2024-12-25 《大规模分布式存储系统：原理解析与架构实战》

12.5　云平台整体架构 12.5.1　Amazon云平台 12.5　云平台整体架构云存储是云计算的存储部分，理解云存储架构的前提是理解云平台整体架构。云计算按照服务类型大致可以分为三类：基础设施即服务（IaaS）、平台即服务（PaaS）以及软件即服务（SaaS），如图12-3所示。图　12-3　云计算服务类型 IaaS将硬件设...

1.1　Spark是什么

54 2024-12-25 《Spark大数据处理：技术、应用与性能优化》

1.1　Spark是什么 1.1　Spark是什么 Spark是基于内存计算的大数据并行计算框架。Spark基于内存计算，提高了在大数据环境下数据处理的实时性，同时保证了高容错性和高可伸缩性，允许用户将Spark部署在大量廉价硬件之上，形成集群。 Spark于2009年诞生于加州大学伯克利分校AMPLab。目前，已经成为Apache软件基金会旗下的...

9.3　HDFS体系结构

25 2024-12-19 《Hadoop实战（第2版）》

9.3　HDFS体系结构 9.3.1　HDFS的相关概念 9.3　HDFS体系结构想要了解HDFS的体系结构，首先从HDFS的相关概念入手，下面将介绍HDFS中的几个重要概念。 9.3.1　HDFS的相关概念 1.块（Block）我们知道，在操作系统中都有一个文件块的概念，文件以块的形式存储在磁盘中，此处块的大小代表系统读/写可操作的最...

1.3　Hadoop体系结构

31 2024-12-19 《Hadoop实战（第2版）》

1.3　Hadoop体系结构 1.3　Hadoop体系结构如上文所说，HDFS和MapReduce是Hadoop的两大核心。而整个Hadoop的体系结构主要是通过HDFS来实现分布式存储的底层支持的，并且它会通过MapReduce来实现分布式并行任务处理的程序支持。下面首先介绍HDFS的体系结构。HDFS采用了主从（Master/Slave）结...

第5章　分布式键值系统

29 2024-12-25 《大规模分布式存储系统：原理解析与架构实战》

第5章　分布式键值系统 5.1　Amazon Dynamo 5.1.1　数据分布第5章　分布式键值系统分布式键值模型可以看成是分布式表格模型的一种特例。然而，由于它只支持针对单个key-value的增、删、查、改操作，因此，适用3.3.1节提到的哈希分布算法。 Amazon Dynamo是分布式键值系统，最初用于支持购物车应用。Dynamo...

1.6.3　Hive的数据管理

42 2024-12-19 《Hadoop实战（第2版）》

1.6.3　Hive的数据管理 1.6.3　Hive的数据管理 Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL的查询语言，称为Hive QL，它允许熟悉SQL的用户用SQL语言查询数据。作为一个数据仓...

1.2　分布式产品Hadoop、ZooKeeper、HBase概述

50 2024-12-26 《大规模分布式系统架构与设计实战》

1.2　分布式产品Hadoop、ZooKeeper、HBase概述 1.Hadoop 2.ZooKeeper 3.HBase 1.2　分布式产品Hadoop、ZooKeeper、HBase概述 1.Hadoop 说到云计算技术和产品，不能不提到Google这家企业。曾经，微软是IT行业的象征，号称只招最聪明的人。十年后，微软逐渐疲软了下来，...

3.4 复制

3.5 容错

11.4.2 人员成长

12.5 云平台整体架构

1.1 Spark是什么

9.3 HDFS体系结构

1.3 Hadoop体系结构

第5章 分布式键值系统

1.6.3 Hive的数据管理

1.2 分布式产品Hadoop、ZooKeeper、HBase概述