[搜文档]分布式存储 - 搜索结果

11.4　最佳实践

40 2024-12-25 《大规模分布式存储系统：原理解析与架构实战》

11.4　最佳实践 11.4.1　系统发展路径 11.4　最佳实践分布式存储系统从整体架构的角度看大同小异，实现起来却困难重重。自主研发的分布式存储系统往往需要两到三年才能逐步成熟起来，其中的难点在于如何把系统做稳定。系统开发过程中涉及架构设计、关键算法实现、质量控制、团队成员成长、线上运维、应用合作等，任何一个环节出现问题都可能导致整个项目失败...

12.5.4　云平台架构

58 2024-12-25 《大规模分布式存储系统：原理解析与架构实战》

12.5.4　云平台架构 12.5.4　云平台架构从托管Web应用程序的角度看，云平台主要包括云存储以及应用运行平台，如图12-7所示。图　12-7　云平台整体架构云平台的核心组件包括：云存储组件和应用运行平台组件。下面简单介绍一下。（1）云存储组件云存储组件包括两层：分布式存储层以及存储访问层。分布式存储层管理存储服务...

3.6　可扩展性

34 2024-12-25 《大规模分布式存储系统：原理解析与架构实战》

3.6　可扩展性 3.6.1　总控节点 3.6　可扩展性通过数据分布，复制以及容错等机制，能够将分布式存储系统部署到成千上万台服务器。可扩展性的实现手段很多，如通过增加副本个数或者缓存提高读取能力，将数据分片使得每个分片可以被分配到不同的工作节点以实现分布式处理，把数据复制到多个数据中心，等等。分布式存储系统大多都带有总控节点，很多人会自然地...

3.5.3　故障恢复

33 2024-12-25 《大规模分布式存储系统：原理解析与架构实战》

3.5.3　故障恢复 3.5.3　故障恢复当总控机检测到工作机发生故障时，需要将服务迁移到其他工作机节点。常见的分布式存储系统分为两种结构：单层结构和双层结构。大部分系统为单层结构，在系统中对每个数据分片维护多个副本；只有类Bigtable系统为双层结构，将存储和服务分为两层，存储层对每个数据分片维护多个副本，服务层只有一个副本提供服务。单层结构和...

12.3　云存储技术

50 2024-12-25 《大规模分布式存储系统：原理解析与架构实战》

12.3　云存储技术 12.3　云存储技术云存储包含两个部分：云端+终端。云端指统一的云存储服务端，终端指多样化的PC机、手机、移动多媒体设备等终端设备。云存储的发展需要云端和终端里面的多种技术的支持。（1）摩尔定律摩尔定律一直推动着整个硬件产业的发展，芯片、内存和磁盘等硬件设备在性能和容量方面也得到了极大的提升。最明显的例子莫过于CPU，...

1.4　Spark分布式架构与单机多核架构的异同

36 2024-12-25 《Spark大数据处理：技术、应用与性能优化》

1.4　Spark分布式架构与单机多核架构的异同 1.4　Spark分布式架构与单机多核架构的异同我们通常所说的分布式系统主要指的是分布式软件系统，它是在通信网络互连的多处理机的架构上执行任务的软件系统，包括分布式操作系统、分布式程序设计语言、分布式文件系统和分布式数据库系统等。Spark是分布式软件系统中的分布式计算框架，基于Spark可以编写分...

3.3.2　顺序分布

33 2024-12-25 《大规模分布式存储系统：原理解析与架构实战》

3.3.2　顺序分布 3.3.2　顺序分布哈希散列破坏了数据的有序性，只支持随机读取操作，不能够支持顺序扫描。某些系统可以在应用层做折衷，比如互联网应用经常按照用户来进行数据拆分，并通过哈希方法进行数据分布，同一个用户的数据分布到相同的存储节点，允许对同一个用户的数据执行顺序扫描，由应用层解决跨多个用户的操作问题。另外，这种方式可能出现某些用户的数...

第 3 章　有效地制造与管理科学数据

52 2025-02-12 《Python 高手进阶之路（套装全10册）》

第 3 章　有效地制造与管理科学数据 3.1　数据的基本概念 3.2　数据存储软件与工具箱 3.2.1　文件 3.2.2　数据库 3.3　常见的数据操作 3.4　科学数据的格式 3.5　现成的标准数据集 3.6　数据生成 3.7　模拟数据的生成（构造） 3.7.1　用Python的内置函数生成随机数 3.7.2　基于统...

1.6　Hadoop数据管理

36 2024-12-19 《Hadoop实战（第2版）》

1.6　Hadoop数据管理 1.6.1　HDFS的数据管理 1.6　Hadoop数据管理前面重点介绍了Hadoop及其体系结构与计算模型MapReduce，现在开始介绍Hadoop的数据管理，主要包括Hadoop的分布式文件系统HDFS、分布式数据库HBase和数据仓库工具Hive。 1.6.1　HDFS的数据管理 HDFS是分布式计算的...

第6章　分布式表格系统

41 2024-12-25 《大规模分布式存储系统：原理解析与架构实战》

第6章　分布式表格系统 6.1　Google Bigtable 6.1.1　架构第6章　分布式表格系统分布式表格系统对外提供表格模型，每个表格由很多行组成，通过主键唯一标识，每一行包含很多列。整个表格在系统中全局有序，适用3.3.2节中讲的顺序分布。 Google Bigtable是分布式表格系统的始祖，它采用双层结构，底层采用GFS作为持...

11.4 最佳实践

12.5.4 云平台架构

3.6 可扩展性

3.5.3 故障恢复

12.3 云存储技术

1.4 Spark分布式架构与单机多核架构的异同

3.3.2 顺序分布

第 3 章 有效地制造与管理科学数据

1.6 Hadoop数据管理

第6章 分布式表格系统