[搜文档]分布式存储 - 搜索结果

11.4.3　系统设计

45 2024-12-25 《大规模分布式存储系统：原理解析与架构实战》

11.4.3　系统设计 11.4.3　系统设计 1.架构师职责分布式存储系统架构师的工作不仅在于整体架构设计，还需要考虑清楚关键实现细节，做到即使只有自己一人也可以把系统做出来，只是需要花费更多的时间而已。架构师的主要工作包括： 1）权衡架构，从多种设计方案中选择一种与当前团队能力最为匹配的方案。架构设计的难点在于权衡，架构师需要能够在理解...

3.2.3　Spark的数据存储

30 2024-12-25 《Spark大数据处理：技术、应用与性能优化》

3.2.3　Spark的数据存储 3.2.3　Spark的数据存储 Spark数据存储的核心是弹性分布式数据集（RDD）。RDD可以被抽象地理解为一个大的数组（Array），但是这个数组是分布在集群上的。逻辑上RDD的每个分区叫一个Partition。在Spark的执行过程中，RDD经历一个个的Transfomation算子之后，最后通过Acti...

4.4　内容分发网络

37 2024-12-25 《大规模分布式存储系统：原理解析与架构实战》

4.4　内容分发网络 4.4.1　CDN架构 4.4　内容分发网络 CDN通过将网络内容发布到靠近用户的边缘节点，使不同地域的用户在访问相同网页时可以就近获取。这样既可以减轻源服务器的负担，也可以减少整个网络中的流量分布不均的情况，进而改善整个网络性能。所谓的边缘节点是CDN服务提供商经过精心挑选的距离用户非常近的服务器节点，仅“一跳”（Singl...

8.3.3　GraphX架构

33 2024-12-25 《Spark大数据处理：技术、应用与性能优化》

8.3.3　GraphX架构 8.3.3　GraphX架构 1.整体架构 GraphX的整体架构可以分为以下3部分，如图8-21所示。图8-21　GraphX架构 1）存储和原语层：Graph类是图计算的核心类，内部含有VertexRDD、EdgeRDD和RDD[EdgeTriplet]引用。GraphImpl是Graph类的子类，实现了...

第06章：key-value 存储设计

19 2025-03-16 《System Design Interview: An Insider’s Guide：系统设计面试：内幕指南（中文翻译）》

第06章：key-value 存储设计理解问题并确定设计范围单一服务器的键值存储分布式键值存储系统组件数据分区数据复制一致性一致性模型不一致的解决方法：版本控制故障处理系统构架图写入路径读取路径总结参考资料第06章：key-value 存储设计键值存储，也称为键值数据库，是一种非关系数据...

3.1.3　衡量指标

27 2024-12-25 《大规模分布式存储系统：原理解析与架构实战》

3.1.3　衡量指标 3.1.3　衡量指标评价分布式存储系统有一些常用的指标，下面分别介绍。（1）性能常见的性能指标有：系统的吞吐能力以及系统的响应时间。其中，系统的吞吐能力指系统在某一段时间可以处理的请求总数，通常用每秒处理的读操作数（QPS,Query Per Second）或者写操作数（TPS,Transaction Per Seco...

第4章　分布式文件系统

37 2024-12-25 《大规模分布式存储系统：原理解析与架构实战》

第4章　分布式文件系统 4.1　Google文件系统 4.1.1　系统架构第4章　分布式文件系统分布式文件系统的主要功能有两个：一个是存储文档、图像、视频之类的Blob类型数据；另外一个是作为分布式表格系统的持久化层。分布式文件系统中最为著名的莫过于Google File System（GFS），它构建在廉价的普通PC服务器之上，支持自动...

4.5　磁带文件存放优化

22 2024-12-25 《编程之美:微软技术面试心得》

4.5　磁带文件存放优化磁带是一种线性存储设备，一个文件在磁带上的存储区域是完整而且连续的，而多个文件的存储区域是相互独立且连续分布的，如图4-9所示。与今天大量使用的磁盘式存储设备不同，磁带没有扇区、柱面、磁道等概念，所以在进行文件寻址时需要耗费线性时间，即要定位到磁带上的第n个文件，需要依次经过前面的n－1个文件的磁带长度。如今，磁盘式存储设备一般...

1.4　Hadoop与分布式开发

34 2024-12-19 《Hadoop实战（第2版）》

1.4　Hadoop与分布式开发 1.4　Hadoop与分布式开发我们通常所说的分布式系统其实是分布式软件系统，即支持分布式处理的软件系统。它是在通信网络互联的多处理机体系结构上执行任务的系统，包括分布式操作系统、分布式程序设计语言及其编译（解释）系统、分布式文件系统和分布式数据库系统等。Hadoop是分布式软件系统中文件系统层的软件，它实现了分布...

8.1.2　Spark SQL架构分析

40 2024-12-25 《Spark大数据处理：技术、应用与性能优化》

8.1.2　Spark SQL架构分析 8.1.2　Spark SQL架构分析 Spark SQL与传统DBMS的查询优化器+执行器的架构较为类似，只不过其执行器是在分布式环境中实现，并采用Spark作为执行引擎。Spark SQL的查询优化是Catalyst，其基于Scala语言开发，可以灵活利用Scala原生的语言特性方便地扩展功能，奠定了Spa...

11.4.3 系统设计

3.2.3 Spark的数据存储

4.4 内容分发网络

8.3.3 GraphX架构

第06章：key-value 存储设计

3.1.3 衡量指标

第4章 分布式文件系统

4.5 磁带文件存放优化

1.4 Hadoop与分布式开发

8.1.2 Spark SQL架构分析