[搜文档]分布式存储 - 搜索结果

1.2　分布式存储分类

47 2024-12-25 《大规模分布式存储系统：原理解析与架构实战》

1.2　分布式存储分类 1.2　分布式存储分类分布式存储面临的数据需求比较复杂，大致可以分为三类： ●非结构化数据：包括所有格式的办公文档、文本、图片、图像、音频和视频信息等。 ●结构化数据：一般存储在关系数据库中，可以用二维关系表结构来表示。结构化数据的模式（Schema，包括属性、数据类型以及数据之间的联系）和内容是分开的，数据的模式需要预...

1.1　分布式存储概念

40 2024-12-25 《大规模分布式存储系统：原理解析与架构实战》

1.1　分布式存储概念 1.1　分布式存储概念大规模分布式存储系统的定义如下： “分布式存储系统是大量普通PC服务器通过Internet互联，对外作为一个整体提供存储服务。” 分布式存储系统具有如下几个特性： ●可扩展。分布式存储系统可以扩展到几百台甚至几千台的集群规模，而且，随着集群规模的增长，系统整体性能表现为线性增长。 ●低成本。分布...

第9章　分布式存储引擎

37 2024-12-25 《大规模分布式存储系统：原理解析与架构实战》

第9章　分布式存储引擎 9.1　公共模块 9.1.1　内存管理第9章　分布式存储引擎分布式存储引擎层负责处理分布式系统中的各种问题，例如数据分布、负载均衡、容错、一致性协议等。与其他分布式存储系统类似，分布式存储引擎层支持根据主键更新、插入、删除、随机读取以及范围查找等操作，数据库功能层构建在分布式存储引擎层之上。分布式存储引擎层包含三个...

前言

54 2024-12-25 《大规模分布式存储系统：原理解析与架构实战》

前言前言随着社交网络、移动互联网、电子商务等技术的不断发展，互联网的使用者贡献了越来越多的内容。为了处理这些内容，每个互联网公司在后端都有一套成熟的分布式系统用于数据的存储、计算以及价值提取。Google是全球最大的互联网公司，也是在分布式技术上相对成熟的公司，其公布的Google分布式文件系统GFS、分布式计算系统MapReduce、分布式表格...

12.6　云存储技术体系

52 2024-12-25 《大规模分布式存储系统：原理解析与架构实战》

12.6　云存储技术体系 12.6　云存储技术体系云存储涉及的知识面很广，既涉及云存储服务端的技术，又涉及终端设备应用开发相关的技术。本书关注云存储系统服务端技术，其技术体系如图12-8所示。图　12-8　云存储技术体系云存储技术体系结构分为四层：硬件层、单机存储层、分布式存储层、存储访问层，下面分别介绍。（1）硬件层硬...

6.1　FTTP架构原理解析

49 2024-12-26 《大规模分布式系统架构与设计实战》

6.1　FTTP架构原理解析 6.1　FTTP架构原理解析目前在云计算和大数据浪潮的推动下，分布式文件存储技术的发展已经如火如荼，不论大企业还是小创业公司都想推自己的云存储产品和服务，下面我们来关注一下这个领域背后的落地技术实现，从市场上已有的分布式文件系统实现技术入手分析，先做一个背景铺垫，再以此对照阐述FTTP的分布式文件技术架构。目前市场...

8.4.2　MLlib的数据存储

43 2024-12-25 《Spark大数据处理：技术、应用与性能优化》

8.4.2　MLlib的数据存储 8.4.2　MLlib的数据存储 MLlib支持存储在本地的向量和矩阵，也提供分布式的矩阵（底层实现是一个或多个RDD）。[1] 在目前发布版本的实现中，本地的向量和矩阵数据模型提供公共服务接口，基础的线性代数操作是基于Breeze和jblas库的。在MLlib监督学习中的一个训练样例叫做“标记向量”（labeled...

8.4.8　分层结构

37 2024-12-25 《大规模分布式存储系统：原理解析与架构实战》

8.4.8　分层结构 8.4.8　分层结构 OceanBase对外提供的是与关系数据库一样的SQL操作接口，而内部却实现成一个线性可扩展的分布式系统。系统从逻辑实现上可以分为两个层次：分布式存储引擎层以及数据库功能层。 OceanBase一期只实现了分布式存储引擎，这个存储引擎支持如下特性： ●支持分布式数据结构，基线数据逻辑上构成一颗分布式B+...

2.4　Hadoop基本架构

38 2024-12-19 《Hadoop技术内幕：深入解析MapReduce架构设计与实现原理 (大数据技术丛书)》

2.4　Hadoop基本架构 2.4.1　HDFS架构 2.4　Hadoop基本架构 Hadoop由两部分组成，分别是分布式文件系统和分布式计算框架MapReduce。其中，分布式文件系统主要用于大规模数据的分布式存储，而MapReduce则构建在分布式文件系统之上，对存储在分布式文件系统中的数据进行分布式计算。本书主要涉及MapReduce，但考...

第3章　分布式系统

32 2024-12-25 《大规模分布式存储系统：原理解析与架构实战》

第3章　分布式系统 3.1　基本概念 3.1.1　异常第3章　分布式系统水桶无论有多高，其盛水的高度取决于其中最短的那块木板，这就是著名的“木桶效应”。架构设计之初要求我们能够估算系统的性能从而权衡不同的设计方法。本章首先介绍分布式系统相关的基础概念和性能估算方法。接着，介绍分布式系统的基础理论知识，包括数据分布、复制、一致性、容错等。最后，...

1.2 分布式存储分类

1.1 分布式存储概念

第9章 分布式存储引擎

前言

12.6 云存储技术体系

6.1 FTTP架构原理解析

8.4.2 MLlib的数据存储

8.4.8 分层结构

2.4 Hadoop基本架构

第3章 分布式系统