[搜文档]Spark - 搜索结果

8.4.1　MLlib简介

29 2024-12-25 《Spark大数据处理：技术、应用与性能优化》

8.4.1　MLlib简介 8.4.1　MLlib简介 MLlib是一些常用的机器学习算法和库在Spark平台上的实现，是AMPLab的在研机器学习项目MLBase的底层组件。MLBase是一个机器学习平台，MLI是一个接口层，提供很多结构，MLlib是底层算法实现层。三者关系如图8-24所示。图8-24　MLbase MLlib在Spar...

7.1　Benchmark简介

26 2024-12-25 《Spark大数据处理：技术、应用与性能优化》

7.1　Benchmark简介 7.1　Benchmark简介 Benchmark性能基准测试本质上就是生成模拟数据或真实数据，在系统上运行典型负载（Workload），进而暴露系统瓶颈和性能优势，最终完成系统评测。 Benchmark的种类很多，有些偏重于硬件，有些偏重于软件，还有些是对整个系统进行综合度量和评价。我们为什么要使用Benchm...

7.4　Bob的汽车零部件商店应用程序的异常

29 2024-12-25 《php和mysql web开发(原书第4版)》

7.4　Bob的汽车零部件商店应用程序的异常 7.4　Bob的汽车零部件商店应用程序的异常在第2章中，我们介绍了如何以普通文件的格式保存Bob汽车零部件商店的订单数据。我们知道，文件I/O（事实上，任何类型的I/O）是程序经常出现错误的地方。这就使得它成为应用异常处理的合理位置。回顾初始代码，可以看到，写文件时可能会出现三种情况的错误：文件无法...

12.2.2　资源统一管理平台

59 2024-12-19 《Hadoop技术内幕：深入解析MapReduce架构设计与实现原理 (大数据技术丛书)》

12.2.2　资源统一管理平台 12.2.2　资源统一管理平台随着互联网的高速发展，基于数据密集型应用的计算框架不断出现。从支持离线处理的MapReduce，到支持在线处理的Storm，从迭代式计算框架Spark到流式处理框架S4……各种框架诞生于不同的公司或者实验室。它们各有所长，各自解决了某一类应用问题。而在大部分互联网公司中，这几种框架可能同...

7.4.2　Mesos和Yarn简介

47 2024-12-26 《大规模分布式系统架构与设计实战》

7.4.2　Mesos和Yarn简介 1.Mesos介绍 2.Yarn介绍 7.4.2　Mesos和Yarn简介 1.Mesos介绍我们在第2章谈到Spark的时候提及过Mesos，Mesos最初是加州伯克利大学的一个研究项目，后来加入到Apache孵化器成为开源产品。Mesos的目标是提供一个分布式应用的资源隔离框架，能在它上面运行Had...

4.4.2　Client、Master和Worker间的通信

27 2024-12-25 《Spark大数据处理：技术、应用与性能优化》

4.4.2　Client、Master和Worker间的通信 4.4.2　Client、Master和Worker间的通信在Standalone模式下，存在以下角色。 ·Client：提交作业。 ·Master：接收作业，启动Driver和Executor，管理Worker。 ·Worker：管理节点资源，启动Driver和Executor。...

3.3　使用不同索引的数组

27 2024-12-25 《php和mysql web开发(原书第4版)》

3.3　使用不同索引的数组 3.3.1　初始化关联数组 3.3　使用不同索引的数组在$products数组中，允许PHP为每个元素指定一个默认的索引。这就意味着，所添加的第一个元素为元素0，第二个为元素1等。PHP还支持关联数组。在关联数组中，可以将每个变量值与任何关键字或索引关联起来。 3.3.1　初始化关联数组如下所示的代码可以创建一...

第 8 章　并行与大规模科学计算

37 2025-02-12 《Python 高手进阶之路（套装全10册）》

第 8 章　并行与大规模科学计算 8.1　用IPython做并行计算 8.2　IPython并行计算架构并行计算的组成部分 8.3　并行计算示例 8.3.1　并行装饰器 8.3.2　IPython的魔法函数 8.4　IPython的高级特性 8.4.1　容错执行 8.4.2　动态负载均衡 8.4.3　在客户端与引擎之间推...

original

9 2025-03-17 《威威的GPT单词本(8000词)》

original 分析词义 "Original" 表示的是"初始的"，"首创的" 或 "原始的"。列举例句 This is the original design of the building.（这是这栋建筑的原始设计。） He is the original owner of this house.（他是这房子的初始所有者。） The or...

4.5　容错机制

28 2024-12-25 《Spark大数据处理：技术、应用与性能优化》

4.5　容错机制 4.5　容错机制在众多特性中，最难实现的是容错性。一般来说，分布式数据集的容错性有两种方式：数据检查点和记录数据的更新。面向大规模数据分析，数据检查点操作成本很高，需要通过数据中心的网络连接在机器之间复制庞大的数据集，而网络带宽往往比内存带宽低得多，同时还需要消耗更多的存储资源。因此，Spark选择记录更新的方式。但是，如果更新粒...

8.4.1 MLlib简介

7.1 Benchmark简介

7.4 Bob的汽车零部件商店应用程序的异常

12.2.2 资源统一管理平台

7.4.2 Mesos和Yarn简介

4.4.2 Client、Master和Worker间的通信

3.3 使用不同索引的数组

第 8 章 并行与大规模科学计算