[搜文档]Spark - 搜索结果

1.5.4　Spark在淘宝的应用

34 2024-12-25 《Spark大数据处理：技术、应用与性能优化》

1.5.4　Spark在淘宝的应用 1.5.4　Spark在淘宝的应用数据挖掘算法有时候需要迭代，每次迭代时间非常长，这是淘宝选择一个更高性能计算框架Spark的原因。Spark编程范式更加简洁也是一大原因。另外，GraphX提供图计算的能力也是很重要的。 1.Spark on YARN架构 Spark的计算调度方式从Mesos到Standal...

6.8　本章小结

28 2024-12-25 《Spark大数据处理：技术、应用与性能优化》

6.8　本章小结 6.8　本章小结通过本章的介绍，相信读者已经可以独立编写Spark用例了。Spark使用Scala书写，不熟悉的读者可以预先学习Scala语法，这样编写Spark程序才会游刃有余。 WordCount是大数据程序的入门程序，程序虽然简单，但其中的程序并行化思想很值得借鉴。连接示例，让读者可以进一步了解如何进行数据统计，Top K...

第5章　Spark开发环境配置及流程

23 2024-12-25 《Spark大数据处理：技术、应用与性能优化》

第5章　Spark开发环境配置及流程第5章　Spark开发环境配置及流程通过前面的介绍，相信读者已经对Spark的内部机制有了一定的了解，本章将介绍如何在Spark中开发应用程序，以及如何进行程序的编译和调试。在编写Spark应用程序之前，需要安装和配置开发环境，一般可以选择Intellij或Eclipse进行开发和调试，使用SBT编译项目。

8.4.2　MLlib的数据存储

46 2024-12-25 《Spark大数据处理：技术、应用与性能优化》

8.4.2　MLlib的数据存储 8.4.2　MLlib的数据存储 MLlib支持存储在本地的向量和矩阵，也提供分布式的矩阵（底层实现是一个或多个RDD）。[1] 在目前发布版本的实现中，本地的向量和矩阵数据模型提供公共服务接口，基础的线性代数操作是基于Breeze和jblas库的。在MLlib监督学习中的一个训练样例叫做“标记向量”（labeled...

4.2.2　Spark应用程序内Job的调度

29 2024-12-25 《Spark大数据处理：技术、应用与性能优化》

4.2.2　Spark应用程序内Job的调度 4.2.2　Spark应用程序内Job的调度在Spark应用程序内部，用户通过不同线程提交的Job可以并行运行，这里所说的Job就是Spark Action（如count、collect等）算子触发的整个RDD DAG为一个Job，在实现上，算子中的本质是调用SparkContext中的runJob提交...

1.5.1　Spark在Amazon中的应用

42 2024-12-25 《Spark大数据处理：技术、应用与性能优化》

1.5.1　Spark在Amazon中的应用 1.5.1　Spark在Amazon中的应用亚马逊云计算服务AWS（Amazon Web Services）提供IaaS和PaaS服务。Heroku、Netflix等众多知名公司都将自己的服务托管其上。AWS以Web服务的形式向企业提供IT基础设施服务，现在通常称为云计算。云计算的主要优势是能够根据业务...

8.1.2　Spark SQL架构分析

40 2024-12-25 《Spark大数据处理：技术、应用与性能优化》

8.1.2　Spark SQL架构分析 8.1.2　Spark SQL架构分析 Spark SQL与传统DBMS的查询优化器+执行器的架构较为类似，只不过其执行器是在分布式环境中实现，并采用Spark作为执行引擎。Spark SQL的查询优化是Catalyst，其基于Scala语言开发，可以灵活利用Scala原生的语言特性方便地扩展功能，奠定了Spa...

9.2　调优技巧

26 2024-12-25 《Spark大数据处理：技术、应用与性能优化》

9.2　调优技巧 9.2　调优技巧一个应用程序可以完成基本功能其实还不够，还有一些更加细节和有实际意义的问题需要考虑，尤其是性能优化问题，但以往的经验教训告诉我们，过早的性能优化是万恶之源，性能优化应该随着程序的开发、调试以及作业的运行观察性能瓶颈，进而进行性能调优。性能方面的提高概括来说主要包括时间性能提升和空间性能提升，而这两个方面又是一个...

6.7　股票趋势预测

35 2024-12-25 《Spark大数据处理：技术、应用与性能优化》

6.7　股票趋势预测 6.7　股票趋势预测本例将介绍如何使用Spark构建实时数据分析应用[1] ，以分析股票价格趋势。本例假设已预先连接了Spark Streaming。读者可以阅读介绍BDAS的章节预先了解相关概念。第一步，需要获取数据流，本例使用JSON/WebSocket格式呈现6种实时市场金融信息。第二步，需要知道如何使用获取...

第8章　BDAS简介

35 2024-12-25 《Spark大数据处理：技术、应用与性能优化》

第8章　BDAS简介第8章　BDAS简介随着Spark中国峰会的举行，Spark工业界应用的大范围落地，Spark生态系统在国内发展势头强劲。前段时间Spark也正式升级为Apache顶级项目，证明Spark得到了更加广泛的认可。AMPLab的Spark团队创立了大数据公司Databricks，提供Spark的产品化支持，为后续Spark的产品化...

1.5.4 Spark在淘宝的应用

6.8 本章小结

第5章 Spark开发环境配置及流程

8.4.2 MLlib的数据存储

4.2.2 Spark应用程序内Job的调度

1.5.1 Spark在Amazon中的应用

8.1.2 Spark SQL架构分析

9.2 调优技巧

6.7 股票趋势预测

第8章 BDAS简介