搜书网 本次搜索耗时 0.030 秒，为您找到 161 个相关结果.

  • 4.1.2　Spark应用的概念
    26 2024-12-25 《Spark大数据处理：技术、应用与性能优化》
    4.1.2　Spark应用的概念 4.1.2　Spark应用的概念 Spark应用（Application）是用户提交的应用程序。执行模式有Local、Standalone、YARN、Mesos。根据Spark Application的Driver Program是否在集群中运行，Spark应用的运行方式又可以分为Cluster模式和Client模式...

  • 第2章　Spark集群的安装与部署
    29 2024-12-25 《Spark大数据处理：技术、应用与性能优化》
    第2章　Spark集群的安装与部署 第2章　Spark集群的安装与部署 Spark的安装简便，用户可以在官网上下载到最新的软件包，网址为http://spark.apache.org/。 Spark最早是为了在Linux平台上使用而开发的，在生产环境中也是部署在Linux平台上，但是Spark在UNIX、Windwos和Mac OS X系统上也运...

  • 第4章　Spark工作机制详解
    23 2024-12-25 《Spark大数据处理：技术、应用与性能优化》
    第4章　Spark工作机制详解 第4章　Spark工作机制详解 通过前一章的介绍，读者对Spark的计算模型有了全面的把握，本章将深入介绍Spark的内部运行机制。Spark的主要模块包括调度与任务分配、I/O模块、通信控制模块、容错模块以及Shuffle模块。Spark按照应用、作业、Stage和Task几个层次分别进行调度，采用了经典的FIFO和...

  • 3.3　Spark算子分类及功能
    23 2024-12-25 《Spark大数据处理：技术、应用与性能优化》
    3.3　Spark算子分类及功能 3.3　Spark算子分类及功能 本节将主要介绍Spark算子的作用，以及算子的分类。 1.Saprk算子的作用 图3-3描述了Spark的输入、运行转换、输出。在运行转换中通过算子对RDD进行转换。算子是RDD中定义的函数，可以对RDD中的数据进行转换和操作。 图3-3　Spark算子和数据空间 1）输...

  • 7.3.3　使用BigDataBench
    29 2024-12-25 《Spark大数据处理：技术、应用与性能优化》
    7.3.3　使用BigDataBench 7.3.3　使用BigDataBench BigDataBench[1] 针对不同的负载，用户可以使用下面的方式生成数据和使用工作负载。 在Spark的Shell中已经默认设置了数据生成的命令和配置，感兴趣的读者或者有特定数据规模需求的读者可以修改对应的Shell调整负载。 1.离线分析（offline ...

  • 8.5　本章小结
    35 2024-12-25 《Spark大数据处理：技术、应用与性能优化》
    8.5　本章小结 8.5　本章小结 本章主要介绍了BDAS中广泛应用的几个数据分析组件。SQL on Spark提供在Spark上的SQL查询功能，让用户可以基于内存计算和SQL进行大数据分析。通过Spark Streaming，用户可以构建实时流处理应用，高吞吐量，以及适合历史和实时数据混合分析的特性，使Spark Streaming在流数据处理框...

  • 第6章　Spark编程实战
    27 2024-12-25 《Spark大数据处理：技术、应用与性能优化》
    第6章　Spark编程实战 第6章　Spark编程实战 前面章节已经介绍了很多关于Spark的基础知识、运行机制，Spark的集群安装与配置方法，Spark内核是由Scala语言开发的，当然用户也可以使用Java和Python进行开发。本章将从题目、程序和应用出发，介绍如何使用Spark进行程序开发，以及如何编写Spark程序。

  • 8.2.3　Spark Streaming原理剖析
    28 2024-12-25 《Spark大数据处理：技术、应用与性能优化》
    8.2.3　Spark Streaming原理剖析 8.2.3　Spark Streaming原理剖析 下面将通过一个example示例的源码呈现Spark Streaming的底层机制。示例及源码基于Spark 1.0版本，后续的发布版中可能会有更新。 1.初始化与集群上分布接收器 图8-12所示为Spark Streaming执行模型从中可看...

  • 8.3.4　运行实例
    41 2024-12-25 《Spark大数据处理：技术、应用与性能优化》
    8.3.4　运行实例 8.3.4　运行实例 上文介绍了GraphX的组件和API。下面通过Berkeley的示例构建一个真实的图数据分析流水线。[1] 示例中将会使用Wikipedia的连接数据，使用Spark的操作符清洗数据和抽取结构，使用GraphX操作符分析图结构，最后检验和评价图分析的结果。上面的操作可以通过Spark Shell执行。 G...

  • 4.1.1　Spark执行机制总览
    23 2024-12-25 《Spark大数据处理：技术、应用与性能优化》
    4.1.1　Spark执行机制总览 4.1.1　Spark执行机制总览 Spark应用提交后经历了一系列的转换，最后成为Task在每个节点上执行。Spark应用转换（见图4-1）：RDD的Action算子触发Job的提交，提交到Spark中的Job生成RDD DAG，由DAGScheduler转化为Stage DAG，每个Stage中产生相应的Tas...
赞助我们  ·  使用帮助  ·  关于我们  ·  联系我们
站点地图