6.8 本章小结
通过本章的介绍,相信读者已经可以独立编写Spark用例了。Spark使用Scala书写,不熟悉的读者可以预先学习Scala语法,这样编写Spark程序才会游刃有余。
WordCount是大数据程序的入门程序,程序虽然简单,但其中的程序并行化思想很值得借鉴。连接示例,让读者可以进一步了解如何进行数据统计,Top K,倒排索引,查找中位数、倾斜连接。最后介绍的股票趋势预测应用较为复杂,但是通过整个架构可以体会Spark是如何处理实际问题的。
读者对Spark编程有了一定的基础之后,需要使用Benchmark对应用进行基准测试,进而调整算法。需要进行系统选型时,也需要使用Benchmark进行性能评测。下面将对大数据领域的Benchmark进行全景介绍,读者可以通过大数据Benchmark进行Spark系统或应用的基准测试。