[搜文档]Hadoop - 搜索结果

3.4.3　两个例子

35 2024-12-19 《Hadoop实战（第2版）》

3.4.3　两个例子！/usr/bin/python 3.4.3　两个例子从上面的内容可以知道，Hadoop流的API是一个扩展性非常强的框架，它与程序相连的部分只有数据，因此可以接受任何适用于UNIX标准输入/输出的脚本语言，比如Bash、PHP、Ruby、Python等。下面举两个非常简单的例子来进一步说明它的特性。 1.Bash ...

1.5　Hadoop初体验

39 2024-12-19 《Hadoop技术内幕：深入解析MapReduce架构设计与实现原理 (大数据技术丛书)》

1.5　Hadoop初体验 1.5.1　启动Hadoop 1.5　Hadoop初体验一般而言，我们想要深入学习一个新的系统时，首先要尝试使用该系统，了解系统对外提供的功能，然后通过某个功能逐步深入其实现细节。本节将介绍如何在伪分布式工作模式[1] 下使用Hadoop，包括启动Hadoop、访问HDFS以及向MapReduce提交作业等最基本的操作...

6.1　WordCount

29 2024-12-25 《Spark大数据处理：技术、应用与性能优化》

6.1　WordCount 6.1　WordCount WordCount是大数据领域的经典范例，如同程序设计中的Hello World一样，是一个入门程序。本节主要从并行处理的角度出发，介绍设计Spark程序的过程。 1.实例描述输入： Hello World Bye World Hello Hadoop Bye ...

如何阅读本书

26 2024-12-19 《Hadoop实战（第2版）》

如何阅读本书如何阅读本书从整体内容上讲，本书包括19章和4个附录。前10章、第18章、第19章和4个附录主要介绍了Hadoop背景知识、Hadoop集群安装和代码执行、MapReduce机制及编程知识、HDFS实现细节及管理知识、Hadoop应用。第11章至第17章结合最新版本详细介绍了与Hadoop相关的其他项目，分别为Hive、HBase、M...

3.5　Hadoop Pipes

34 2024-12-19 《Hadoop实战（第2版）》

3.5　Hadoop Pipes include"hadoop/Pipes.hh" include"hadoop/TemplateFactory.hh" include"hadoop/StringUtils.hh" 3.5　Hadoop Pipes Hadoop Pipes提供了一个在Hadoop上运行C++程序的方法。与流不同的是，流使用的是...

1.6　编译及调试Hadoop源代码

27 2024-12-19 《Hadoop技术内幕：深入解析MapReduce架构设计与实现原理 (大数据技术丛书)》

1.6　编译及调试Hadoop源代码 1.6.1　编译Hadoop源代码 1.6　编译及调试Hadoop源代码读者在阅读源代码的过程中，可能需要修改部分源代码或者使用调试工具以便跟踪某些变量值的变化过程，此时要用到Hadoop源代码编译和调试方法。本节将介绍Hadoop在伪分布式模式下的编译和调试方法，其中，调试方法主要介绍使用Eclipse远程...

18.2.2　Hadoop Eclipse的安装配置

27 2024-12-19 《Hadoop实战（第2版）》

18.2.2　Hadoop Eclipse的安装配置 18.2.2　Hadoop Eclipse的安装配置 Hadoop Eclipse插件有很多版本，比如Hadoop官方下载包中的版本、IBM的版本等。下面将以Hadoop官方下载包中的插件为例介绍安装和使用方法。安装插件之前先要安装Hadoop和Eclipse（这部分内容略去，直接介绍插件的安装）...

2.2.2　使用Homebrew安装Hadoop

25 2024-12-19 《Hadoop实战（第2版）》

2.2.2　使用Homebrew安装Hadoop 2.2.2　使用Homebrew安装Hadoop 安装完Homebrew之后，就可以在命令行输入下面的命令来自动安装Hadoop。自动安装的Hadoop在/usr/local/Cellar/hadoop路径下。需要注意的是，在使用brew安装软件时，会自动检测安装包的依赖关系，并安装有依赖关系的包，在...

19.6　本章小结

28 2024-12-19 《Hadoop实战（第2版）》

19.6　本章小结 19.6　本章小结本章按照系统的从简到难、应用的从浅到深，介绍了Hadoop在企业中的应用和实践，涵盖了经封装后直接使用Hadoop模块、修改完善Hadoop设计等内容，特别是大篇幅地介绍了Facebook使用Hadoop+HBase的一些细节。希望大家能认真学习，掌握如何使Hadoop在大型应用中扮演重要的角色，学会基于Had...

“猎豹”和“大象”[1]

16 2025-02-01 《数据之美 : 解密优雅数据解决方案背后的故事》

“猎豹”和“大象”[1] 从第一天开始对Facebook的点击流写日志起，到现在我们已经收集了超过400GB的数据。对该数据集的加载、索引和聚集操作对Oracle数据库的负载很重。虽然做了很多优化操作，但是我们还是无法在24小时内完成对一天的点击流的聚集操作。很显然，我们需要把日志文件聚集到数据库外，只在数据库中保存摘要信息(smmary inform...

3.4.3 两个例子

1.5 Hadoop初体验

6.1 WordCount

如何阅读本书

3.5 Hadoop Pipes

1.6 编译及调试Hadoop源代码

18.2.2 Hadoop Eclipse的安装配置

2.2.2 使用Homebrew安装Hadoop

19.6 本章小结