[搜文档]Hadoop - 搜索结果

2.1　在Linux上安装与配置Hadoop

37 2024-12-19 《Hadoop实战（第2版）》

2.1　在Linux上安装与配置Hadoop 2.1.1　安装JDK 1.6 set Java Environment 2.1　在Linux上安装与配置Hadoop 在Linux上安装Hadoop之前，需要先安装两个程序： 1）JDK 1. 6（或更高版本）。Hadoop是用Java编写的程序，Hadoop的编译及MapReduce的运行都需要...

2.1.3　安装并运行Hadoop

24 2024-12-19 《Hadoop实战（第2版）》

2.1.3　安装并运行Hadoop 2.1.3　安装并运行Hadoop 介绍Hadoop的安装之前，先介绍一下Hadoop对各个节点的角色定义。 Hadoop分别从三个角度将主机划分为两种角色。第一，最基本的划分为Master和Slave，即主人与奴隶；第二，从HDFS的角度，将主机划分为NameNode和DataNode（在分布式文件系统中，目录...

9.3.2　作业级别参数调优

31 2024-12-19 《Hadoop技术内幕：深入解析MapReduce架构设计与实现原理 (大数据技术丛书)》

9.3.2　作业级别参数调优 9.3.2　作业级别参数调优 1.规划合理的任务数目一个作业的任务数目对作业运行时间有重要的影响。如果一个作业的任务数目过多（这意味着每个任务处理数据很少，执行时间很短），则任务启动时间所占比例将会大大增加；反之，如果一个作业的任务数目过少（这意味着每个任务处理数据很多，执行时间很长），则可能会产生过多的溢写数据影响...

1.7　小结

25 2024-12-19 《Hadoop技术内幕：深入解析MapReduce架构设计与实现原理 (大数据技术丛书)》

1.7　小结 1.7　小结搭建一个高效的源代码学习环境是深入学习Hadoop的良好开端，本章主要内容正是帮助读者搭建一个这样的学习环境。在作者看来，一个高效的Hadoop学习环境至少应该包括源代码阅读环境、Hadoop使用环境和源代码编译调试环境，而本章正是围绕这三个环境的搭建方法编写的。本章首先分别介绍了在Linux和Windows环境下搭建...

2.1.2　Apache Hadoop新版本的特性

45 2024-12-19 《Hadoop技术内幕：深入解析MapReduce架构设计与实现原理 (大数据技术丛书)》

2.1.2　Apache Hadoop新版本的特性 2.1.2　Apache Hadoop新版本的特性当前Apache Hadoop版本非常多，本小节将帮助读者梳理各个版本的特性以及它们之间的联系。在讲解Hadoop各版本之前，先要了解Apache软件发布方式。对于任何一个Apache开源项目，所有的基础特性均被添加到一个称为“trunk”的主代码...

18.4　Hadoop Libhdfs的介绍和使用

22 2024-12-19 《Hadoop实战（第2版）》

18.4　Hadoop Libhdfs的介绍和使用 18.4.1　Hadoop Libhdfs的介绍 18.4　Hadoop Libhdfs的介绍和使用 18.4.1　Hadoop Libhdfs的介绍 Libhdfs是一个基于C编程接口的为Hadoop分布式文件系统开发的JNI（Java Native Interface），它提供了一个C语言...

参考资料

53 2024-12-19 《Hadoop技术内幕：深入解析MapReduce架构设计与实现原理 (大数据技术丛书)》

参考资料参考资料【参考书籍】 [1]Tom White. Hadoop权威指南[M].2版.周敏奇，王晓玲，金澈清，钱卫宁，译.北京：清华大学出版社，2011. [2]Chuck Lam. Hadoop实战[M].韩冀中.北京：人民邮电出版社，2011. [3]Eric Sammer. Hadoop Operations.O'Reilly ...

18.2.3　Hadoop Eclipse的使用举例

29 2024-12-19 《Hadoop实战（第2版）》

18.2.3　Hadoop Eclipse的使用举例 18.2.3　Hadoop Eclipse的使用举例首先打开Hadoop视图（图略），然后右键点击Project Explorer空白处选择New→Project。在创建工程向导中选择创建Map/Reduce工程，然后输入工程名，点击finish，此时Project Explore中会出现新创建...

B.3　Hadoop使用

27 2024-12-19 《Hadoop实战（第2版）》

B.3　Hadoop使用 B.3.1　命令行管理Hadoop集群 B.3.2　运行MapReduce框架程序 B.3　Hadoop使用 B.3.1　命令行管理Hadoop集群在使用Hadoop时，最常用的就是使用命令行来管理HDFS，可以上传下载文件，管理集群节点，查看集群状态，运行指定进程等，命令的运行格式如下： bin/hadoop...

1.3　搭建Hadoop源代码阅读环境

29 2024-12-19 《Hadoop技术内幕：深入解析MapReduce架构设计与实现原理 (大数据技术丛书)》

1.3　搭建Hadoop源代码阅读环境 1.3.1　创建Hadoop工程 1.3　搭建Hadoop源代码阅读环境 1.3.1　创建Hadoop工程本小节介绍如何创建一个Hadoop源代码工程，以方便阅读源代码。创建一个Hadoop工程，可分两个步骤完成：步骤1　解压缩Hadoop源代码。将下载到的Hadoop源代码压缩包hadoop-1....

2.1 在Linux上安装与配置Hadoop

2.1.3 安装并运行Hadoop

9.3.2 作业级别参数调优

1.7 小结

2.1.2 Apache Hadoop新版本的特性

18.4 Hadoop Libhdfs的介绍和使用