[搜文档]Hadoop - 搜索结果

2.4.3　建立和安装Cluster

32 2024-12-19 《Hadoop实战（第2版）》

2.4.3　建立和安装Cluster 2.4.3　建立和安装Cluster 要建立Hadoop集群，首先要做的就是选择并购买机器，在机器到手之后，就要进行网络部署并安装软件了。安装和配置Hadoop有很多方法，这部分内容在前文已经详细讲解过（见2.1节、2.2节和2.3节），同时还告诉了读者在实际部署时应该考虑的情况。为了简化我们在每个机器节点上...

1.5.2　Hadoop Shell介绍

29 2024-12-19 《Hadoop技术内幕：深入解析MapReduce架构设计与实现原理 (大数据技术丛书)》

1.5.2　Hadoop Shell介绍 1.5.2　Hadoop Shell介绍在1.4节中曾提到，bin目录下的Hadoop脚本是最基础的集群管理脚本，用户可以通过该脚本完成各种功能，如HDFS文件管理、MapReduce作业管理等。该脚本的使用方法为： hadoop[—config confdir]COMMAND 其中，—config...

18.5　本章小结

27 2024-12-19 《Hadoop实战（第2版）》

18.5　本章小结 18.5　本章小结本章介绍了使用Hadoop开发的四种常用插件，分别是Hadoop Studio、Hadoop Eclipse、Hadoop Streaming和Hadoop LibHdfs。Hadoop Studio是一个加快Hadoop开发进程的可视化开发环境。Hadoop Studio通过降低Hadoop的使用复杂度让用户...

第1章　Hadoop简介

22 2024-12-19 《Hadoop实战（第2版）》

第1章　Hadoop简介第1章　Hadoop简介本章内容什么是Hadoop Hadoop项目及其结构 Hadoop体系结构 Hadoop与分布式开发 Hadoop计算模型—MapReduce Hadoop数据管理 Hadoop集群安全策略本章小结

3.4.2　Hadoop Pipes的实现原理

78 2024-12-19 《Hadoop技术内幕：深入解析MapReduce架构设计与实现原理 (大数据技术丛书)》

3.4.2　Hadoop Pipes的实现原理 3.4.2　Hadoop Pipes的实现原理 Hadoop Pipes是Hadoop为方便C/C++用户编写MapReduce程序而设计的工具。其设计思想是将应用逻辑相关的C++代码放在单独的进程中，然后通过Socket让Java代码与C++代码通信以完成数据计算。 1.编程实例同样，以Word...

1.5.3　Hadoop Eclipse插件介绍

54 2024-12-19 《Hadoop技术内幕：深入解析MapReduce架构设计与实现原理 (大数据技术丛书)》

1.5.3　Hadoop Eclipse插件介绍 1.5.3　Hadoop Eclipse插件介绍 Hadoop提供了一个Eclipse插件以方便用户在Eclipse集成开发环境中使用Hadoop，如管理HDFS上的文件、提交作业、调试MapReduce程序等。本小节将介绍如何使用该插件访问HDFS、运行MapReduce作业和跟踪MapReduce...

3.4　非Java API解析

34 2024-12-19 《Hadoop技术内幕：深入解析MapReduce架构设计与实现原理 (大数据技术丛书)》

3.4　非Java API解析 3.4.1　Hadoop Streaming的实现原理 3.4　非Java API解析 3.4.1　Hadoop Streaming的实现原理 Hadoop Streaming是Hadoop为方便非Java用户编写MapReduce程序而设计的工具包。它允许用户将任何可执行文件或者脚本作为Mapper/Reduc...

第10章　Hadoop多用户作业调度器

35 2024-12-19 《Hadoop技术内幕：深入解析MapReduce架构设计与实现原理 (大数据技术丛书)》

第10章　Hadoop多用户作业调度器 10.1　多用户调度器产生背景第10章　Hadoop多用户作业调度器 Hadoop最初是为批处理作业而设计的，当时仅采用了一个简单的FIFO调度机制分配任务。但随着Hadoop的普及，单个Hadoop集群中的用户量和应用程序种类不断增加，适用于批处理场景的FIFO调度机制不能很好地利用集群资源，也不能够满足...

1.4　Hadoop源代码组织结构

35 2024-12-19 《Hadoop技术内幕：深入解析MapReduce架构设计与实现原理 (大数据技术丛书)》

1.4　Hadoop源代码组织结构 1.4　Hadoop源代码组织结构直接解压Hadoop压缩包后，可看到图1-11所示的目录结构，其中，比较重要的目录有src、conf、lib、bin等。下面分别介绍这几个目录的作用： ❑src：Hadoop源代码所在的目录。最核心的代码所在子目录分别是core、hdfs和mapred，它们分别实现了Hadoo...

第7章　Hadoop I/O操作

26 2024-12-19 《Hadoop实战（第2版）》

第7章　Hadoop I/O操作第7章　Hadoop I/O操作本章内容 I/O操作中的数据检查数据的压缩数据的I/O中序列化操作针对Mapreduce的文件类本章小结 Hadoop工程下与I/O相关的包如下： org. apache.hadoop.io org. apache.hadoop.io.compress or...

2.4.3 建立和安装Cluster

1.5.2 Hadoop Shell介绍

18.5 本章小结

第1章 Hadoop简介

3.4.2 Hadoop Pipes的实现原理

1.5.3 Hadoop Eclipse插件介绍

3.4 非Java API解析

第10章 Hadoop多用户作业调度器

1.4 Hadoop源代码组织结构

第7章 Hadoop I/O操作