[搜文档]Hadoop - 搜索结果

11.2　Hive的基本操作

33 2024-12-19 《Hadoop实战（第2版）》

11.2　Hive的基本操作 11.2.1　在集群上安装Hive Config Hive 11.2　Hive的基本操作本节中我们将介绍Hive的基本操作，包括Hive在集群上的安装配置及Hive的Web UI的使用。 11.2.1　在集群上安装Hive 从图11-1中可以看出，Hive可以理解为在Hadoop和HDFS之上为用户封装一层便...

4.4.5　其他通信协议

31 2024-12-19 《Hadoop技术内幕：深入解析MapReduce架构设计与实现原理 (大数据技术丛书)》

4.4.5　其他通信协议 4.4.5　其他通信协议其他三个通信协议，即RefreshUserMappingsProtocol, RefreshAuthorizationPolicyProto-col和AdminOperationsProtocol，均用于动态更新Hadoop MapReduce的相关配置文件。这些配置文件涉及对Hadoop某些模块的...

9.8　WebHDFS

29 2024-12-19 《Hadoop实战（第2版）》

9.8　WebHDFS 9.8.1　WebHDFS的配置 9.8　WebHDFS 本章前面的部分讲解了HDFS相关的内容，重点集中在如何使用shell下Hadoop的命令和HDFS的Java API来管理HDFS。这一小节将讲解Hadoop 1.0版本中新增加的WebHDFS，即通过Web命令来管理HDFS。 9.8.1　WebHDFS的配置...

9.5　HDFS常用Java API详解

27 2024-12-19 《Hadoop实战（第2版）》

9.5　HDFS常用Java API详解 9.5.1　使用Hadoop URL读取数据 9.5　HDFS常用Java API详解 9.1　中已经了解了Java API的重要性，本节深入介绍Hadoop的Filesystem类与Hadoop文件系统进行交互的API。 9.5.1　使用Hadoop URL读取数据如果想从Hadoop中读取数据，...

11.3　Hadoop安全机制实现

31 2024-12-19 《Hadoop技术内幕：深入解析MapReduce架构设计与实现原理 (大数据技术丛书)》

11.3　Hadoop安全机制实现 11.3.1　RPC 11.3　Hadoop安全机制实现在1.0.0之后的版本中，Hadoop在RPC、HDFS和MapReduce等方面引入了安全机制。在本节中，我们将分别介绍RPC、HDFS和MapReduce中涉及的安全机制实现方法。 11.3.1　RPC Hadoop RPC安全机制包括基于Ker...

17.4.2　Chukwa的安装

29 2024-12-19 《Hadoop实战（第2版）》

17.4.2　Chukwa的安装 17.4.2　Chukwa的安装 Chukwa项目的运行至少需要如下三部分的支持： Hadoop集群和HBase集群，Chukwa依赖其来存储并处理数据。一个Collector进程，将收集到的数据写入HBase中。一个或多个Agent进程，它发送监控数据到Collector，我们将运行的Agent进程的节点...

17.1　Chukwa简介

31 2024-12-19 《Hadoop实战（第2版）》

17.1　Chukwa简介 17.1　Chukwa简介 Hadoop的MapReduce最初的主要用于日志处理。但是使用MapReduce处理日志是一件很烦琐的事情，因为集群中机器的日志在不断地增加，会生成大量小文件，而MapReduce其实只有在处理少量的大文件数据时才会产生最好的效用。 Chukwa作为Hadoop的子项目弥补了这一缺陷。同时它...

第4章　Hadoop RPC框架解析

61 2024-12-19 《Hadoop技术内幕：深入解析MapReduce架构设计与实现原理 (大数据技术丛书)》

第4章　Hadoop RPC框架解析 4.1　Hadoop RPC框架概述第4章　Hadoop RPC框架解析网络通信模块是分布式系统中最底层的模块。它直接支撑了上层分布式环境下复杂的进程间通信（Inter-Process Communication, IPC）逻辑，是所有分布式系统的基础。远程过程调用（Remote Procedure Cal...

7.1　I/O操作中的数据检查

33 2024-12-19 《Hadoop实战（第2版）》

7.1　I/O操作中的数据检查 7.1　I/O操作中的数据检查 Apache的Hadoop官网上有一个名为Sort900的具体的Hadoop配置实例，所谓Sort900就是在900台主机上对9TB的数据进行排序。一般而言，在Hadoop集群的实际应用中，主机的数目是很大的，Sort900使用了900台主机，而淘宝目前则使用了1100台主机来存储他们的...

7.4　针对Mapreduce的文件类

21 2024-12-19 《Hadoop实战（第2版）》

7.4　针对Mapreduce的文件类 7.4.1　SequenceFile类 7.4　针对Mapreduce的文件类 Hadoop定义了一些文件数据结构以适应Mapreduce编程框架的需要，其中SequenceFile和MapFile两种类型非常重要，Map输出的中间结果就是由它们表示的。其中，MapFile是经过排序并带有索引的Sequenc...

11.2 Hive的基本操作

4.4.5 其他通信协议

9.8 WebHDFS

9.5 HDFS常用Java API详解

11.3 Hadoop安全机制实现

17.4.2 Chukwa的安装

17.1 Chukwa简介

第4章 Hadoop RPC框架解析

7.1 I/O操作中的数据检查

7.4 针对Mapreduce的文件类