×
思维导图备注
Hadoop技术内幕：深入解析MapReduce架构设计与实现原理 (大数据技术丛书)
首页
下载
阅读记录
书签管理
我的书签
添加书签
移除书签
第四部分 MapReduce高级篇
来源 董西成
浏览
24
扫码
分享
2024-12-19 13:01:28
第四部分 MapReduce高级篇
第四部分 MapReduce高级篇
本部分内容
Hadoop性能调优
Hadoop多用户作业调度器
Hadoop安全机制
下一代MapReduce框架
上一篇:
下一篇:
前言
读者对象
如何阅读本书
勘误和支持
致谢
第一部分 基础篇
第1章 阅读源代码前的准备
1.1.2 如何准备Windows环境
1.1.3 如何准备Linux环境
1.2 获取Hadoop源代码
1.3 搭建Hadoop源代码阅读环境
1.3.2 Hadoop源代码阅读技巧
1.4 Hadoop源代码组织结构
1.5 Hadoop初体验
1.5.2 Hadoop Shell介绍
1.5.3 Hadoop Eclipse插件介绍
1.6 编译及调试Hadoop源代码
1.6.2 调试Hadoop源代码
1.7 小结
第2章 MapReduce设计理念与基本架构
2.1.2 Apache Hadoop新版本的特性
2.1.3 Hadoop版本变迁
2.2 Hadoop MapReduce设计目标
2.3 MapReduce编程模型概述
2.3.2 MapReduce编程实例
2.4 Hadoop基本架构
2.4.2 Hadoop MapReduce架构
2.5 Hadoop MapReduce作业的生命周期
2.6 小结
第二部分 MapReduce编程模型篇
第3章 MapReduce编程模型
3.1.2 新旧MapReduce API比较
3.2 MapReduce API基本概念
3.2.2 Reporter参数
3.2.3 回调机制
3.3 Java API解析
3.3.2 InputFormat接口的设计与实现
3.3.3 OutputFormat接口的设计与实现
3.3.4 Mapper与Reducer解析
3.3.5 Partitioner接口的设计与实现
3.4 非Java API解析
3.4.2 Hadoop Pipes的实现原理
3.5 Hadoop工作流
3.5.2 ChainMapper/ChainReducer的实现原理
3.5.3 Hadoop工作流引擎
3.6 小结
第三部分 MapReduce核心设计篇
第4章 Hadoop RPC框架解析
4.2 Java基础知识
4.2.2 Java网络编程
4.2.3 Java NIO
4.3 Hadoop RPC基本框架分析
4.3.2 Hadoop RPC基本框架
4.3.3 集成其他开源RPC框架
4.4 MapReduce通信协议分析
4.4.2 JobSubmissionProtocol通信协议
4.4.3 InterTrackerProtocol通信协议
4.4.4 TaskUmbilicalProtocol通信协议
4.4.5 其他通信协议
4.5 小结
第5章 作业提交与初始化过程分析
5.2 作业提交过程详解
5.2.2 作业文件上传
5.2.3 产生InputSplit文件
5.2.4 作业提交到JobTracker
5.3 作业初始化过程详解
5.4 Hadoop DistributedCache原理分析
5.4.2 工作原理分析
5.5 小结
第6章 JobTracker内部实现剖析
6.2 JobTracker启动过程分析
6.2.2 重要对象初始化
6.2.3 各种线程功能
6.2.4 作业恢复
6.3 心跳接收与应答
6.3.2 下达命令
6.4 Job和Task运行时信息维护
6.4.2 JobInProgress
6.4.3 TaskInProgress
6.4.4 作业和任务状态转换图
6.5 容错机制
6.5.2 TaskTracker容错
6.5.3 Job/Task容错
6.5.4 Record容错
6.5.5 磁盘容错
6.6 任务推测执行原理
6.6.2 1.0.0版本的算法
6.6.3 0.21.0版本的算法
6.6.4 2.0版本的算法
6.7 Hadoop资源管理
6.7.2 任务选择策略分析
6.7.3 FIFO调度器分析
6.7.4 Hadoop资源管理优化
6.8 小结
第7章 TaskTracker内部实现剖析
7.2 TaskTracker启动过程分析
7.2.2 重要对象初始化
7.2.3 连接JobTracker
7.3 心跳机制
7.3.2 状态发送
7.3.3 命令执行
7.4 TaskTracker行为分析
7.4.2 提交任务
7.4.3 杀死任务
7.4.4 杀死作业
7.4.5 重新初始化
7.5 作业目录管理
7.6 启动新任务
7.6.2 资源隔离机制
7.7 小结
第8章 Task运行过程分析
8.2 基本数据结构和算法
8.2.2 排序
8.2.3 Reporter
8.3 Map Task内部实现
8.3.2 Collect过程分析
8.3.3 Spill过程分析
8.3.4 Combine过程分析
8.4 Reduce Task内部实现
8.4.2 Shuffle和Merge阶段分析
8.4.3 Sort和Reduce阶段分析
8.5 Map/Reduce Task优化
8.5.2 系统优化
8.6 小结
第四部分 MapReduce高级篇
第9章 Hadoop性能调优
9.2 从管理员角度进行调优
9.2.2 操作系统参数调优
9.2.3 JVM参数调优
9.2.4 Hadoop参数调优
9.3 从用户角度进行调优
9.3.2 作业级别参数调优
9.3.3 任务级别参数调优
9.4 小结
第10章 Hadoop多用户作业调度器
10.2 HOD
10.2.2 HOD作业调度
10.3 Hadoop队列管理机制
10.4 Capacity Scheduler实现
10.4.2 Capacity Scheduler实现
10.4.3 多层队列调度
10.5 Fair Scheduler实现
10.5.2 Fair Scheduler实现
10.5.3 Fair Scheduler与Capacity Scheduler对比
10.6 其他Hadoop调度器介绍
10.7 小结
第11章 Hadoop安全机制
11.1.2 Hadoop对安全方面的需求
11.1.3 Hadoop安全设计基本原则
11.2 基础知识
11.2.2 Kerberos介绍
11.3 Hadoop安全机制实现
11.3.2 HDFS
11.3.3 MapReduce
11.3.4 上层服务
11.4 应用场景总结
11.4.2 作业提交与运行
11.4.3 上层中间件访问Hadoop
11.5 小结
第12章 下一代MapReduce框架
12.2 下一代MapReduce框架概述
12.2.2 资源统一管理平台
12.3 Apache YARN
12.3.2 Apache YARN工作流程
12.3.3 Apache YARN设计细节
12.3.4 MapReduce与YARN结合
12.4 Facebook Corona
12.4.2 Facebook Corona工作流程
12.4.3 YARN与Corona对比
12.5 Apache Mesos
12.5.2 Apache Mesos资源分配
12.5.3 MapReduce与Mesos结合
12.6 小结
附录A 安装Hadoop过程中可能存在的问题及解决方案
附录B Hadoop默认HTTP端口号以及HTTP地址
参考资料
暂无相关搜索结果！
本文档使用
Sou.st
构建
×
分享，让知识传承更久远
×
文章二维码
手机扫一扫，轻松掌上读
×
文档下载
请下载您需要的格式的文档，随时随地，享受汲取知识的乐趣！
PDF
文档
EPUB
文档
MOBI
文档
×
书签列表
×
阅读记录
阅读进度:
0.00%
(
0/0
)
重置阅读进度
我的书签
添加书签
移除书签