搜书网 本次搜索耗时 0.011 秒,为您找到 457 个相关结果.
  • 读者对象

    读者对象 读者对象 (1)Hadoop二次开发人员 Hadoop由于在扩展性、容错性和稳定性等方面的诸多优点,已被越来越多的公司采用。而为了减少开发成本,大部分公司在Hadoop基础上进行了二次开发,以打造属于公司内部的Hadoop平台。对于Hadoop二次开发人员来说,深入而又全面地了解Hadoop的设计原理与实现细节是修改Hadoop内核的前提...
  • 18.1.3 Hadoop Studio的使用举例

    18.1.3 Hadoop Studio的使用举例 18.1.3 Hadoop Studio的使用举例 下面以本地MapReduce任务的开发、调试和部署及远程部署为例,介绍Hadoop Studio的使用情况。 1.本地开发、调试和部署 (1)本地的开发和调试 Hadoop Studio的任务开发工具允许用户开发并调试MapReduce任务。...
  • 3.4 Hadoop流

    3.4 Hadoop流 3.4.1 Hadoop流的工作原理 3.4 Hadoop流 Hadoop流提供了一个API,允许用户使用任何脚本语言写Map函数或Reduce函数。Hadoop流的关键是,它使用UNIX标准流作为程序与Hadoop之间的接口。因此,任何程序只要可以从标准输入流中读取数据并且可以写入数据到标准输出流,那么就可以通过Hadoo...
  • 1.8 本章小结

    1.8 本章小结 1.8 本章小结 本章首先介绍了Hadoop分布式计算平台:它是由Apache软件基金会开发的一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS)和MapReduce(Google MapReduce的开源实现)为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。由于Hadoop拥有可计量、成本低、高效、可...
  • 18.3.2 Hadoop Streaming的使用举例

    18.3.2 Hadoop Streaming的使用举例 !/usr/bin/php !/usr/bin/php 18.3.2 Hadoop Streaming的使用举例 Hadoop Streaming插件是Hadoop安装包当中的一个JAR文件,具体位置在……\Hadoop-1.0.1\contrib\streaming目录下,所以Hadoo...
  • 3.4.2 Hadoop流的命令

    3.4.2 Hadoop流的命令 3.4.2 Hadoop流的命令 Hadoop流提供自己的流命令选项及一个通用的命令选项,用于设置Hadoop流任务。首先介绍一下流命令。 1.Hadoop流命令选项 Hadoop流命令具体内容如表3-1所示。 表3-1所示的Hadoop流命令中,必选的4个很好理解,分别用于指定输入/输出文件的位置及...
  • 第9章 Hadoop性能调优

    第9章 Hadoop性能调优 9.1 概述 第9章 Hadoop性能调优 在前几章中,我们深入介绍了Hadoop MapReduce内部实现原理,包括JobTracker、TaskTracker、Task等组件的实现细节。基于对这些组件的深入理解,用户可以很容易通过调整一些关键参数使作业运行效率达到最优。本章将分别从Hadoop管理员和用户角度介绍...
  • 第19章 企业应用实例

    第19章 企业应用实例 第19章 企业应用实例 本章内容 Hadoop在Yahoo!的应用 Hadoop在eBay的应用 Hadoop在百度的应用 即刻搜索中的Hadoop Facebook中的Hadoop和HBase 本章小结 本章参考资料 当今世界,随着企业的数据量迅速增长,存储和处理大规模数据已成为人们的迫切需求。Hadoop作...
  • 第2章 Hadoop的安装与配置

    第2章 Hadoop的安装与配置 第2章 Hadoop的安装与配置 本章内容 在Linux上安装与配置Hadoop 在Mac OSX上安装与配置Hadoop 在Windows上安装与配置Hadoop 安装和配置Hadoop集群 日志分析及几个小技巧 本章小结 Hadoop的安装非常简单,大家可以在官网上下载到最新的几个版本,截至本书截稿...
  • 11.1.3 Hadoop安全设计基本原则

    11.1.3 Hadoop安全设计基本原则 11.1.3 Hadoop安全设计基本原则 (1)作为一种可选方案 考虑到引入Hadoop安全机制会给运维人员带来一定的麻烦,且并不是所有Hadoop集群都需要安全机制,因此,Hadoop中的安全机制应是可配置的,默认情况下与现有方案(简单基于操作系统的认证机制)保持一致。 (2)无须显式输入密码 为...