搜书网 本次搜索耗时 0.008 秒,为您找到 77 个相关结果.
  • 12.9.2 HBase编程

    12.9.2 HBase编程 12.9.2 HBase编程 在12.8节中,我们已经对常用的HBase API进行了简单的介绍。下面我们给出一个简单的例子,希望大家通过学习这个例子能对HBase的使用方法及特点有一个更深入的认识。示例代码如代码清单12-2所示。 代码清单12-2 HBase Java API简单用例 1 package cn....
  • 19.5.3 Hadoop和HBase的实现

    19.5.3 Hadoop和HBase的实现 19.5.3 Hadoop和HBase的实现 前面介绍了Facebook中存储架构的设计需求和它为什么采用Hadoop和HBase来实现存储架构。这部分我们将为大家介绍Facebook如何实现对Hadoop和HBase的应用及进行哪些优化。 1.实时HDFS HDFS作为Hadoop的分布式文件存储系...
  • 12.3.5 ZooKeeper

    12.3.5 ZooKeeper 12.3.5 ZooKeeper ZooKeeper存储的是HBase中ROOT表和META表的位置。此外,ZooKeeper还负责监控各个机器的状态(每台机器到ZooKeeper中注册一个实例)。当某台机器发生故障的时候,ZooKeeper会第一时间感知到,并通知HBase Master进行相应的处理。同时,当HB...
  • 1.2 分布式产品Hadoop、ZooKeeper、HBase概述

    1.2 分布式产品Hadoop、ZooKeeper、HBase概述 1.Hadoop 2.ZooKeeper 3.HBase 1.2 分布式产品Hadoop、ZooKeeper、HBase概述 1.Hadoop 说到云计算技术和产品,不能不提到Google这家企业。曾经,微软是IT行业的象征,号称只招最聪明的人。十年后,微软逐渐疲软了下来,...
  • 12.10.2 学生表

    12.10.2 学生表 12.10.2 学生表 这里我们以学习数据库过程中常用的一个学生表为例来讲解模式设计。众所周知,在关系型数据库(RDBMS)中学生表的表结构如表12-15~表12-17所示。 那么在HBase中,数据存储的模式将如表12-18和表12-19所示。 从上面的5个表中可以看出,...
  • 12.3.3 HBase Master服务器

    12.3.3 HBase Master服务器 12.3.3 HBase Master服务器 每台HRegion服务器都会和HMaster服务器通信,HMaster的主要任务就是告诉每个HRegion服务器它要维护哪些HRegion。 当一台新的HRegion服务器登录到HMaster服务器时,HMaster会告诉它先等待分配数据。而当一台HRegi...
  • 1.2 Hadoop项目及其结构

    1.2 Hadoop项目及其结构 1.2 Hadoop项目及其结构 现在Hadoop已经发展成为包含很多项目的集合。虽然其核心内容是MapReduce和Hadoop分布式文件系统,但与Hadoop相关的Common、Avro、Chukwa、Hive、HBase等项目也是不可或缺的。它们提供了互补性服务或在核心层上提供了更高层的服务。图1-1是Hado...
  • 12.10.3 事件表

    12.10.3 事件表 12.10.3 事件表 首先我们给出时间表在RDBMS中的表结构,如表12-20所示。 上述事件表存储了所有用户所发生的事件信息,包括事件名称和事件发生的时间。HBase一般针对某一特殊的应用存储数据,因此我们需要首先确定用户的需求。假如用户的需求描述如下:查询某一用户最近发生的10个事件。那么,RDBMS的SQL...
  • 19.2 Hadoop在eBay的应用

    19.2 Hadoop在eBay的应用 19.2 Hadoop在eBay的应用 eBay是全球知名的个人和企业销售商品和提供服务的在线交易平台,是互联网上最受欢迎的购物网站之一。在eBay上存储着上亿种商品的信息,而且每天有数百万种的新商品增加,因此需要用云系统来存储和处理PB级别的数据,而Hadoop是个很好的选择。 Hadoop是建立在商业硬件...
  • 3.3.5 Partitioner接口的设计与实现

    3.3.5 Partitioner接口的设计与实现 3.3.5 Partitioner接口的设计与实现 Partitioner的作用是对Mapper产生的中间结果进行分片,以便将同一分组的数据交给同一个Reducer处理,它直接影响Reduce阶段的负载均衡。旧版API中Partitioner的类图如图3-20所示。它继承了JobConfigurab...