第13章　大数据

随着云时代的来临，大数据（Big Data）也吸引了越来越多的关注。2012年7月，阿里巴巴数据公司成立并设立了一个全新的岗位：首席数据官（Chief Data Officer,CDO），由此可见数据在未来的价值。这也意味着与“大数据存储、计算和价值提取”相关的技术岗位将会得更加重要。

为了从大数据中提取有价值的信息，首先需要将大数据存储并沉淀下来，除此之外，还需要使用合适的大数据计算框架和大数据处理算法来理解数据的价值。提到大数据，首先想到的就是MapReduce，很多人甚至将大数据与MapReduce画等号。然而，MapReduce并不是大数据的全部。虽然MapReduce解决了海量数据离线分析问题，但是，随着应用对数据的实时性要求越来越高，流式计算系统和实时分析系统得到越来越广泛的应用。

本章首先介绍大数据的概念以及大数据计算平台，接着介绍MapReduce离线处理系统，最后，介绍流式计算系统和实时分析系统。

13.1　大数据的概念

大数据本身产生的背景是什么?主要有几点：一、数据的爆发式的增长，有一个趋势叫新摩尔定律。根据IDC作出的预测，数据一直都在以每年50%的速度增长，也就是说每两年增加一倍，这意味着人类在最近两年产生的数据量相当于之前产生的全部数据量。二、大数据表现为社会化趋势。社交网络兴起，大量的UGC内容（User Generated Content，即用户生成内容）、音频、文本信息、视频、图片等非结构化数据出现了。三、物联网的数据量更大，加上移动互联网能更准确、更快地收集用户信息，比如位置、生活信息等数据。

以往大数据通常用来形容一个公司创造的大量非结构化和半结构化数据，而现在提及“大数据”，通常是指解决问题的一种方法，即通过收集、整理生活中方方面面的数据，并对其进行分析挖掘，进而从中获得有价值信息，最终衍化出一种新的商业模式。简而言之，从各种各样类型的数据，包括非结构化数据、半结构化数据以及结构化数据中，快速获取有价值信息的能力，就是大数据技术。

虽然大数据目前在国内还处于初级阶段，但是商业价值已经显现出来。首先，手中握有数据的公司站在金矿上，基于数据交易即可产生很好的效益；其次，基于数据挖掘会有很多商业模式诞生。比如侧重数据分析，帮企业做内部数据挖掘；或者侧重优化，帮企业更精准找到用户，降低营销成本。未来，数据可能成为最大的交易商品。但数据量大并不能算是大数据，大数据的特征是数据量大、数据种类多、非标准化数据的价值最大化。因此，大数据的价值是通过数据共享、交叉复用后获取最大的数据价值。

大数据的特点可以用4个V来描述：

●Volume，传统的数据仓库技术处理GB到TB级别的数据，大数据技术处理的数据量往往超过PB。数据容量增长的速度大大超过了硬件技术的发展速度，以至于引发了数据存储和处理的危机。

●Variety，数据类型多。原来的数据都可以用二维表结构存储在数据库中，如常用的Excel软件所处理的数据，称为结构化数据。但是现在更多互联网多媒体应用的出现，使诸如图片、声音和视频等非结构化数据占到了很大比重。

●Velocity，数据增长迅速。如果说大数据的特点是海量和非结构化，那也是不全面的。大数据带来的挑战还在于它的实时处理。

●Value，价值密度低。以连续不间断的监控视频为例，可能有用的数据仅仅有一两秒钟。

（1）大数据管理

一提到大数据，大部分人首先想到的就是Hadoop。Hadoop是Google GFS以及MapReduce系统的开源实现，用户可以在不了解分布式底层细节的情况下开发分布式程序。然而，大数据就是Hadoop么？Hadoop只是大数据技术的一部分，它虽然提供了离线处理功能，但无法做到动态和实时的分析。为了解决实时性问题，流计算和实时分析系统应运而生。其中，流计算系统能够处理实时的数据流，实时分析系统主要采用传统的MPP技术（Massively Parallel Processing，大规模并行处理）从海量数据中实时提取有价值的汇总信息。

（2）大数据理解

大数据内部以及数据和数据之间关系的理解涉及数据挖掘、机器学习、多媒体理解等多个前沿领域的技术，例如相似项以及频繁项挖掘，分类与聚类，协同过滤，语音识别与图像处理等。这一块目前做得还不够深入，目前主要从体系结构、分布式处理、NOSQL等思路出发解决性能问题，如何设计合理的算法、规则或者自动进化的系统理解大数据、对大数据去伪存真将会是今后大数据领域主要的挑战。

（3）大数据应用

大数据技术应用在互联网营销将产生直接的商业价值。大数据技术告诉广告商什么是正确的时间，谁是正确的用户，什么是应该发表的正确内容等，这正好切合了广告商的需求。另外，社交网络与移动互联网的兴起将大数据带入新的征程，社交网络产生了海量用户以及实时和完整的数据，移动互联网带来了地理位置以及更多个性化信息。互联网营销将在行为分析的基础上向个性化时代过渡，通过大数据技术深入挖掘每个用户，然后将这些分析后的数据推送给需要的品牌商家。

大数据技术还能应用在搜索引擎、推荐系统等用户类产品以改进用户体验。互联网技术归根结底就是云计算和大数据技术，云计算提供海量数据的存储和计算能力，并最大程度地降低分布式处理的成本，大数据技术进一步从海量数据中抽取数据的价值，从而诞生Google搜索引擎、Amazon商品推荐系统这样的杀手级应用，形成一条大数据采集、处理、反馈的数据处理闭环。