CHAPTER 5 大数据与技术变革

告别小数据时代

我们依托某一个独立的数据点产生的直觉来分析、判断问题，就是很典型的“小数据时代”的技术做法。但是，这种靠某一个点产生的直觉和数据判断，只能够解决日常问题，面对复杂的信息流时，它往往会使我们在归类和决策时误入歧途，从而产生一系列的错误—— 某个信息“点”可以由点及面，对普遍规律做出模糊预测吗？

个案是否具有代表性和广泛性？

今天发生的，明天是否还会发生？

如果缺乏对于连续数据和多领域数据的宏观统计，以及对相关技术的研发和使用，人们就可能会被最新和最近的“数据点”搞得眼花缭乱，而失去了对于大局的整体把握。

大数据技术与小数据技术恰恰相反，它更多是一种宏观的技术思维，是让我们从“盘子里”跳出来，以更宽阔的视野寻找答案的动力，是帮助我们从各种类型的数据中综合而且快速获得有价值信息的能力。

就像操作系统一样。如果说小数据是安卓（只能用于手机），大数据就是XP。它承载更多，速度更快，分析更准，容量更多元，且能引发一场技术性的变革。

在技术准备上，与小数据的单一相比，大数据也更为广泛，几乎穷尽现今的一切互联网技术，包括大规模并行处理（MPP）数据库，数据挖掘电网，分布式文件系统，分布式数据库，云计算平台，互联网和可扩展的存储系统等。

拿我们的生活来说，假如你使用大数据技术来管理自己的日常生活，那么就不能只靠一个个简单的没有关联的Excel文档进行统计，而应该使它们互动起来，建立一个综合数据库，分类分析和总结，进而才能改进我们的“生活管理”。

消费数据：

在生活中我们对消费的统计是很重要的一件事，我相信几乎人人都有一本家庭账目。但对消费数据怎么统计和分析，使用什么样的工具和方法，最后的结果是大不相同的，甚至会出现截然相反、冰火两重天的对比。

像小数据的统计方法，无非是罗列式的，1月花了多少，2月花了多少，挨月记下来，年底一汇总才发现：呀，这一年我竟然花了7万元在没必要的事项上，超过了自己的计划，怎么办？只能接受现实。但用这种方法，第二年往往还是这样，解决不了问题。

如果换一种思维，我们可以给自己引入大数据的统计技术。比如根据消费计划，分别列出不同的表格，重新记账、分类和分析：哪些钱是该花的？哪些是不该花的？哪些钱的消费属于一时冲动？哪些属于我们被商家忽悠的？

重要的不是统计，而是寻找原因。我们革新思维，重新利用技术。技术并没有划时代的突进，只是使用的功能变了。因此，我们就能够从中找出自己在消费时乱花钱的诱因，再视具体的情况做出改变，并且要每周统计、每周分析，实行消费支出预算制，才能达到理性消费的目标。

时间数据：

大数据在时间管理上也有它高效的应用。怎样将你有限的时间和精力进行合理的分配？如何让自己拥有最高效率的时间应用？小数据思维是确定工作计划然后按计划去做就可以了，严格地执行计划表，是小数据时代的时间管理原则。但大数据时代则不同，你首先需要确定目标，然后将你要做的事情，根据重要程度分清顺序，再罗列计划和执行方案。在时间的监督过程中，你还需要随时调整不同事项的紧急程度，灵活地变革计划，以让自己的时间达到最高效的使用。

工作数据：

在小数据时代，工作数据是一本流水账，你看到的都是枯燥的记录。大数据则让它变成了一座工作数据的储藏宝库。而且，这不仅仅是一个通过数据进行工作记录的过程，更是我们不断总结和认识自己的成长历程。

大数据不会为你提供最终答案，它记录的一切都只是为了让你参考——你能方便地分析过去，总结现在，收获经验，以便获得更好的工作方法以及工作的方向。

我的一位朋友研究数据技术的各类应用已有十几年的时间，他现在最大的感受就是：“技术的变革虽已开始，但许多人还没有认识到，自己应该尽快忘记小数据的技术思维，马上投入大数据的技术世界，才能抓住未来。这表明技术的重组其实是在构建一个更高的平台，它需要我们思维的进步，然后才能心安理得地享受数据技术的新功能。比如，十年前我们搞街头调查的时候，只需要一次抽样调查就可以了，这是小数据；但是现在，却需要在全球几十个国家的上百座城市同时进行一次调查，然后汇总数据进行实时分析，并迅速得出结论，这就是大数据。很显然，我不确定从业者都已紧跟潮流。”

现在，我们建立“大数据技术”的动力有哪些？

第一个动力是，我们必须明确：“我们是否真的需要大量的数据？”

这是一个“大数据到底为何存在”的问题。假如你不能先解决这个问题，你就会盲目地为了拥有大数据而去变革技术，付出无效的代价。有的人对大数据满怀期待，希望能够发现过去没有认识到的东西，收获惊喜的结果，最后却发现“这些东西我们根本用不上”或者“这不过是已有的事实”而已。

就像有的公司，为了系统开发投入了几千万元，信誓旦旦要迈入大数据的门槛，告别小数据时代，最终得出的不过是证明了资深员工的“经验”的结论，这就太让人难以接受了。只有“需求”才是最大的动力，这是技术进步的主要推动力。如果你没有需求，那么小数据技术也挺好。就像你使用手机如果只是为了接听电话和发一发短信，从来不会上网和视频通话，为何还要花很多钱购买苹果手机呢？

第二个动力与维护数据的需求有关：由谁来维护大量的数据，才能保障数据的质量呢？

换句话说，我们的技术（技术人员）能否保证收集和整理到高质量的数据？

比如，一家公司的部门主管每个月都会收到某客户的宣传资料，但收件人的头衔并不是“部门总监”，而是他在前一段时间兼任公司市场部经理时的头衔。虽然这不是什么大问题，他也仍然会按时收到这些资料，但他还是提出，希望对方改变一下头衔。

客户经理当场道歉，并表示回去会马上进行修改。但到次月，这位主管再次收到资料时，发现收件人的头衔没有任何更改，仍然写着几个大大的字：市场部经理。他非常失望，然后决定中止与该客户的合作。

问题出在哪里？仅仅是对方没有重视这一个细节吗？当然不是，归根结底，该客户公司缺乏维护顾客数据库的意识，在收集和整理数据时，工作充满了疏忽，无法保持高质量数据的实时性。小数据时代不必在乎这些，但在大数据时代，“企业外部”的数据是否最新、是否精确，都是一件极为重要的事情。

如果你的人员收集而来的数据出处不明，或存在严重错误，那么数据将毫无意义；如果这些数据不实时维护与更新，不是最新的数据，也不会产生任何价值。

第三个动力是我们的工作激情与事业规划。

具体地讲，就是企业的战略规划与员工的事业目标是否完美地结合了起来。如果没有，那么员工的工作激情就会成为问题。当你希望他们与公司一起迈进大数据时代、布置大数据技术时，他们的思维仍然是“小数据时代”的，在相当长的一段时间内，使用的也必然还是小数据技术。

这也告诉我们，在大数据的技术革新中，人的因素永远是最重要的。企业的方向是努力培养我们的数据科学家，同时提升现有人员的分析数据的能力，提高他们的激情，增加他们分析和利用数据的意识。假如我们的每一名员工都十分擅长“数据”，也对数据有极高的敏感度，经常可以自主地通过数据考虑事情并进行判断，你的公司一定能够强大起来，也必然会强大起来。

重要的是，数据为工作带来成效，也能由此让员工的工作动力更加充足。

这三点对于大数据的技术应用非常重要。中国人对于大数据已经期待很久了，我们也开始在各类新闻节目和财经频道中看到它的影子，但要想从小数据的技术习惯中彻底摆脱出来，让大数据真正成长壮大，还需要很多的努力。