第1章
大数据概述

1.1　从AlphaGo说起

2016年3月9日，发生了一件轰动全球的故事——Google的围棋计算机AlphaGo与李世石之间的世纪大战开始了！最终结果出乎绝大多数人的预料，AlphaGo以4:1的压倒性优势获得胜利。

计算机之所以能战胜人类围棋选手，是因为机器思考的方式与人类的不同，它不是靠逻辑推理，而是靠大数据和智能算法。

在数据方面，Google使用了数十万局围棋高手之间对弈的数据来训练AlphaGo。算法方面有两个关键技术，一个是将棋盘上的状态变成一个获胜概率模型，另一个是启发式搜索算法（保证搜索限制在非常有限的范围内）。

近年来，各种媒体（包括微信这样的自媒体）热衷于报道类似AlphaGo的大数据方面的消息，大数据技术和大数据应用引起了大众的普遍关注。由于政府的积极倡导、实力公司的大量投入和大众的热捧，针对大数据应用的投资大幅度增加。大量资金的涌入，使得大数据专业队伍迅速扩大，业已形成全世界范围的、形形色色的大数据技术生态圈。圈中的人们乐此不疲地分享着自己的最新技术创造和发明，已经越来越忽视先前奉为圭臬的技术专利保护。在互联网上经常可以看到一些非常精巧的设计被公布出来，原创者只要求使用者注明出处便分文不取，有时甚至只需点赞即可。在这样宽松的环境中，各种各样的大数据新技术自然如雨后春笋般地层出不穷，于是幸福的烦恼不期而至——初涉者感到无所适从。本书尝试对时下常见的大数据技术和产品工具进行较为全面的梳理和点评，希望能够为工程管理者、大数据技术初涉者提供帮助。