大数据与数据挖掘的相对绝对关系

泄密者爱德华·斯诺登（Edward Snowden）还在寻求容身之所的时候，美国国家安全局（NSA）全方位收集电话和电子邮件记录之事经过他的披露，已经引发了不安和愤怒。

奥巴马当局声称，监听数据带来了安全，然而左翼和右翼都在谴责这种窥探行为是对隐私的侵犯。

数据不是信息，而是有待理解的原材料。但有一件事是确定无疑的：当NSA为了从其海量数据中“挖掘”出信息，耗资数十亿改善新手段时，它正受益于陡然降落的计算机存储和处理价格。

麻省理工学院的研究者约翰·古塔格（John Guttag）和柯林·斯塔尔兹（Collin Stultz）创建了一个计算机模型来分析之心脏病病患丢弃的心电图数据。他们利用数据挖掘和机器学习在海量的数据中筛选，发现心电图中出现三类异常者一 年内死于第二次心脏病发作的机率比未出现者高一至二倍。这种新方法能够识别出更多的，无法通过现有的风险筛查被探查出的高危病人。

数据挖掘这一术语含义广泛，指代一些通常由软件实现的机制，目的是从巨量数据中提取出信息。数据挖掘往往又被称作算法。

威斯康星探索学院主任大卫·克拉考尔（David Krakauer）说，数据量的增长——以及提取信息的能力的提高——也在影响着科学。“计算机的处理能力和存储空间在呈指数增长，成本却在指数级下降。从这个意义上来讲，很多科学研究如今也遵循摩尔定律。”

在 2005年，一块1TB的硬盘价格大约为1,000美元，“但是现在一枚不到100美元的U盘就有那么大的容量。”研究智能演化的克拉考尔说。现下关于大 数据和数据挖掘的讨论“之所以发生是因为我们正处于惊天动地的变革当中，而且我们正以前所未有的方式感知它。”克拉劳尔说。

随着我们通过电话、信用卡、电子商务、互联网和电子邮件留下更多的生活痕迹，大数据不断增长的商业影响也在如下时刻表现出来：

你搜索一条飞往塔斯卡鲁萨的航班，然后便看到网站上出现了塔斯卡鲁萨的宾馆打折信息

你观赏的电影采用了以几十万G数据为基础的计算机图形图像技术

你光顾的商店在对顾客行为进行数据挖掘的基础上获取最大化的利润

用算法预测人们购票需求，航空公司以不可预知的方式调整价格

除了安全和商业，大数据和数据挖掘在科研领域也正在风起云涌。越来越多的设备带着更加精密的传感器，传回愈发难以驾驭的数据流，于是人们需要日益强大的分析能力。在气象学、石油勘探和天文学等领域，数据量的井喷式增长对更高层次的分析和洞察提供了支持，甚至提出了要求。

2005年6月至2007年12月海洋表面洋流示意图。数据源：海面高度数据来自美国航空航天局（NASA）的Topex/Poseidon卫星、Jason-1卫星，以及海形图任务/Jason-2卫星测高仪；重力数据来自NASA/德国航空航天中心的重力恢复及气候实验任务；表面风压数据来自NASA的 QuikScat任务；海平面温度数据来自NASA/日本宇宙航空研究开发机构的先进微波扫描辐射计-地球观测系统；海冰浓度和速度数据来自被动微波辐射计；温度和咸度分布来自船载、系泊式测量仪器，以及国际Argo海洋观测系统。

这幅2005年6月至2007年12月海洋表面洋流的示意图集成了带有数值模型的卫星数据。漩涡和窄洋流在海洋中传送热量和碳。海洋环流和气候评估项目提供了所有深度的洋流，但这里仅仅使用了表层洋流。这些示意图用来测量海洋在全球碳循环中的作用，并监测地球系统的不同部分内部及之间的热量、水和化学交换。

在医学领域，2003年算是大数据涌现过程中的一个里程碑。那一年第一例人类基因组完成了测序。那次突破性的进展之后，数以千计人类、灵长类、老鼠和细菌的 基因组扩充着人们所掌握的数据。每个基因组上有几十亿个“字母”，计算时出现纰漏的危险，催生了生物信息学。这一学科借助软件、硬件以及复杂算法之力，支撑着新的科学类型。

 

图片来源：Andrey Rzhetsky，芝加哥大学

大数据盯着“#bigdata”（意为大数据）。这些是在推特上发布过“bigdata”的用户之间的连接，用户图标的尺寸代表了其粉丝数多寡。蓝线表示一次回复或者提及，绿线表示一个用户是另一个的粉丝。

 

 

 

 

图片来源：Marc Smith

 

头脑里的大数据

人脑是终极的计算机器，也是终极的大数据困境，因为在独立的神经元之间有无数可能的连接。人类连接组项目是一项雄心勃勃地试图绘制出不同脑区之间相互作用的计划。

除了连接组，还有很多充满数据的“组”：

基因组：由DNA编码的，或者由RNA编码的（比如病毒）——全部基因信息

转录组：由一个有机体的DNA产生的全套RNA“读数”

蛋白质组：所有可以用基因表达的蛋白质

代谢组：一个有机体新陈代谢过程中的所有小分子，包括中间产物和最终产物

连接组项目的目标是“从1,200位神经健康的人身上收集先进的神经影像数据，以及认知、行为和人口数据”，圣路易斯市华盛顿大学的连接组项目办事处的信息学主任丹尼尔·马库斯（Daniel Marcus）说。

项目使用三种磁共振造影观察脑的结构、功能和连接。根据马库斯的预期，两年之后数据收集工作完成之时，连接组研究人员将埋首于大约100万G数据。

20名健康人类受试者处于休息状态下接受核磁共振扫描，得到的大脑皮层不同区域间新陈代谢活动的关联关系，并用不同的颜色表现出来。黄色和红色区域在功能上与 右半脑顶叶中的“种子”位置（右上角黄斑）相关。绿色和蓝色区域则与之关联较弱或者根本没有关联。

图片来源：M.F.Glasser and S.M.Smith

 绘制脑区分布图的“分区”是一项关键的任务，这些脑区最早于两到三世纪之前通过对少量大脑染色被识别出来。“我们将拥有1,200个人的数据，”马库斯说，“因此我们可以观察个人之间脑区分布的差别，以及脑区之间是如何关联的。”

为了识别脑区之间的连接，马库斯说，“我们在受试者休息时获取的扫描图中，观察脑中的自发活动在不同区域之间有何关联。”比如，如果区域A和区域B自发地以 每秒18个周期的频率产生脑波，“这就说明它们处于同一网络中。”马库斯说。“我们将利用整个大脑中的这些关联数据创建一个表现出脑中的每一个点如何与其 他每一个点关联的矩阵。”（这些点将比磁共振成像无法“看到”的细胞大得多。）

星系动物园：把天空转包给大众

星系动物园项目打破了大数据的规矩：它没有对数据进行大规模的计算机数据挖掘，而是把图像交给活跃的志愿者，由他们对星系做基础性的分类。该项目2007年 启动于英国牛津，当时天文学家凯文·沙文斯基（Kevin Schawinski）刚刚蹬着眼睛瞧完了斯隆数字巡天计划拍摄的5万张图片。

阿拉巴马大学天文学教授、星系动物园科学团队成员威廉·基尔（William Keel）说，沙文斯基的导师建议他完成95万张图像。“他的眼睛累得快要掉出眼窝了，便去了一家酒馆。他在那里遇到了克里斯·林托特（Chris Lintott）。两人以经典的方式，在一张餐巾的背面画出了星系动物园的网络结构。”

星系是一个经典的大数据问题：一台最先进的望远镜扫描整个天空，可能会看到2000亿个这样的恒星世界。然而，“一系列与宇宙学和星系统计学相关的问题可以 通过让许多人做相当简单的分类工作得以解决。”基尔说，“五分钟的辅导过后，分类便是一项琐碎的工作，直到今日也并不适合以算法实现。”

星系动物园的启动相当成功，用户流量让一台服务器瘫痪了，基尔说。

斯隆巡天的全部95万张图片平均每张被看过60次之后，动物园的管理者们转向了更大规模的巡天数据。科学受益匪浅，基尔说。“我的很多重要成果都来自人们发现的奇怪物体，”包括背光星系。

这是星系动物园志愿者们发现的差不多2000个背光星系之一。它被其后方的另一个星系照亮。来自背后的光令前景星系中的尘埃清晰可辨。星际尘埃在恒星的形成中扮演了关键的角色，但它本身也是由恒星制造的，因此检测其数量和位置对于了解星系的历史至关重要。

星系动物园依赖统计学、众多观察者以及处理、检查数据的逻辑。假如观察某个特定星系的人增加时，而认为它是椭圆星系的人数比例保持不变，这个星系就不必再被观察了。

然而，对一些稀有的物体，基尔说，“你可能需要40至50名观察者。”

大众科学正在发展自己的法则，基尔补充道。志愿者们的工作“已经对一个真实存在的重大问题做出了贡献，是现存的任何软件都无法实现的。鼠标的点击不该被浪费。”

 

这种动物园方法在zooniverse.org 网站上得到了复制和优化。这是一个运行着大约20项目的机构，这些项目的处理对象包括热带气旋、火星表面和船只航行日志上的气象数据。

最终，软件可能会取代志愿者，基尔说。但是计算机和人类之间的界线是可互换的。比如说超新星动物园项目在软件学会了任务之后就关闭了。

我们惊讶地得知志愿者们积累的庞大数据是计算机学习分类的理想材料。“一些星系动物园用户真的很反感这一点。”基尔说，“他们对于自己的点击被用来训练软件表达出明显的怨恨。但是我们说，不要浪费点击。如果某人带来了同样有效的新算法，人们就不必做那些事情了。”

学习的渴望

人们长久以来改进对图像和语音的模式识别的努力已经受益于更多的训练，威斯康星大学麦迪逊分校的克拉考尔说。“它不仅仅是有所改善，更是有了实际的效果。5到10年之前，iPhone上的Siri是个想都不敢想的点子，语音识别一塌糊涂。现在我们拥有了这样一批庞大的数据来训练算法，忽然之间它们就管用了。”

随着数据及通讯价格持续下跌，新的思路和方法应运而生。如果你想了解你家中每一件设备消耗了多少水和能量，麦克阿瑟奖获得者西瓦塔克·帕特尔 （Shwetak Patel）有个解决方案：用无线传感器识别每一台设备的唯一数字签名。帕特尔的智能算法配合外挂传感器，以低廉的成本找到耗电多的电器。位于加利福尼亚 州海沃德市的这个家庭惊讶地得知，录像机消耗了他们家11%的电力。 图片来源：Peter Menzel/ The Human Face of Big Data等到处理能力一次相对较小的改变令结果出现突破性的进展，克拉考尔补充道，大数据的应用可能会经历一次“相变”。

来源：经济人