首页 > 学术团体 > 学会动态 > 学会成果 > 正文

大数据时代的思维方式

发布日期:2014-01-28

2014114日,中国社科院世界经济与政治研究所副所长何帆做客2014年第2期鸿儒论道,对大数据能干什么、不能干什么以及如何应对大数据导致的互联风险等问题,与听众分享了他对大数据思维方式的理解。

处理大数据的方式本质是统计学的方法,因此大数据的思维方式是统计思维。统计思维与人的直觉思维相矛盾,需要拐好几个弯,因此事件之间的关联不容易被迅速发现。需要注意的是,大数据统计出来的结果,只是事件之间的相关性,而不是因果关系——因果关系一定要从理论中来。因此,何帆认为,大数据时代的思维方式之一,就是不在寻找事件之间的线性因果关系,而只是去寻找非线性的相关关系。

在大数据的统计结果下,每个人的情况都成为了统计分布中的一个点,人的个性全无,因为它可以通过总样本的分布规律而被计算得清清楚楚。在商业领域的运用中,这意味着价格歧视能够最大化,因为商家掌握了单个人的私人信息。这样的情况下,即使人和人之间对其他人对商品认知属于common knowledge,也无法改变商家的定价。据此,何帆认为,当你觉得享受到了“超值”服务时,很可能你的最后一分钱已经被榨干了。

由于大数据的存在,技术派容易变成数据分析师的下手。在现实生活中,微软公司、FacebookGoogle等电子科技大公司都有首席经济学家这一职位,这些经济学家虽然不懂计算机,但是他们可以设置巧妙的机制,以观察和判断大数据的内涵。何帆认为,大数据带来的全局观的能力,可以打破专家的信息优势。

以上是大数据能干什么。那么,大数据不能做什么呢?何帆认为,大数据时代最大的缺陷就是,人们的个人隐私越来越少了,同时,数据资本家的政治影响力越来越大,这些数据资本家正通过影响政策制定的过程,将互联网或大数据做成一个个封闭的世界,以获取垄断力量——苹果就是一个明显的例子。

除了位于样本分布末端的、统计学很难处理的情况,黑天鹅事件也是大数据无法处理的。真实的世界是非常复杂的,事件与事件之间的联系,有时候会发生质变。就像堆沙堆一样,到一定程度,最后那一粒沙子会让整个沙堆崩塌——那一粒沙子改变了每一粒沙子与其它所有沙子之间的联系。有些看上去非常不起眼的事件,在大多数情况下,它只影响非常小范围的事件,但如果它位于“最后一粒沙子”的位置,这件不起眼的事件可以改变系统中所有事件与其它事件的关系。何帆指出,大数据是永远无法预测这种情况的。

幸运的是,事件的运行逻辑是一样的,即重大损失的黑天鹅事件,它的原理和逻辑与小事故的原理和逻辑是一样的。因此,何帆指出,事故零容忍是一种错误的思维方式:虽然大数据时代并不能消除黑天鹅事件,但是它可以通过小事故的大数据发现问题发生的相关性,甚至继而找到事件发生的内在逻辑。

在论证了大数据能干什么、不能干什么之后,何帆提出了两个非常有意义的名词:慢变量,快变量。快变量是高频数据,数据很多,但是它其实只能指出肤浅的逻辑和短期走势。重要的是慢变量,它是解释事件内在逻辑的关键,但它的缺点是它的数据很少,与真实逻辑表面上的直接联系非常遥远。

虽然大数据带来的好处多多,但因为它将越来越多的事物和事件联系起来,因此当这种互联非常广和深之后,世界将会面临“牵一发而动全身”的系统性风险。何帆举了赤壁之战的例子。曹操天才地将所有的船互联起来,以抵御每一只船在大海中容易颠簸的缺点,但是它的风险也是明显的,只要一只船发生火灾,那么所有的船都会起火。据此,何帆指出,在建立互联的时候,要事先做好隔离对策。

本次活动由傅蔚冈主持,八十多位业界人士参加了此次研讨会。“鸿儒论道”是由刘鸿儒金融教育基金会与上海金融与法律研究院联合发起。论坛关注中国金融与宏观经济中的各种问题,致力于为学者、监管者和业界专家搭建跨界交流的平台,为中国经济和金融提供专业意见。