博客

[b]

我们在项目实施中一直谨记一个原则：大数据和BI有很多对立：比如：[/b]

[b]1.全量思维。[/b]不用抽样建模，再回到DW实施。大数据利用全量数据直接跑，先在大宽表中找到以前靠业务经营选择的字段，即依靠机器学习建规则，再在全局数据中实施。大数据在这个层面首先是基础设施，能够完成以前不能完成的任务。例如某保险公司，SAS只能跑几十万用户的一种分类模型，现在可以把个险3600万用户跑个全量，得到上千个分类，发现业务经营给不了事实。这是大数据的IT属性，Hadoop分布式计算带来的颠覆创新。

[b]2.个性化。[/b]BI面向决策，面向人的干预。输出形式更多的dashboard.report。因此对事实描述更多是基于群体共性，而不是个体刻画。例如回到保险公司的例子，当我们用大数据计算出每一个个体客户的流失风险概率，做个性化客户视图。而BI系统需要汇总成宏观统计数据。前者帮助我们深刻的了解每一个用户，适合于精准推荐类营销类问题，回答How much how strong的程度类模糊问题；后者帮助决策者掌握宏观统计趋势，适合经营运营指标支撑类问题，准确回答yes or no的统计意义概率问题。

大数据对个体刻画还是BI的群体描述，引发了下面第三种差异。推荐了解：Yonghong敏捷bi

[b]3.Insight or Automation群体共性的描述获得的Yes or no的问题[/b]。对于复杂经济现象越来越难回答，维度指标越来越多。例如上面客户流失风险的例子，被BI系统做成统计指标后汇报高层做决策，高层形成客户挽留计划一类的执行策略往往风险很大，包括质疑数据准确性，执行效率反馈周期等等，其结果就是面对这样的宏观不决策不作为。因此，某种意义上，BI形成的Insight，因为没有形成闭环干预，而没有发挥作用。

大数据强调Automation淘宝更强调为每一笔网购做自动推荐的生产系统。上面的保险客户流失例子，大数据刻画客户后提供给一线销售，数据服务下沉而不是汇总上报，每一个保险员做微决策微行动，风险小反馈及时。大数据更强调提供自动化工具，而不是统计报告。

[b]4.反馈和实验方法。[/b]因为引入了Automation，和记录行为数据，效果更直接及时。例如互联网最多用的AB testing.Hulu每日上线的测试有200多个，可见测试方法在数据分析中的重要程度。

有机会展开谈谈BI和大数据，在这个概念泛滥的大数据热炒时代，各种公司一夜转型大数据，如何辨别小数据和大数据，不仅是技术基础，更重要的是思维方式。