一个传统企业大数据发展的编年史
点击上方
请您点击“与数据同行”以“关注”，关于数据的实践与思考，每周一我在这里等你！
作者：傅一平 博士 就职于浙江移动大数据中心
大数据从来不是平地而起的，今天从个人的视角，分享于你一个传统企业的大数据发展编年史。
1、2004年-起点
内容：拥有基于小机的ORACLE报表和取数系统。
评论：小快灵
2、2005年-经营分析系统1.0
内容：完成第一代数据仓库建设，采用IBM P595，DB2数据库，TOMCAT，海波龙前台，Hyperion Essbase多维工具，IBM Intelligence Minner8.1数据挖掘软件，完成九大主题，成立独立的经营分析组。
评论：开天辟地，技术驱动业务，ORACLE和DB2数据仓库之争。
3、2006年-经营分析系统1.5
内容：扩充数据源，打造集客、渠道等分析专题，构建MetaCenter元数据。
评论：开始进入业务专题探索阶段，但仍是技术驱动业务，孤独的跳舞者。
4、2007年-经营分析系统2.0
内容：完善经营分析门户，打造数据集市，完成营销管理平台1.0建设，构建数据质量管理体系。
评论：数据仓库衍生到一线，数据规模的扩大驱动数据管理类产品的建设 ，但效果乏善可陈，为什么？
5、2008年-新一代经营分析系统1.0
内容：加强一线的支撑，开始地市应用试点，地市集市升级到地市数据分析中心，VGOP（增值业务综合运营平台）启动建设，营销管理开始提全程精确营销，即信令实时营销。
评论：探索省市协同的方式，通过平台贯通拉近与一线的距离，试点虽好但大多无法推广或代价巨大，为什么？ 实时营销是第一个大数据驱动的业务场景。
6、2009年-新一代经营分析系统2.0上线
内容：公司进入3G时代，打造3G、家庭、离网等专题，地市试点进一步深化，营销管理平台开始启动个性化推荐，完成自助取数平台建设。
评论：专题分析苦苦寻觅，乏善可陈，只有自助取数等面向一线的工具平台仍然焕发出生命力，经分的核心竞争力到底是什么？
7、2010年-新一代经营分析系统3.0
内容：经过多年建设应用初具规模，打造数据仓库的应急库，确保容灾能力，数据仓库模型标准化：
评论：DB2挂了二次开始搞应用容灾，数据竖井越来越多，开始进行数据标准化，然后无限循环，为什么？
8、2011年-新一代经营分析系统3.5
内容：公司进入流量经营时代，GPRS等话单大幅增加，处理瓶颈凸显，主库从P595升级到P780，ETL层面开始云化，专题分析向互联网转变，包括互联网内容分析、终端分析、WLAN分析等，启动DPI等大数据的引入工作。
评论：2011年是大数据的采集元年，从这一年开始，开始了艰巨的DPI等大数据引入工作，真正的星星之火。
9、2012年-新一代经营分析系统4.0
内容：首次引入Hadoop对DPI数据进行爬虫及解析处理，构建互联网数据模型，打造营销快点吧（标签库的前身）。
评论：首次认识Hadoop，同时开始考虑用系统化的方式沉淀模型和标签。
10、2013年-新一代经营分析系统4.5
内容：数据量继续大幅增加，完成云化数据交换平台（橘云hadoop）和大数据平台一期（Aster）建设，标签库完成一期建设 。
评论：云化数据交换平台成为数据总线，Aster MPP粉墨登场，标签库从无到有。
11、2014年-新一代经营分析系统5.0
内容：数据量继续爆炸式增长，云化数据交换平台扩容，指标库从无到有，标签库扩展，营销平台接入信令，尝试打造前向的大数据管理平台，探索广告业务。
评论：过渡之年，这一年在不停的对大数据技术进行论证选型，数据管理彻底放弃传统的后向产品，业务上开始启动大数据变现的前期工作。
12、2015年-大数据元年
内容：正式完成企业级大数据平台建设，包括大数据交换平台，大数据处理平台、大数据管理平台及大数据精确营销平台，奠定了整个大数据平台的运营基础，同年大数据专业组织成立，完成公司第一个大数据对外变现合同。
评论：开天辟地，大数据运营的元年。
13、2016年-大数据开放年
内容：大数据平台扩容，架构基本成型，大数据模型自我掌控，大数据产品体系初具规模，对外商务变现获得突破，成立云计算专业组织，专业化进行平台建设和管理。
评论：大数据平台持续优化，对外不断探索商务模式，开放元年。
14、2017年-大数据转型年
内容：对外进行大数据业务转型，对内探索大数据的支撑模式，采取搭台唱戏的模式驱动智慧运营，开始关注人工智能。
评论：寻求大数据价值内外突破。
2004至2017，整整13个春秋，见证了一个平台的发展历史，每一年聊聊几字显然无法表达所有的内容，但还是能看到一个企业数据平台发展的一个脉络，希望于你有所启示。
附：针对前面提到的一些问题的回答
数据规模的扩大驱动数据管理类产品的建设 ，但效果乏善可陈，为什么？
答：数据管理类平台是运营出来的，无论是数据质量平台还是元数据平台，毕其功于一役的项目是无法成功的。
试点虽好但大多无法推广或代价巨大，为什么？
答：因为平台和数据没有标准化，试点应用没法快速移植，所谓的试点变成了应用的竖井，同时企业数据文化不够，团队没有运营能力。
数据竖井越来越多，开始数据标准化，然后无限循环，为什么？
答：因为没有专业的数据组织进行管理，必然需求驱动，牺牲模型规范性，解决方式就是强力组织，建章立制。
经分的核心竞争力是什么？
答：搭台唱戏的能力，成为使能者。
历史足迹
传统BI的认知：
大数据的实践：
数据管理的领悟：
《七幅图读懂企业的数据字典》
数据人员的修养：
运营商大数据：
我的读书笔记：
▼
与数据同行
ysjtx_fyp
长按二维码识别，关注此号！