其他
滴滴敏捷数据中台实践
By 大数据技术与架构
滴滴数据中台发展
业务发展驱动数据进化滴滴数据中台建设围绕四个方面进行：
业务信息化
信息数据化
数据资产化
资产变现化
中台数据体系建设的核心难点
产品方面：多场景，全链路的复杂需求业务方面多团队，多目标的协作需求
滴滴精益数据管理体系滴滴的数据中台从底向上构建了包括数据基础建设，敏捷数据资产，数据治理，数据交付体系。
数据基础设施+系统工具链：开始对外输出
数据文化 150+次改进复盘，周活1700到5000+
敏捷数据治理 DataRank资产分从40到70
精益数据生产D0级事故从非例行任务从10+降为1
DataGraph智能数据目录20%员工高频使用
价值交付 NPS从19%到60%
滴滴数据系统构成
数据架构：离线部分以Hadoop和Hive为主，实时计算部分Flink，SparkOLAP领域使用了Hbase、Presto和Clickhouse。
智能数据目录
统一的元数据检索能力，
支持Hive、 报表等多种数据实体的统一搜索
基于数据价值或热度的综合排序
业务驱动的数据图谱
众包协作的知识沉淀
精益数据生产
数据基础质量
稳定性建设
数据上下游联动（全链路 SLA）
埋点管理
数据采集
运维/质量监控
90%复盘率
如何定位需要的数据
指标口径管理（数据字典）
元数据（数据地图+OneSearch）
资产价值评估体系（DataRank）
数据开放
数据安全规范
更快更简单的使用数据
精细化建设
分级保障
数据图谱与数据中间层
成本优化
数据价值量化
采集集群总规模约300+
数据源约4500+个
Agent 数量27000个
峰值摄入数据条数2900w/s
日均查询2千万次
平均响应时间<1S
稳定性99.996%
文章不错？点个【在看】吧！ 👇