00 / INTRO交互式数据工程教材

从 SQL 开始,
看懂数据链路。

SQL 是加工工具,不是终点。通过交互实验,看懂一条数据如何经过建模、加工与调度,最后变成可信指标。

一条数据的加工链路source → ODS → DWD → metric
INTERACTIVE DATA FLOW · EXPERIMENT

一行数据如何经过加工,变成一个指标

一条订单的加工实验

先看业务库里的 3 行订单;点击播放,观察它们如何被加工。

  1. 01Sourceorders · 业务库当前
  2. 02ODSods_order · 原样落表等待
  3. 03DWDdwd_order · SQL 过滤等待
  4. 04MetricGMV · SQL 聚合等待
01
Sourceorders
当前
业务库 orders 的原始订单记录
order_iduser_idamountstatus
10001U01199PAID
10002U02399PAID
10003U0159REFUND
02
ODSods_order
等待
ods_order

保留来源字段和上下文

—rows
raw landing
03
DWDdwd_order
等待
WHERE status = 'PAID'
DWD 订单过滤结果
order_idamountstatus
10001199PAID
10002399PAID
1000359REFUND
04
MetricGMV
等待
SQL
SELECT SUM(amount)
FROM dwd_order;
GMV¥—

等待 dwd_order

3rows—valid rowsSUMamount—GMV
START HERE

从哪里开始?

先选一条更接近你现在位置的路径,再回到课程本身。

  1. 第一次学数据仓库从数据如何进入仓库、经过加工,再变成指标开始。从基础开始
  2. 已经会 SQL,想系统理解数仓继续学习建模、指标、调度与数据质量。进入进阶路线
  3. 已经在做数据工程直接看血缘、质量、性能与生产实践。看生产实践
01 / FOLLOW THE ROW

一行数据发生了什么?

跟着一笔订单,看业务数据如何逐层加工成可使用的指标。

  1. 01 / Source
    业务库 / orders

    先保存正在发生的业务事实。

    3 rows
  2. 02 / ODS
    原样接入 / ods_order

    让来源数据有一个可回溯的落点。

    3 rows
  3. 03 / DWD
    过滤与清洗 / dwd_order

    WHERE status = 'PAID',只留下有效订单。

    2 valid rows
  4. 04 / Metric
    指标 / GMV

    SUM(amount) 把明细聚合成可使用的数字。

    ¥598
02 / METHOD

光看文档记不住,直接看数据怎么跑。

把抽象概念放进真实数据流,看清表结构、依赖链路与工程取舍。

01

看链路

把表结构、依赖和分层画成拓扑图,一眼看清上下游,不用死记概念。

table / node / flow
02

动手改

点击、播放、调整参数,亲眼看同一行数据在加工过程中如何变化。

click / play / inspect
03

懂取舍

不只教定义,更解释生产系统为什么这么设计,面对变更和故障时怎么权衡。

trade-off / boundary
03 / COURSE MAP

沿着数据继续走。

从数据仓库基础开始,走过建模、SQL 加工、调度、质量、血缘、治理与湖仓。

64 节路线64 个交互实验无需登录
进入学习空间

不确定从哪里开始? 按知识关系浏览 Roadmap

  1. 01认识数据仓库为什么有业务系统,还需要数据仓库?可学习
  2. 02数据建模业务过程:到底要记录哪件事?可学习
  3. 03指标体系同一个“存款余额”,为什么会有不同答案?可学习
  4. 04SQL 与数据加工口径已经说清楚,为什么还不能直接算?可学习
  5. 05调度系统今天凌晨跑的,为什么是昨天的数据?可学习
  6. 06数据质量任务成功了,数据就可信了吗?可学习
  7. 07数据血缘这份数据到底从哪里来?可学习
  8. 08数据治理搜到三张“存款余额”,我到底该用哪张?可学习
  9. 09湖仓为什么所有数据先进湖,却只有一部分进入仓?可学习
  10. 10数据服务数据做好了,怎么交给别人用?可学习
  11. 11性能与工程实践任务变慢了,我们先看哪里?可学习
  12. 12跨系统分行经营分析数据产品跨系统分行经营分析数据产品可学习
  13. 13生产实践案例上线当天明明成功了,为什么第二天才失败?可学习
  14. 14依赖链重做为什么数仓任务成功了,数据仍然是错的?可学习

真正理解数据仓库,不是记住每个缩写,而是能回答:这份数据从哪里来,为什么要这样加工?