Data Warehouse(数据仓库)
承接多来源数据并组织成分析数据的系统或数据空间,供查询、汇总、指标和报表等分析工作使用。
把前面走过的业务场景翻译成行业语言,知道每个词在回答哪一种工程问题。
承接多来源数据并组织成分析数据的系统或数据空间,供查询、汇总、指标和报表等分析工作使用。
前面已经看到:核心系统和信贷系统保存业务事实,数据被抽取并整理到数据仓库,最后由报表查询存贷比。现在给这条链路贴术语时,先问每个词描述的是系统负载、数据处理方式,还是分析数据的承载位置。
OLTP 和 OLAP 更接近“系统在承受什么样的工作”;ETL 和 ELT 描述“数据怎样被抽取、加工和装载”;Data Warehouse 描述“整合后的分析数据放在哪里”。它们可以同时出现在一条链路中,但关注点不同。
术语卡按三个问题分组,避免把不同维度的词排成一张并列清单。再选择现场场景,检查自己的判断。
它们描述同一类问题的不同做法。
关注一笔业务能否快速、准确地写入并保持事务状态。
Online Transaction Processing关注跨表查询、历史对比、分组汇总和趋势分析。
Online Analytical Processing它们描述同一类问题的不同做法。
先从来源抽取数据,在装载到目标位置前完成主要转换。
Extract, Transform, Load先把数据装载到分析平台,再利用平台能力完成转换。
Extract, Load, Transform它描述一个位置或职责。
承接多来源数据,保存整理后的分析数据和可复用结果。
Data Warehouse选择一句工程现场的话,查看它为什么归到这个类别。
转账需要业务系统及时写入账户变化,并保证这笔事务的状态一致。它关注单笔业务的正确处理。
OLTP杭州分行存贷比的链路里,核心系统和信贷系统承担各自的业务交易负载,通常更偏 OLTP;抽取两边数据并进行整理时,采用 ETL 还是 ELT 是加工顺序的选择;整理后的数据进入 Data Warehouse,经营人员查询 90 ÷ 120 = 75% 时,承受的是 OLAP 分析负载。
这样看,术语是一组不同角度的工程标签。知道它解决哪一个问题,比把五个缩写背成同一类名词更有用。