您的位置：首页 > 生活常识 >

dw什么意思代表啥（数据仓库中的 ods，dw，dm分别是个啥？）

100次浏览发布时间：2024-09-05 09:31:10

先看一下数据中心的整体架构以及数据流向：

DB 是现有的数据来源，可以为mysql、SQLserver、文件日志等，为数据仓库提供数据来源的一般存在于现有的业务系统之中。
ETL的是 Extract-Transform-Load 的缩写，用来描述将数据从来源迁移到目标的几个过程：

Extract，数据抽取：把数据从数据源读出来。
Transform，数据转换：把原始数据转换成期望的格式和维度。
如果用在数据仓库的场景下，Transform也包含数据清洗，清洗掉噪音数据。
Load 数据加载：把处理后的数据加载到目标处，比如数据仓库。
ODS(Operational Data Store) 操作性数据：是作为数据库到数据仓库的一种过渡，ODS的数据结构一般与数据来源保持一致，便于减少ETL的工作复杂性，ODS的数据周期一般比较短；也就是原始数据的保存区域，存储来自各业务系统（消息队列）的原始数据。如：电商网站的访问日志（埋点的时候是以JSON存储），物联网终端设备实时发送的数据等原始数据直接存储在数据仓库的ODS层；ODS的数据最终流入DW。
DW (Data Warehouse)数据仓库，是数据的归宿，这里保持这所有的从ODS到来的数据，并长期保持，而且这些数据不会被修改。
DM(Data Mart) 数据集市：为了特定的应用目的或应用范围，从数据仓库中独立出来的一部分数据，也可称为主题数据，面向应用。