w

wnwk

V1

2022/11/25阅读:35主题:默认主题

数据仓库入门

数据仓库

ods(operation data store) 层数据直接来自原始数据不进行修改,就是为了保持和原始数据一致,一般通过增加字段的方式来标注,比如增加 时间 来源等冗余字段。对于增量的修改(新增或更新的原始数据),新增的直接插入,修改的数据一般采用两种方式处理,一种是直接把修改的记录追加到ods层,这种做法导致冗余的数据增多,一种就是直接覆盖原有的ods 数据

dwd (data warehouse detail) 对ods 层进行清洗和维度退化,比如把一些维度表的信息直接添加到主表中

dws (data warehouse service) 按照主题构建大宽表

ads (application data service) 根据dws层的数据进行计算,计算的结果一般会被导出到业务数据库

IT杂谈公众号
IT杂谈公众号

分类:

后端

标签:

后端

作者介绍

w
wnwk
V1