千家信息网

大数据中缓慢变化维常见解决方案是什么

发表于:2026-11-01 作者:千家信息网编辑
千家信息网最后更新 2026年11月01日,这篇文章给大家介绍大数据中缓慢变化维常见解决方案是什么,内容非常详细,感兴趣的小伙伴们可以参考借鉴,希望对大家能有所帮助。一.定义缓慢变化维:数据仓库的重要特点之一是反映历史变化,所以如何处理维度的变
千家信息网最后更新 2026年11月01日大数据中缓慢变化维常见解决方案是什么

这篇文章给大家介绍大数据中缓慢变化维常见解决方案是什么,内容非常详细,感兴趣的小伙伴们可以参考借鉴,希望对大家能有所帮助。

一.定义

缓慢变化维:

数据仓库的重要特点之一是反映历史变化,所以如何处理维度的变化是维度设计的重要工作之一。缓慢变化维的提出是因为在现实世界中,维度的属性并不是静态的,它会随着时间的流逝发生缓慢的变化,与数据增长较为快速的事实表相比,维度变化相对缓慢。

在一些情况下,保留历史数据没有什么分析价值,而在另一些情况下,保留历史数据是非常重要的,在kimball理论中,有三种处理缓慢变化维的方式

二.解决方案

1.重写纬度值

采用此种方式,不保留历史数据,始终取最新数据

###变化前商品表和订单表

商品key

商品id

商品标题

所属类目

其他维度属性

1000

item1

titile1

类目1

...

订单key

日期key

商品key

交易金额

其他事实

9000

2020-04-10

1000

131.00

...

###变化后商品表和订单表

商品key

商品id

商品标题

所属类目

其他维度属性

1000

item1

titile1

类目2

...

订单key

日期key

商品key

交易金额

其他事实

9000

2020-04-10

1000

131.00

...

9001

2020-04-13

1000

52.00

...

2.插入新的维度行

插人新的维度行。采用此种方式,保留历史数据,

维度值变化前的事实和过去的维度值关联,维度值变化后的事实和当前的维度值关联

###变化后商品表和订单表

商品key

商品id

商品标题

所属类目

其他维度属性

1000

item1

titile1

类目1

...

1001

item1

titile1

类目2

...

订单key

日期key

商品key

交易金额

其他事实

9000

2020-04-10

1000

131.00

...

9001

2020-04-13

1001

52.00

...

3.添加维度列

采用第二种处理方式不能将变化前后记录的事实归一为变化前的维度或者归一为变化后的维度。比如根据业务需求,需要将4月份的交易金额全部统计到类目2上,采用第二种处理方式无法实现。针对此问题,采用第三种处理方式,保留历史数据,可以使用任何一个属性列

###变化前商品表和订单表

商品key

商品id

商品标题

所属新类目

所属旧类目

其他维度属性

1000

item1

titile1

类目1

类目1

...

订单key

日期key

商品key

交易金额

其他事实

9000

2020-04-10

1000

131.00

...

###变化后商品表和订单表

商品key

商品id

商品标题

所属新类目

所属旧类目

其他维度属性

1000

item1

titile1

类目2

类目1

...

订单key

日期key

商品key

交易金额

其他事实

9000

2020-04-10

1000

131.00

...

9001

2020-04-13

1000

52.00

...

对于选择哪种方式处理缓慢变化维,并没有一个完全正确的答案,可以根据业务需求来进行选择。比如根据商品所属的类目统计2020年4月的成交额,商品所属的类目于 2020年4月 13 日由 类目 1变成类目2 ,假设业务需求方不关心历史数据,将所有的成交额都统计到最新的类目2上 ,则不需要保存历史数据:假设类目1属于某个业务部门 ,类目2属于另一个业务部门,不同业务部门需要统计各自的业绩,则需要保留历史数据。

关于大数据中缓慢变化维常见解决方案是什么就分享到这里了,希望以上内容可以对大家有一定的帮助,可以学到更多知识。如果觉得文章不错,可以把它分享出去让更多的人看到。

商品 变化 维度 数据 订单 事实 历史 所属 缓慢 历史数据 属性 方式 业务 金额 交易 日期 标题 处理 统计 方案 数据库的安全要保护哪些东西 数据库安全各自的含义是什么 生产安全数据库录入 数据库的安全性及管理 数据库安全策略包含哪些 海淀数据库安全审计系统 建立农村房屋安全信息数据库 易用的数据库客户端支持安全管理 连接数据库失败ssl安全错误 数据库的锁怎样保障安全 广东万易互联网科技有限公司惠州分公司 苏州找大状互联网科技有限公司 互联网络科技有限公司 上海互联网科技有限公司 奇酷互联网络科技公司 长亮科技互联网金融 团飞科技与伯堂互联网服务平台 昭通云南众福互联网科技有限公司 科技与互联网哪个更好 湖南一路畅行互联网科技 互联网5g黑科技有哪些 允成互联网科技有限公司融资 朱啸虎曾投资哪些互联网科技企业 特约风豹互联网科技为什么扣费 高科技互联网套路 深圳互联网科技的发展 互联网科技数字货币 互联网科技年终奖 2021世界互联网领先科技成果发布 互联网高科技绘画 博彦科技互联网金融 互联网科技开发公司 互联网与未来科技 未来的互联网科技 赫美联合互联网科技 广州恒生互联网科技有限 互联网公司黑科技创始人 翼展科技 首家互联网医院 产业互联网科技服务公司 互联网科技资金流入
0