
数据仓库设计
小狼_百度
百度,web系统,分布式系统,大数据,机器学习,人工智能等爱好者
展开
-
拉链表设计
在企业中,由于有些流水表每日有几千万条记录,数据仓库保存5年数据的话很容易不堪重负,因此可以使用拉链表的算法来节省存储空间。1.采集当日全量数据存储到 ND(当日) 表中。 2.可从历史表中取出昨日全量数据存储到 OD(上日数据)表中。3.用ND-OD为当日新增和变化的数据(即日增量数据)。两个表进行全字段比较,将结果记录到tabel_I表中4.用OD-ND为状态到转载 2015-05-27 15:01:07 · 1609 阅读 · 0 评论 -
数据仓库
什么是数据仓库? --数据仓库是一个面向主题的,集成的,非易失的且随时间不断变化的数据集合,用来支持管理人员的决策。 下面我就从数据仓库的4个基本特性来说一下它与传统的OLTP(on-line transaction processing联机事务处理)数据库的区别 1.面向主题的 传统的OLTP数据库是面向应用进行数据组织的,而数转载 2015-07-01 15:51:22 · 2800 阅读 · 0 评论 -
Mondrian中聚合表的应用
Mondrian中聚合表的应用最近在项目中使用了开源OLAP引擎——Mondrian实现一个多维分析系统,在项目后期系统优化阶段使用了Mondrian中的聚合表机制。这里结合Mondrian官方资料和个人使用经验,对Mondrian中聚合表的概念、应用场景、如何使用、注意事项等内容做一个总结。1. OLAP相关概念Mondrian是一个基于Java语言的开源OLAP引擎,它通转载 2015-07-03 13:48:04 · 849 阅读 · 0 评论 -
什么是数据仓库主题
1.主题的概念主题(Subject)是在较高层次上将企业信息系统中的数据进行综合、归类和分析利用的一个抽象概念,每一个主题基本对应一个宏观的分析领域。在逻辑意义上,它是对应企业中某一宏观分析领域所涉及的分析对象。例如“销售分析”就是一个分析领域,因此这个数据仓库应用的主题就是“销售分析”。面向主题的数据组织方式,就是在较高层次上对分析对象数据的一个完整并且一致的描述,能刻画各个分析转载 2016-08-03 16:25:29 · 8586 阅读 · 0 评论 -
数据仓库的模型设计
数据仓库的模型设计A. 数据建模方法论数据仓库模型设计遵循“自顶向下、逐步求精”的设计原则。模型设计分为三个阶段:1,概念模型对业务的范围和使用,从高度上进行抽象概括,也就是划分主题域。一般划分为8个主题域:客户、服务、服务使用、账务、结算、资源、客服、营销为什么要划分主题域?划分主题域,是根据业务的应用和需要来划分的,是转载 2016-08-03 16:27:13 · 3541 阅读 · 0 评论