数据仓库多维数据模型的设计计算机数据挖掘与模式识别_计算机-数据挖掘与模式识别.pdf

《数据仓库多维数据模型的设计计算机数据挖掘与模式识别_计算机-数据挖掘与模式识别.pdf》由会员分享，可在线阅读，更多相关《数据仓库多维数据模型的设计计算机数据挖掘与模式识别_计算机-数据挖掘与模式识别.pdf（14页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、1、数据仓库基本概念 1.1、主题（Subject）主题就是指我们所要分析的具体方面。例如：某年某月某地区某机型某款 App的安装 情况。主题有两个元素：一是各个分析角度（维度），如时间位置；二是要分析的具体量度，该量度一般通过数值体现，如 App安装量。1.2、维(Dimension)维是用于从不同角度描述事物特征的，一般维都会有多层（Level:级别），每个Level 都会包含一些共有的或特有的属性（Attribute），可以用下图来展示下维的结构和组成：以时间维为例，时间维一般会包含年、季、月、日这几个 Level，每个Level 一般都会 有ID、NAME、DESCRIPTION这几个

2、公共属性，这几个公共属性不仅适用于时间维，也同 样表现在其它各种不同类型的维。I _ 鼻 Attributes 1.3、分层（Hierarchy）OLAP需要基于有层级的自上而下的钻取，或者自下而上地聚合。所以我们一般会在维 的基础上再次进行分层，维、分层、层级的关系如下图：/QVJIICOUJT)-Viiiiii.)(川*沖Xw心iJV.fidhi UrbariaJ 1.4、量度 量度就是我们要分析的具体的技术指标，诸如年销售额之类。它们一般为数值型数据。我们或者将该数据汇总，或者将该数据取次数、独立次数或取最大最小值等，这样的数据称 为量度。1.5、粒度 数据的细分层度，例如按天分按小时分

3、。每一级之间可能是附属关系（如市属于省、省属于国家）年）,如下图所示:coufi!rv pnnmec AT.曲 if RriiKh C ilumhiu Oni:irin New Ycirl Total，也可能是顺序关系（如天周 作为世界软玉之首它优良的质地典型的成矿地质条件优美的工艺都具有世界性意义和田玉由于它的优良玉质几千年来在中华民族中形成了全民族爱玉崇玉尊玉的民族心理几千年以来美玉的质地形状和颜色一直启发着雕刻家画家和诗玉雕琢的精美玉器具有独特的中国气魄艺术风格和浓厚的东方民族特色在世界上被誉为东方艺术是人类艺术史上的辉煌成就和世界文化艺术宝的珍贵遗产和田玉在我国有多年的历史是我国玉文化

4、的主体和田玉由于质地细腻所以它的质地纯净怡人的色泽体如凝脂精光内蕴质厚温润脉理紧密声音洪在传统玉石中占据着首屈一指的地位和田玉中首论羊脂白玉羊脂玉质地细腻白如截脂具有特别的滋润给人以一种亲切温存的美感是白玉中最好的品种目前世界上主要在1.6、事实表和维表 事实表是用来记录分析的容的全量信息的，包含了每个事件的具体要素，以及具体发生 作为世界软玉之首它优良的质地典型的成矿地质条件优美的工艺都具有世界性意义和田玉由于它的优良玉质几千年来在中华民族中形成了全民族爱玉崇玉尊玉的民族心理几千年以来美玉的质地形状和颜色一直启发着雕刻家画家和诗玉雕琢的精美玉器具有独特的中国气魄艺术风格和浓厚的东方民族特色在

5、世界上被誉为东方艺术是人类艺术史上的辉煌成就和世界文化艺术宝的珍贵遗产和田玉在我国有多年的历史是我国玉文化的主体和田玉由于质地细腻所以它的质地纯净怡人的色泽体如凝脂精光内蕴质厚温润脉理紧密声音洪在传统玉石中占据着首屈一指的地位和田玉中首论羊脂白玉羊脂玉质地细腻白如截脂具有特别的滋润给人以一种亲切温存的美感是白玉中最好的品种目前世界上主要在的事情。事实表中存储数字型 ID以及度量信息。维表则是对事实表中事件的要素的描述信息，就是你观察该事务的角度，是从哪个角度 去观察这个容的。事实表和维表通过ID相关联，如图所示：时间縊 PU 年 II A 1.7、星形/雪花形/事实星座 这三者就是数据仓库多维

6、数据模型建模的模式 上图所示就是一个标准的星形模型。雪花形就是在维度下面又细分出维度，这样切分是为了使表结构更加规化。雪花模式可 以减少冗余，但是减少的那点空间和事实表的容量相比实在是微不足道，而且多个表联结操 作会降低性能，所以一般不用雪花模式设计数据仓库。事实星座模式就是星形模式的集合，包含星形模式，也就包含多个事实表。1.8、企业级数据仓库/数据集市 企业级数据仓库：突出大而全，不论是细致数据和聚合数据它全都有，设计时使用事实 星座模式 数据集市：可以看做是企业级数据仓库的一个子集，它是针对某一方面的数据设计的数 PK 地墟ID 疔 nr 产皿准 PK 产詁巾 产品臭堂 产詁属性 PK.

7、FK2 PK.FK5 时间 2 魅滋ID 用白。产鉀 的买数署 川户卅 用户TD 用门类宝 用门名 ffl门佶a PE XtUP iM h式 作为世界软玉之首它优良的质地典型的成矿地质条件优美的工艺都具有世界性意义和田玉由于它的优良玉质几千年来在中华民族中形成了全民族爱玉崇玉尊玉的民族心理几千年以来美玉的质地形状和颜色一直启发着雕刻家画家和诗玉雕琢的精美玉器具有独特的中国气魄艺术风格和浓厚的东方民族特色在世界上被誉为东方艺术是人类艺术史上的辉煌成就和世界文化艺术宝的珍贵遗产和田玉在我国有多年的历史是我国玉文化的主体和田玉由于质地细腻所以它的质地纯净怡人的色泽体如凝脂精光内蕴质厚温润脉理紧密声音

8、洪在传统玉石中占据着首屈一指的地位和田玉中首论羊脂白玉羊脂玉质地细腻白如截脂具有特别的滋润给人以一种亲切温存的美感是白玉中最好的品种目前世界上主要在据仓库，例如为公司的支付业务设计一个单独的数据集市。由于数据集市没有进行企业级的 设计和规划，所以长期来看，它本身的集成将会极其复杂。其数据来源有两种，一种是直接 从原生数据源得到，另一种是从企业数据仓库得到。设计时使用星形模型作为世界软玉之首它优良的质地典型的成矿地质条件优美的工艺都具有世界性意义和田玉由于它的优良玉质几千年来在中华民族中形成了全民族爱玉崇玉尊玉的民族心理几千年以来美玉的质地形状和颜色一直启发着雕刻家画家和诗玉雕琢的精美玉器具有独

9、特的中国气魄艺术风格和浓厚的东方民族特色在世界上被誉为东方艺术是人类艺术史上的辉煌成就和世界文化艺术宝的珍贵遗产和田玉在我国有多年的历史是我国玉文化的主体和田玉由于质地细腻所以它的质地纯净怡人的色泽体如凝脂精光内蕴质厚温润脉理紧密声音洪在传统玉石中占据着首屈一指的地位和田玉中首论羊脂白玉羊脂玉质地细腻白如截脂具有特别的滋润给人以一种亲切温存的美感是白玉中最好的品种目前世界上主要在2、数据仓库设计步骤 2.1、确定主题 主题与业务密切相关，所以设计数仓之前应当充分了解业务有哪些方面的需求，据此确 定主题。2.2、确定量度 在确定了主题以后，我们将考虑要分析的技术指标，诸如年销售额之类。量度是要统

10、计 的指标，必须事先选择恰当，基于不同的量度将直接产生不同的决策结果。2.3、确定数据粒度 考虑到量度的聚合程度不同，我们将采用“最小粒度原则”，即将量度的粒度设置到最小。例如如果知道某些数据细分到天就好了，那么设置其粒度到天；但是如果不确定的话，就将 粒度设置为最小，即毫秒级别的。2.4、确定维度 设计各个维度的主键、层次、层级，尽量减少冗余。2.5、创建事实表 事实表中将存在维度代理键和各量度，而不应该存在描述性信息，即符合“瘦高原则”，即要求事实表数据条数尽量多（粒度最小），而描述性信息尽量少。作为世界软玉之首它优良的质地典型的成矿地质条件优美的工艺都具有世界性意义和田玉由于它的优良玉质

11、几千年来在中华民族中形成了全民族爱玉崇玉尊玉的民族心理几千年以来美玉的质地形状和颜色一直启发着雕刻家画家和诗玉雕琢的精美玉器具有独特的中国气魄艺术风格和浓厚的东方民族特色在世界上被誉为东方艺术是人类艺术史上的辉煌成就和世界文化艺术宝的珍贵遗产和田玉在我国有多年的历史是我国玉文化的主体和田玉由于质地细腻所以它的质地纯净怡人的色泽体如凝脂精光内蕴质厚温润脉理紧密声音洪在传统玉石中占据着首屈一指的地位和田玉中首论羊脂白玉羊脂玉质地细腻白如截脂具有特别的滋润给人以一种亲切温存的美感是白玉中最好的品种目前世界上主要在3、数据仓库-全量表 全量表：保存用户所有的数据（包括新增与历史数据）增量表：只保留当前

12、新增的数据 快照表：按日分区，记录截止数据日期的全量数据 切片表：切片表根据基础表，往往只反映某一个维度的相应数据。其表结构与基础表结 构相同，但数据往往只有某一维度，或者某一个事实条件的数据 3.1、更新插入算法 更新插入（主表）算法适用于保留最新状态表的处理。案例：银行账户余额表，全表表大约 8000万，非结息日每日变动 100万，结息日变动 2000 万。非结息日：它是指根据主键（或指定字段）进行数据对比，如果增量表存在记录，则更新 原全量表，否则插入数据。ETL更新的优化？Merge?结息日：新建空表，它是指根据主键（或指定字段）进行数据对比，首先插入原全量表与 增量表无法匹配的非变更

13、数据，再次插入可以匹配的增量表数据，最后补齐增量表与全量表 无法匹配的增量数据。3.2、直接追加算法 直接追加算法是指增量数据直接追加到目标表中，此算法适合流水、交易、事件、话单 等增量且不修改的数据。由于历史信息表数据量过于庞大，往往在数据库设计中将引入分区表的逻辑来处理，具 体实现逻辑自查。3.3、全量历史表算法 拉链表。作为世界软玉之首它优良的质地典型的成矿地质条件优美的工艺都具有世界性意义和田玉由于它的优良玉质几千年来在中华民族中形成了全民族爱玉崇玉尊玉的民族心理几千年以来美玉的质地形状和颜色一直启发着雕刻家画家和诗玉雕琢的精美玉器具有独特的中国气魄艺术风格和浓厚的东方民族特色在世界上

14、被誉为东方艺术是人类艺术史上的辉煌成就和世界文化艺术宝的珍贵遗产和田玉在我国有多年的历史是我国玉文化的主体和田玉由于质地细腻所以它的质地纯净怡人的色泽体如凝脂精光内蕴质厚温润脉理紧密声音洪在传统玉石中占据着首屈一指的地位和田玉中首论羊脂白玉羊脂玉质地细腻白如截脂具有特别的滋润给人以一种亲切温存的美感是白玉中最好的品种目前世界上主要在4、数据仓库-拉链表 拉链表：数据仓库设计中表存储数据的方式而定义的，顾名思义，所谓拉链，就是记录 历史。记录一个事物从开始，一直到当前状态的所有变化的信息。我们先看一个示例，这就是一拉链表，存储的是用户的最基本信息以及每条记录的生命 周期。我们可以使用这表拿到最新

15、的当天的最新数据以及之前的历史数据。手机号円 t start dste t end da te 2O17-01-OL 001 111111 2017-01-01 999-12-Jl 2017-01-01 002 222222 017-01 01 2017-01-01 2017-01-01 002 233333 2017-01-02 9999-131 2017-01-01 003 333333 2017-01 01 8993-12-11 2017-01-01 M4 444444 2017-01-01 2017-01-01 2017-01-01 005 432452 2017-01-02 2017

16、-01-02 201701-01 004 4324i2 2017-01 03 9999-12-SI 2017-01-02 005 5555Y5 Z017-01-02 2017-01-02 2017-01-02 00$115115?017-01-03 9999-12 M 2017-01-03 00G GG666G 2017-01-03 9999-12-n 在数据仓库的数据模型设计过程中，经常会遇到下面这种表的设计：1、有一些表的数据量很大，比如一用户表，大约 10亿条记录，50个字段，这种表，即使使用ORC压缩，单表的存储也会超过 100G（在HDFS使用双备份或者三备份的话就更 大一些）。2、

17、表中的部分字段会被 update更新操作，如用户联系方式，产品的描述信息，订单 的状态等等。3、需要查看某一个时间点或者时间段的历史快照信息，比如，查看某一个订单在历史 某一个时间点的状态。4、表中的记录变化的比例和频率不是很大，比如，总共有 10亿的用户，每天新增和 发生变化的有200万左右，变化的比例占的很小。那么对于这种表我该如何设计呢？下面有几种方案可选：方案一：每天只留最新的一份（比如我们每天用 Sqoop抽取最新的一份全量数据到 Hive 中）。方案二：每天保留一份全量的切片数据。方案三：使用拉链表。4.1、为什么使用拉链表 现在我们对前面提到的三种进行逐个的分析。这种方案就不用多

18、说了，实现起来很简单，每天 drop掉前一天的数据，重新抽一份最 作为世界软玉之首它优良的质地典型的成矿地质条件优美的工艺都具有世界性意义和田玉由于它的优良玉质几千年来在中华民族中形成了全民族爱玉崇玉尊玉的民族心理几千年以来美玉的质地形状和颜色一直启发着雕刻家画家和诗玉雕琢的精美玉器具有独特的中国气魄艺术风格和浓厚的东方民族特色在世界上被誉为东方艺术是人类艺术史上的辉煌成就和世界文化艺术宝的珍贵遗产和田玉在我国有多年的历史是我国玉文化的主体和田玉由于质地细腻所以它的质地纯净怡人的色泽体如凝脂精光内蕴质厚温润脉理紧密声音洪在传统玉石中占据着首屈一指的地位和田玉中首论羊脂白玉羊脂玉质地细腻白如截脂

19、具有特别的滋润给人以一种亲切温存的美感是白玉中最好的品种目前世界上主要在新的。优点很明显，节省空间，一些普通的使用也很方便，不用在选择表的时候加一个时间分 区什么的。缺点同样明显，没有历史数据，先翻翻旧账只能通过其它方式，比如从流水表里面抽。每天一份全量的切片是一种比较稳妥的方案，而且历史数据也在。缺点就是存储空间占用量太大了，如果对这边表每天都保留一份全量，那么每次全量中 会保存很多不变的信息，对存储是极大的浪费。当然我们也可以做一些取舍，比如只保留近一个月的数据？但是，需无耻的，数据的生 命周期不是我们能完全左右的。拉链表在使用上基本兼顾了我们的需求。首先它在空间上做了一个取舍，虽说不像方

20、案一那样占用量那么小，但是它每日的增量 可能只有方案二的千分之一甚至是万分之一。其实它能满足方案二所能满足的需求，既能获取最新的数据，也能添加筛选条件也获取 历史的数据。所以我们还是很有必要来使用拉链表的。4.2、拉链表的实现 下面我们来举个栗子详细看一下拉链表。我们先看一下在 Mysql关系型数据库里的 user表息变化。在2017-01-01这一天表中的数据是：闇户*8吕 2017-01-01 001 111111 2017-01-01 002 U2222 2017 01-01 003 333333 2017 01-01 004 河丿河/|理 在2017-01-02这一天表中的数据是，用户

21、002和004资料进行了修改，005是新增 用户：作为世界软玉之首它优良的质地典型的成矿地质条件优美的工艺都具有世界性意义和田玉由于它的优良玉质几千年来在中华民族中形成了全民族爱玉崇玉尊玉的民族心理几千年以来美玉的质地形状和颜色一直启发着雕刻家画家和诗玉雕琢的精美玉器具有独特的中国气魄艺术风格和浓厚的东方民族特色在世界上被誉为东方艺术是人类艺术史上的辉煌成就和世界文化艺术宝的珍贵遗产和田玉在我国有多年的历史是我国玉文化的主体和田玉由于质地细腻所以它的质地纯净怡人的色泽体如凝脂精光内蕴质厚温润脉理紧密声音洪在传统玉石中占据着首屈一指的地位和田玉中首论羊脂白玉羊脂玉质地细腻白如截脂具有特别的滋润给

22、人以一种亲切温存的美感是白玉中最好的品种目前世界上主要在2017-ObOl 用户骗号 001 L1UH 017-01-01 002 2B333 由22忑?22娈成出好対）2017-01-01 003 33333 3017-01-01 004 432432（由44+444容爾B2斗刃）J0170I-0?005 5曲坯(2017-0102)在2017-01-03这一天表中的数据是，用户004和005资料进行了修改，006是新增 用户：-3JMQW 用户咨 手机碍 Si 2017-01-01 001 ium 217 mm 002 233333 2017-01-01 005 333333 2017-0

23、1-DL 004 6W321(&54521)2017-01-02 005 115115(由S55555fi115115)2017 01-03 OOG 6&G666 2017-01-Otg)如果在数据仓库中设计成历史拉链表保存该表，则会有下面这样一表，这是最新一天（即 2017-01-03）的数据：翊日朋 用尸辐暫 手机芒码 t ttrt dot*t end 2017-01-01 QOi nun 2017-01-01 9999-12-M ；017-01-01 002 222227 ZD17-01*01 ,2017-01*01 2017-01-01 002 2333M；017-01-02 TO9-

24、121 2017-01-01 003 333313 201701-01 9999-12-31 3O17-OJ-O1 004 444444 201701-01 2017-01-01 ；01701-01 004 43243?20170102 2017,01*02 2017-01-01 (KM 2017-01-03 *3999 1231 2017-01-02 005 2017-01-02 J017-01-02 20L7-OL-02 0Q5 I1S115 zonoroi 9999-12-11 2017-01*03 006&66666?D17-01*03 勺网-12-31 说明 t_start_date

25、表示该条记录的生命周期开始时间，t_end_date表示该条记录的生命周期 结束时间。t_en d_date=9999-12-31 表示该条记录目前处于有效状态。如果查询当前所有有效的记录，贝U select*from user where t_end_date=9999-12-31 如果查询 2017-01-02 的历史快照，贝U select from user where t_start_date=2017-01-02 （*此处要好好理解，是拉链表比较重要的一 作为世界软玉之首它优良的质地典型的成矿地质条件优美的工艺都具有世界性意义和田玉由于它的优良玉质几千年来在中华民族中形成了全民族爱

26、玉崇玉尊玉的民族心理几千年以来美玉的质地形状和颜色一直启发着雕刻家画家和诗玉雕琢的精美玉器具有独特的中国气魄艺术风格和浓厚的东方民族特色在世界上被誉为东方艺术是人类艺术史上的辉煌成就和世界文化艺术宝的珍贵遗产和田玉在我国有多年的历史是我国玉文化的主体和田玉由于质地细腻所以它的质地纯净怡人的色泽体如凝脂精光内蕴质厚温润脉理紧密声音洪在传统玉石中占据着首屈一指的地位和田玉中首论羊脂白玉羊脂玉质地细腻白如截脂具有特别的滋润给人以一种亲切温存的美感是白玉中最好的品种目前世界上主要在块。*）4.3、拉链表在 Hive 中的实现 在现在的大数据场景下，大部分的公司都会选择以 Hdfs和Hive为主的数据仓

27、库架构。目前的Hdfs版本来讲，其文件系统中的文件是不能做改变的，也就是说Hive的表智能进行 删除和添加操作，而不能进行 update。基于这个前提，我们来实现拉链表。还是以上面的用户表为例，我们要实现用户的拉链表。在实现它之前，我们需要先确定 一下我们有哪些数据源可以用。我们需要一 ODS层的用户全量表。至少需要用它来初始化。每日的用户更新表。而且我们要确定拉链表的时间粒度，比如说拉链表每天只取一个状态，也就是说如果一 天有3个状态变更，我们只取最后一个状态，这种天粒度的表其实已经能解决大部分的问题 了。ods层的user表 现在我们来看一下我们 ods层的用户资料切片表的结构：CREAT

28、EEXTERNALTABLEods.user(user_num STRINGCOMMENT 用户编号:mobile STRINGCOMMENT 手机,reg_date STRINGCOMMENT 注册日期 COMMENT 用户资料表 PARTITIONED BY(dt string)ROW FORMAT DELIMITED FIELDSTERMINATED BYt LINESTERMINATED BYn STOREDASORC LOCATION/ods/user：)ods 层的 user_update 表 然后我们还需要一用户每日更新表，前面已经分析过该如果得到这表，现在我们假设它 已经存在。

29、CREATEEXTERNALTABLEods.user_update(user_num STRINGCOMMENT 用户编号:mobile STRINGCOMMENT 手机,reg_date STRINGCOMMENT 注册日期 COMMENT 每日用户资料更新表 PARTITIONED BY(dt string)ROW FORMAT DELIMITED FIELDSTERMINATED BY t LINESTERMINATED BY n STOREDASORC LOCATION 7ods/user_update：)拉链表 现在我们创建一拉链表：作为世界软玉之首它优良的质地典型的成矿地质条件优

30、美的工艺都具有世界性意义和田玉由于它的优良玉质几千年来在中华民族中形成了全民族爱玉崇玉尊玉的民族心理几千年以来美玉的质地形状和颜色一直启发着雕刻家画家和诗玉雕琢的精美玉器具有独特的中国气魄艺术风格和浓厚的东方民族特色在世界上被誉为东方艺术是人类艺术史上的辉煌成就和世界文化艺术宝的珍贵遗产和田玉在我国有多年的历史是我国玉文化的主体和田玉由于质地细腻所以它的质地纯净怡人的色泽体如凝脂精光内蕴质厚温润脉理紧密声音洪在传统玉石中占据着首屈一指的地位和田玉中首论羊脂白玉羊脂玉质地细腻白如截脂具有特别的滋润给人以一种亲切温存的美感是白玉中最好的品种目前世界上主要在CREATEEXTERNALTABLEdw

31、s.user_his(user_num STRINGCOMMENT 用户编号:mobile STRINGCOMMENT 手机,reg_date STRING COMMENT 用户编号:t_start_date,t_en d_date COMMENT 用户资料拉链表 ROW FORMAT DELIMITED FIELDSTERMINATED BYt LINESTERMINATED BYn STOREDASORC LOCATION 7dws/user_his：)实现sql语句 然后初始化的sql就不写了，其实就相当于是拿一天的 ods层用户表过来就行，我们写 一下每日的更新语句。现在我们假设我们已

32、经已经初始化了 2017-01-01的日期，然后需要更新 2017-01-02 那一天的数据，我们有了下面的 Sql。然后把两个日期设置为变量就可以了。INSERTOVERWRITETABLEdws.user_his SELECT*FROM(SELECTA.user_ num,A.mobile,A.reg_date,A.t_start_time,CASE WHEN A.t_end_time=9999-12-31 AND B.user_num IS NOT NULL THEN 2017-01-01 ELSEA.t_e nd_time END AS t_end_time FROM dws.user

33、_his A LEFTJOIN ods.user_update B ON A.user_num=B.user_num UNION SELECTC.user_ num,C.mobile,C.reg_date,2017-01-02 AS t_start_time,9999-12-31 AS t_end_time FROM ods.user_update AS C)AST 好了，我们分析了拉链表的原理、设计思路、并且在 Hive环境下实现了一份拉链表，下面对拉链表做一些小的补充。拉链表和流水表 流水表存放的是一个用户的变更记录，比如在一流水表中，一天的数据中，会存放一个 作为世界软玉之首它优良的质地

34、典型的成矿地质条件优美的工艺都具有世界性意义和田玉由于它的优良玉质几千年来在中华民族中形成了全民族爱玉崇玉尊玉的民族心理几千年以来美玉的质地形状和颜色一直启发着雕刻家画家和诗玉雕琢的精美玉器具有独特的中国气魄艺术风格和浓厚的东方民族特色在世界上被誉为东方艺术是人类艺术史上的辉煌成就和世界文化艺术宝的珍贵遗产和田玉在我国有多年的历史是我国玉文化的主体和田玉由于质地细腻所以它的质地纯净怡人的色泽体如凝脂精光内蕴质厚温润脉理紧密声音洪在传统玉石中占据着首屈一指的地位和田玉中首论羊脂白玉羊脂玉质地细腻白如截脂具有特别的滋润给人以一种亲切温存的美感是白玉中最好的品种目前世界上主要在用户的每条修改记录，但

35、是在拉链表中只有一条记录。这是拉链表设计时需要注意的一个粒度问题。我们当然也可以设置的粒度更小一些，-般按天就足够。查询性能 拉链表当然也会遇到查询性能的问题，比如说我们存放了 5年的拉链数据，那么这表势 必会比较大，当查询的时候性能就比较低了，个人认为两个思路来解决：在一些查询引擎中，我们对 start_date和end_date做索引，这样能提高不少性能。保留部分历史数据，比如说我们一表里面存放全量的拉链表数据，然后再对外暴露一只 提供近3个月数据的拉链表。使用拉链表的时候可以不加 t_end_date，即失效日期，但是加上之后，能优化很多查询。可以加上当前行状态标识，能快速定位到当前状态

36、。在拉链表的设计中可以加一些容，因为我们每天保存一个状态，如果我们在这个状态里 面加一个字段，比如如当天修改次数，那么拉链表的作用就会更大。作为世界软玉之首它优良的质地典型的成矿地质条件优美的工艺都具有世界性意义和田玉由于它的优良玉质几千年来在中华民族中形成了全民族爱玉崇玉尊玉的民族心理几千年以来美玉的质地形状和颜色一直启发着雕刻家画家和诗玉雕琢的精美玉器具有独特的中国气魄艺术风格和浓厚的东方民族特色在世界上被誉为东方艺术是人类艺术史上的辉煌成就和世界文化艺术宝的珍贵遗产和田玉在我国有多年的历史是我国玉文化的主体和田玉由于质地细腻所以它的质地纯净怡人的色泽体如凝脂精光内蕴质厚温润脉理紧密声音洪

37、在传统玉石中占据着首屈一指的地位和田玉中首论羊脂白玉羊脂玉质地细腻白如截脂具有特别的滋润给人以一种亲切温存的美感是白玉中最好的品种目前世界上主要在5、对私数据仓库实战 数据仓库主题，客户资产等级。何为客户资产等级，根据客户的纯资产的月均总额、款余额的总额、信用卡近一年消费额的总额，分别按照规则制定，计算出分别的等级,者的最高等级，用于定义客户在我行的资产等级。分别为：私行、财富、理财、普通。源事实表：存款账户表、基金账户、理财账户、客户信息表、汇率表、信用卡交易表、贷款余额表。取三 作为世界软玉之首它优良的质地典型的成矿地质条件优美的工艺都具有世界性意义和田玉由于它的优良玉质几千年来在中华民族中形成了全民族爱玉崇玉尊玉的民族心理几千年以来美玉的质地形状和颜色一直启发着雕刻家画家和诗玉雕琢的精美玉器具有独特的中国气魄艺术风格和浓厚的东方民族特色在世界上被誉为东方艺术是人类艺术史上的辉煌成就和世界文化艺术宝的珍贵遗产和田玉在我国有多年的历史是我国玉文化的主体和田玉由于质地细腻所以它的质地纯净怡人的色泽体如凝脂精光内蕴质厚温润脉理紧密声音洪在传统玉石中占据着首屈一指的地位和田玉中首论羊脂白玉羊脂玉质地细腻白如截脂具有特别的滋润给人以一种亲切温存的美感是白玉中最好的品种目前世界上主要在