还剩6页未读,继续阅读
文本内容:
数据仓库与数据集市看了不少数据仓库方面的资料,都涉及到了“数据集市”这一说法,刚开始对数据仓库和数据集市的区别也理解得比较肤浅,现在做个深入的归纳和总结,主要从如下几个方面进行阐述:看了不少数据仓库方面的资料,都涉及到了“数据集市”这一说法,刚开始对数据仓库和数据集市的区别也理解得比较肤浅,现在做个深入的归纳和总结,主要从如下几个方面进行阐述:1基本概念2为什么提出数据集市3数据仓库设计方法论4数据集市和数据仓库的区别5仓库建模与集市建模6案例分析电信CRM数据仓库Bill Inmon说过一句话叫“IT经理们面对最重要的问题就是到底先建立数据仓库还是先建立数据集市”,足以说明搞清晰这两者之间的关系是十分重要而迫切的!通常在考虑建立数据仓库之前,会涉及到如下一些问题1采取自上而下还是自下而上的设计方法2企业范围还是部门范围3先建立数据仓库还是数据集市4建立领航系统还是直接实施5数据集市是否相互独立2数据集市的数据建模因为仓库终端用户直接与数据集市进行交互,所以数据集市的建模是捕获终端用户业务需求的最有效工具之一数据集市的建模过程取决于许多因素下面描述了三个最重要的数据集市的建模是终端用户驱动的终端用户必须参预数据集市的建模过程,因为他们显然是要使用该数据集市的人因为您应期望终端用户彻底不熟悉复杂的数据模型,所以应该将建模技术和建模过程作为整体进行组织,以便使复杂性对终端用户透明数据集市的建模是由业务需求驱动的数据集市模型对于捕获业务需求十分实用,因为它们通常由终端用户直接使用,且易于理解数据集市的建模极大地受到了数据分析技术的影响数据分析技术可以影响所选择的数据模型的类型及其内容目前,有几种常用的数据分析技术查询和报表制作、多维分析以及数据挖掘如果仅仅意图提供查询和报表制作功能,那末带有正规normalized或者非正规denormalized数据结构的ER模型就是最合适的维度数据模型也可能是较好的选择,因为它是用户友好的,并具有更好的性能如果其目标是执行多维数据分析,那末维度数据模型就是这里的惟一选择然而,数据挖掘通常在可用的最低细节级level ofdetail工作得最好因此,如果数据仓库是用于数据挖掘的,就应该在模型中包含较低细节级levelof detail的数据
一、基本概念数据仓库一词尚没有一个统一的定义,著名的数据仓库专家w.H.Inmon在其著作《BuildingtheData Warehouse》一书中赋予如下描述:数据仓库Data Warehouse是一个面向主题的SubjectOri2ented、集成的Integrate、相对稳定的Non-Volatile、反映历史变化TimeVariant的数据集合用于支持管理决策对于数据仓库的概念我们可以从两个层次予以理解,首先,数据仓库用于支持决策,面向分析型数据处理,它不同于企业现有的操作型数据库;其次,数据仓库是对多个异构的数据源有效集成,集成后按照主题进行了重组,并包含历史数据,而且存放在数据仓库中的数据普通再也不修改为最大限度地实现灵便性,集成的数据仓库的数据应该存储在标准RDBMS中,并经过规范的数据库设计,以及为了提高性能而增加一些小结性信息和不规范设计这种类型的数据仓库设计被称为原子数据仓库原子数据仓库的子集,又莆菁小T硬挚猱嬖诘闹饕康就亲魅菁械墓,片骰币沧超握招允莅挚凌T硬挚灌拇隼
12.写娣藕褪松馍杓瓶赡甚耋闾厥铁嘈陀没y母髦中相蟆F渥蛹即各个数据集市被拷贝到其它计算机上,可作为它们自己的数据仓库数据集市可以和产生它们的原子数据仓库一样大,甚至更大它们可以位于原子数据仓库的附近,或者分布到更挨近用户的位置,放置在何处取决于使用和通讯成本数据集市是用来满足特殊用户的应用需求的数据仓库,它们的规模可能达到数百GB使其成为数据集市的关键是它的使用目标、O范围,而非规模大小数据集市可以理解为是一个小型的部门或者工作组级别的数据仓库有两种类型的数据集市如下图独立型(直接从操作型环境中获取数据)这些数据集市是由特定的工作组、部门或者业务线进行控制的,彻底是为满足其需求而构建的实际上,它们甚至与其他工作组、部门或者业务线中的数据集市没有任何连通性从属型(从企业级数据仓库中获取数据)这样的数据集市往往以分布式的方式实现虽然不同的数据集市是在特定的工作组、部门或者生产线中实现的,但它们可以是集成、互连的,以提供更加全局的业务范围的数据视图实际上,在最高的集成层次上,它们可以成为业务范围的数据仓库这意味着一个部门中的终端用户可以访问和使用另一部门中数据集市中的数据
二、为什么提出数据集市虽然OLTP和遗留系统拥有珍贵的信息,但是可能难以从这些系统中提取故意义的信息并且速度也较慢而且这些系统虽然普通可支持预先定义操作的报表,但却时常无法支持一个组织对于历史的、联合的、智能的或者易于访问的信息的需求因为数据分布在许多跨系统和平台的表中,而且通常是“脏的”,包含了不一致的和无效的值,使得难于分析数据集市将合并不同系统的数据源来满足业务信息需求若能有效地得以实现,数据集市将可以快速且方便地访问简单信息以及系统的和历史的视图一个设计良好的数据集市有如下特点有些特点数据仓库也具有,有些特点是相对于数据仓库来讲的1特定用户群体所需的信息,通常是一个部门或者一个特定组织的用户,且无需受制于源系统的大量需求和操作性危机想对于数据仓库⑵支持访问非易变nonvolatile的业务信息非易变的信息是以预定的时间间隔进行更新的,并且不受OLTP系统进行中的更新的影响3调和来自于组织里多个运行系统的信息,比如账目、销售、库存和客户管理以及组织外部的行业数据4通过默认有效值、使各系统的值保持一致以及添加描述以使隐含代码故意义,从而提供净化的cleansed数据5为即席分析和预定义报表提供合理的查询响应时间由于数据集市是部门级的,相对于庞大的数据仓库来讲,其查询和分析的响应时间会大大缩短
三、数据仓库设计方法论在数据仓库建立之前,会考虑其实现方法,通常有自顶向下、自底向上和两者综合进行的这样三种实现方案,下面分别对其做简要阐述Q自顶向下的实现自顶向下的方法就是在单个项目阶段中实现数据仓库自顶向下的实现需要在项目开始时完成更多计划和设计工作这就需要涉及参预数据仓库实现的每一个工作组、部门或者业务线中的人员要使用的数据源、安全性、数据结构、数据质量、数据标准和整个数据模型的有关决策普通需要在真正的实现开始之前就完成2自底向上的实现自底向上的实现包含数据仓库的计划和设计,无需等待安置好更大业务范围的数据仓库设计这并不意味着不会开辟更大业务范围的数据仓库设计;随着初始数据仓库实现的扩展,将逐渐增加对它的构建现在,该方法得到了比自顶向下方法更广泛的接受,因为数据仓库的直接结果可以实现,并可以用作扩展更大业务范围实现的证明3一种折中方案每种实现方法都有利弊在许多情况下,最好的方法可能是某两种的组合该方法的关键之一就是确定业务范围的架构需要用于支持集成的计划和设计的程度,因为数据仓库是用自底向上的方法进行构建在使用自底向上或者阶段性数据仓库项目模型来构建业务范围架构中的一系列数据集市时,您可以一个接一个地集成不同业务主题领域中的数据集市,从而形成设计良好的业务数据仓库这样的方法可以极好地合用于业务在这种方法中,可以把数据集市理解为整个数据仓库系统的逻辑子集,换句话说数据仓库就是一致化了的数据集市的集合这种方案的实施步骤通常分如下几步6从整个企业的角度定义计划和需求7构建完整的仓库体系结构8使数据内容一致而且标准化9将数据仓库作为一种超级数据集市来实施关于Inmon和Kimball的大辩论Ralph Kimball和Bill Inmon向来是商业智能领域中的革新者,开辟并测试了新的技术和体系结构Bill Inmon将数据仓库定义为“一个面向主题的、集成的、随时间变化的、非易变的用于支持管理的决策过程的数据集合”;他通过“面向主题”表示应该环绕主题来组织数据仓库中的数据,例如客户、销售、产品等等每一个主题区域仅仅包含该主题相关的信息数据仓库应该一次增加一个主题,并且当需要容易地访问多个主题时,应该创建以数据仓库为来源的数据集市换言之,某个特定数据集市中的所有数据都应该来自于面向主题的数据存储Inmon的方法包含了更多上述工作而减少了对于信息的初始访问但他认为这个集中式的体系结构持续下去将提供更强的一致性和灵便性,并且从长远来看将真正节省资源和工作下图是他的设计方法图解Ralph Kimball说“数据仓库仅仅是构成它的数据集市的联合”,他认为“可以通过一系列维数相同的数据集市递增地构建数据仓库”每一个数据集市将联合多个数据源来满足特定的业务需求通过使用“一致的维,能够共同看到不同数据集市中的信息,这表示它们拥有公共定义的元素设计方法如下图:DatoSourcnDat.Mam WithConfofnwdDimensionsKimball的方法将提供集成的数据来回答组织迫切的业务问题并且要快于Inmon的方法Inmon的方法是惟独在构建几个单主题区域之后,集中式的数据仓库才创建数据集市而Kimball认为该方法缺乏灵便性并且在现在的商业环境中所花时间太长实际上,方法的选择取决于项目的主要商业驱动如果该组织正忍受糟糕的数据管理和不一致的数据,或者希翼为今后打下良好的基础,那末Inmon的方法就更好一些如果该组织迫切需要给用户提供信息,那末Kimball的方法将满足该需求而一旦满足了迫切的信息需求后,就应该考虑包含独立数据仓库的数据体系结构的转换计划数据仓库将使数据集市与遗留系统和OLTP系统隔离,并且支持更快地创建将来的数据集市由于数据仓库在整个发展中向来承担了重任,所以它将支持极力关注数据集市实际上基于商业驱动的需要,采用上面三种设计方案中的最后一种方法自顶向下和自底向上综合的方案会很好的适应数据仓库建立过程中的不同需求
四、数据仓库与数据集市的区别数据仓库是企业级的,能为整个企业各个部门的运行提供决策支持手段;而数据集市则是一种微型的数据仓库,它通常有更少的数据,更少的主题区域,以及更少的历史数据,因此是部门级的,普通只能为某个局部范围内的管理人员服务,因此也称之为部门级数据仓库数据仓库和数据集市之间的区别如下图数据仓库和数据集市的区别可从如下三个方面进行理解1数据仓库向各个数据集市提供数据2几个部门的数据集市组成一个数据仓库数扁在比败保集市11M系统《工TP条饶,外邪IK企Ml unflt或r作蜗a诩企都n或朴琳的分析主■数般庾iraimft收«结构现他化结狗VMM期n模式•W片愕式收肉衣供台I历史筑箱大■的物使《UK堵度的历史教川处理尚信敷擀优化便于访闽和分析候通商尚充度拿引喜度拿我3下面从其数据内容特征进行分析,数据仓库中数据结构采用规范化模式,数据集市中的数据结构采用星型模式,通常仓库中数据粒度比集市的粒度要细,下图反映了数据结构和数据内容特征的区别
五、数据仓库建模与数据集市建模数据只是所有业务活动、资源以及企业结果的记录数据模型是对那些数据的组织良好的抽象,因此数据模型成为理解和管理企业业务的最佳方法是极其自然的数据模型起到了指导或者计划数据仓库的实现的作用在真正的实现开始之前,联合每一个业务领域的数据模型可以匡助确保其结果是有效的数据仓库,并且可以匡助减少实现的成本)Q数据仓库的建模数据仓库数据的建模是将需求转换成图画以及支持表示那些需求的元数据的过程出于易读性目的,本文将关于需求和建模的讨论相分离,但实际上这些步骤通常是重叠的一旦在文档中记录一些初始需求,初始模型就开始成型随着需求变得更加完整,模型也会如此最重要的是向终端用户提供良好集成并易于解释的数据仓库的逻辑模型这些逻辑模型是数据仓库元数据的核心之一为终端用户提供的简单性以及历史数据的集成和联合是建模方法应该匡助提供的关键原则。