还剩4页未读,继续阅读
文本内容:
数据管理培训心得范文数据管理培训心得范文3月24日我参加了“全国数据管理学习班”的培训,通过三天的学习,感觉收获良多,回到公司,我在部门发展了三次集中培训,将所学的知识共享给大家,大家反响很好,并引起了不少的讨论现就学习与部门培训情况简单如下“全国数据管理学习班”共分三天的课程第一天,由高复先教授讲解《信息资源规划》,主要讲解了IRP的概念、重要性、原理及实施步骤,结合众多案例,生动地对IRP的整个理念及实施过程发展了介绍之前我也向来在关注这一理论的开展,高复先是这一理论的发起者,他通过对国外数据管理的多年研究,经过引进、消化、吸收和创新过程,使得这一理论在中国的大地上开花并结果,付出了不少的心血通过他的亲身讲授,我更加深刻地领略到了他理论的菁华第二天,《知识管理与数据挖掘》,由信息产业部系统集成室主任,清华大学研究生蒋波主讲,主要讲授了知识管理的原理及实施过程,并通过几个典型案例引伸出数据挖掘的重要性,对知识管理和数据挖掘领域当今广为流行的应用工具也多有涉猎,应该说这些内容,是我们将来开展到领导决策支持应用阶段时应该考虑的内容,因此具有很强的前瞻性和可参考性第三天,由业界知名人士杨大川讲授《商业智能》,商业智能BI是目前信息化开展的最高境界,但是它需要有强大的和海量的数据做根抵,它是领导决策的智能化工具,目前有不少企业在用一些BI的工具来发展客户和市场的分析,他们从浩瀚的数据库中钻取自己实用的信息来发展决策层的智能分析,我想这应该是我们开展的目标和方向回公司后,我针对自己所学的知识,找出自己领略最深刻、与目前我们公司信息开展关系最密切的部份专门制作了PPT,向各位同事做了汇报和交流,由于大家对这些内容的浓厚兴趣,使得本来打算利用晚上两个小时讲完的内容,分了三个晚上共十多个小时才完成通过学习汇报,我感觉大家对我所学到的东西有了一个整体认识,通过内部交流,也更加加速了消化和吸收,固然更重要的是在今后的工作中自觉地结合所学到达致用的目的8月6日至9日,我有幸参加了在哈尔滨举办的数据集成与数据分析的高级培训班报完名后,工作人员给我发放了本次培训教材拿到培训教材后,我赶紧浏览了一遍,对本次培训的全部知识点有了大致了解,这次培训内容主要包括如下内容商业智能、数据集成实战、数据仓库与多维数据建模、数据分析方法以及OLAP分析演示本次培训方式采取老师在每介绍完相关知识后,再介绍微软在该方面的解决方案,如SQL数据库中的SSAS、SSRS等通过三天紧张的培训,主要的心得体味是商业智能核心技术一数据仓库的功能非常强大,具有数据抽取、清洗、加载、集成、分析以及将快速得出的分析结果发展各种图形化展示功能,可以通过MS Excel将数据库中的图形效果直接展示给用户,也可以通过Servlet和FLASH技术在门户或者决策支持系统发展展示
(一)共同之处减少数据冗余和不一致性,提升对数据的洞察力,都是跨业务系统的依赖不少相同的技术手段,都涉及到ETL技术、都强调数据质量建立方法类似,都需要数据标准作指导,都需要统一的安全策略二不同之处处理类型不同主数据管理MDM系统是偏实时交互的应用,为各个业务系统提供联机交易效劳;而数据仓库是面向是分析型的应用,是在大量历史数据的根抵上发展多维分析实时性不同主数据管理在运行中要大量依赖实时整合的方式来发展主数据的集成和同步,对实时性要求高,而数据仓库存储的是历史数据,对实时性要求较低数据量不同数据仓库存储的是海量的历史数据和各个维度的汇总数据,而主数据管理存储的仅仅是组织机构、工程工程等根本信息,存储的数据量较小效劳对象不同主数据管理的效劳对象是效劳对象是0A、人力资源、供应链、财务等业务系统,而数据仓库的、效劳对象是各层领导和业务分析、业务决策人员等数据仓库存储历史的业务处理明细数据和维度的汇总数据数据集市为满足各种特定分析需要,存储个性化分析汇总后的数据,为用户提供快捷的访问ODS存储实时的业务数据数据仓库的设计不可能一步到位,应按用户需求和业务需要逐步完善2数据仓库的设计范式应满足第三范式,即雪花型数据模型设计⑶数据仓库的设计尽量不使用视图,而使用事实表,并且表之间一定要有严格的约束4数据仓库事实表中要设置自身的主键建议创立数字主键,不建议使用业务系统中的主键,尽管可能是一样的,可以将其设置为事实表的代理健;尽量不用业务系统中的“备注”字段,防止引用描述性属性;字段类型为字符类型的,使用nvarchar,而不用varcharo5数据权限的控制数据库角色的权限只能控制到表的操作权限,而数据仓库的角色可以控制到数据仓库中字段的操作权限6根据业务分析需要,当数据仓库中的数据超过了分析周期时,可以将其迁移到磁带库中数据抽取有两种方式增量抽取和彻底抽取增量抽取中推荐采用时间戳法抽取,当数据更新量不大时,可以采用触发器法抽取增量抽取方法并不一定优于彻底抽取方法,需要根据实际情况发展选择2数据抽取ETL的过程需要被监控,对抽取失败的数据应重新同步3数据挖掘的方法有决策树、聚类、时间序列、贝叶斯、关联、神经网络、逻辑回归、线性回归、文本挖掘0LAP分析的维度、层次、Cube的了解根据Cube新建向导,创立Cube,将维度和层次引入,利用MDX查询多维数据,并根据需要,可以选择KPI中的“值”、“目标”、“状态指示灯”、“趋势”、“趋势信号灯”方式发展展示,展示后,可以对其单元格中的数据发展数据钻取获取明细数据,每次钻取都会向数据仓库发出一条查询语句⑵聚类分析聚类分析有三种MOLAP.ROLAP、HOLAPo M0LAP是将聚合数据和明细数据都存放在Cube中,是非实时的,存放于一个文本文件;R0LAP是实时的,只存放Cube框架,包括层次、维度等,用户在发展分析时,数据需要发展实时统计分析;H0LAP介于M0LAP与R0LAP之间,聚合数据存放在Cube中,明细数据仍存放在数据仓库中推荐使用MOLAPo⑶报表分析SSRS可以通过报表分析对事实表或者数据表以及矩阵发展任意的集成,展示后,不能对其单元格中的数据发展数据钻取获取明细数据这段时间,公司出钱让我们几人去参加培训了,工程数据分析师培训,讲师全部都是从北京请过来的,都是该领域的专家级人物,既有扎实的理论,也有丰富的实战经历虽然老师的实战经历学不到多少,但是老师赋予的精彩讲解,也让我学到了许多实用的东西,自己可以在以后的工作中积累经历培训期间老师给我们看了他操作的一些实用软件,还包括配色软件,虽然自我感觉配色还行,但是没软件应用起来方便还有他自己做的一些“系统”,这些系统都是EXCEL与水晶易表做的在这之前我就了解过EXCEL做的系统是怎样做的,但自己还未曾经去动手做过,无非也学了一些之前都没用过的EXCEL小技巧此外一个水晶易表这个软件在老师上课的时候就我一个人知道,其实是在去年就知道了,也拿到了中文版教程和软件,也与部分朋友分享过,但因为当时这个软件看起来不是非常实用,加之工作忙、软件是英文的,所以就没去研究它现在再来看这个软件,在老师的手中居然可以那样出神入化,这样再一次激发我去学习水晶易表的欲望,在课间已经请教了老师一些根本操作,剩下的就是发展动手实践及深入研究动态链接这次主要由于参加培训的学员大部份都没接触过数据分析,所以老师也没深入讲授数据挖掘,后来再我们的要求下就继续介绍了一些固然也从培训学到了一些分析方法,无非那些方法都是在最根本一些原理根抵上的,如正态分布、余弦定理、边缘分布等,这些都是根本原理,但我们都忘光了,也不知道可以应用在这些方面,现在更加体味到中国的教育与社会实际脱节的严重性在老师面前我都不敢说我是学数据分析专业的,自己的专业都没有应用在实际工作中,真是羞愧数据分析在我来现在的公司前就已经意识到将在我现在的工作具有重要的作用,之前也想过要发展学习,但是看了一点资料不知道为什么就没继续下去了,可能是看了大堆的文字资料,觉得有些枯燥老师也提到如果之前就去看书普通是看不进去的,没有什么效果,或者说没有感觉,惟独自己去动手操作后,遇到一些艰难问题,再去看书,这样才干理解书中的内容,想想是非常有道理的通过这次的数据分析师培训,让我了解到了国内数据分析行业目前的开展状况和未来良好的开展趋势,也坚决了我从事数据分析的信心和决心。