还剩8页未读,继续阅读
本资源只提供10页预览,全部文档请下载后查看!喜欢就下载吧,查找使用更方便
文本内容:
我们先从两张图来看用户群体的区别用户群体之非互联网数据平台用户,企业的、运营的需求主要是依赖于报表、商业智能团队的数据分析师去各种分析与挖掘探索;.支撑这些人是开辟工程师、数据模型建模、数据架构师、报表设计人员,同时这些角色又是数据平台数据建设与使用方,数据平台的技术框架与工具实现主要有技术架构师、开辟等.用户面对是结构化生产系统数据源用户群体之互联网数据平台用户数据产品按照面向的功能与业务可以划分为面向平台级别的工具型产品、面向用户端的业务级数据产品按照用户分类可以分为面向内部用户数据产品,面向外部用户个人数据产品、商户(企业)数据产品面向平台级别有数据质量、元数据、调度、资管配置、数据同步分发等等约年的平台结构约年的平台结构阶段三用数据的一些角色(分析师、运营或者产品)会自己参预到从数据整理、加工、分析阶段当数据平台变为自由全开放,使用数据的人也参预到数据的体系建设时,基本会因为不专业型,导致数据质量问题、重复对分数据浪费存储与资源、口径多样化等等原因此时原有建设数据平台的多个角色可能转为对其它非专业做数据人员的培训、咨询与落地写更加适合当前企业数据应用的一些方案等.给用户提供的各类丰富的分析、取数的产品,简单上手的可以使用.原有、数据模型角色转为给用户提供平台、产品、数据培训与使用咨询.数据分析师直接参预到数据平台过程、数据产品的建设中去,用户面对是数据源多样化,比如日志、生产数据库的数据、视频、音频等非结构化数据在互联网这个大数据浪潮下,年以后数据平台是如何去建设?如何服务业务?企业的不同发展阶段数据平台该如何去建设的?这个大家是可以思量的但是我相信互联网企业是非常务实的,基本不会采用传统企业的自上而下的建设方式,互联网企业的业务快速变与迭代要求快速分析到数据,必须新业务数据迭代,老业务数据快速去杂.互联网企业中员工年龄比非互联网企业的要年轻、受教育程度、对计算机的焦虑程度明显比传统企业要低、还偶遇其它各方面的缘故,导致了数据平台所面对用户群体与非互联网数据平台有所差异化;.互联网数据平台的使用与建设方是来自各方面的人,数据平台又是技术、数据产品推进建设的.分析师参预数据平台直接建设比重增加.原有的数据仓库开辟与模型架构师的职能也从建设平台转为服务与咨询,用户面对是数据源多样化,比如日志、生产数据库的数据、视频、音频等非结构化数据从这用户群体角度来说这非互联网、互联网的数据平台用户差异性是非常明显,互联网数据平台中不少理论与名词都是从传统数据平台传递过来的,本文将会分别阐述非互联网、互联网数据平台区别非互联网时代自从数据仓库发展起来到现在,基本上可以分为五个时代、四种架构.约在年前的全企业集成,年后的企业数据集成时代,年年的数据集市年摆布的两个架构吵架.年年摆布的合并年代数据仓库第一代架构(开辟时间年)海尔集团的一个项目,架构的使用的是微软的数据抽取加工工具老人使用过微软的知道有哪些弊端,后便给出了几个的截图.功能进销存分析、闭环控制分析、工贸分析等.硬件环境:业务系统数据库中央数据库服务器:服务器.开辟环境数据仓库第二代架构这是上海通用汽车的一个数据平台,别看复杂,严格意义上来讲这是一套的架构、在数据仓库中采用的是准三范式的建模方式去构建的、大约涉及到十几种数据源,建模中按照某一条主线把数据都集成起来这个数据仓库平台计划三年的时间构建完毕,第一阶段计划构建统统一辈子性周期视图、客户统一视图的数据,完成对数据质量的摸底与部份实施为业务分析与信息共享提供基础平台第二阶段是完成主要业务数据集成与视图统一,初步实现企业绩效管理第三阶段全面完善企业级数据仓库,实现核心业务的数据统一数据集市架构这个是国内某银行的一套数据集市,这是一个典型数据集市的架构模式、面向客户经理部门的考虑分析数据仓库混合性架构这是太平洋保险的数据平台,目前为止我认识的不少人都在该项目中呆过,固然是保险类的项目回过头来看该平台架构显然是一个混合型的数据仓库架构它有混合数据仓库的经典结构,每一个层次功能定义的非常明确新一代架构操作型数据集市仓库大约是在年提出来的,严格上来说,操作型数据集市(仓库)是实时数据仓库的一种,他更多的是面向操作型数据而非历史数据查询与分析数据模型”数据模型“这个词只要是跟数据沾边就会浮现的一个词在构建过程中,有一个角色理解业务并探索分散在各系统间的数据,并通过某条业务主线把这些分散在各角落的数据串联并存储同时让业务使用,在设计时苦逼的地方除了考虑业务数据结构要素外,还得考虑可操作性、约束性(备注约束性是完成数据质量提升的一个关键要素,未来新话题主题会讨论这些),这个既要顾业务、数据源、合理的整合的角色是数据模型设计师,又叫数据模型师平台中模型设计所关注的是企业分散在各角落数据、未知的商业模式与未知的分析报表,通过模型的步骤,理解业务并结合数据整合分析,建立数据模型为指定清洗规则、为源数据与目标提供(备注代指数据从不同源到数据平台的整个过程,可理解为数据加工算法,给数码看的,互联网与非互联网此处差异性也较为明显,非互联网数据平台对定义与架构较为复杂)支持、理清数据与数据之间的关系(备注是指的数据清洗数据质量相关不管是在哪个行业,是最令人头痛的问题,分业务域、技术域的数据质量问题,需要通过事前盘点、事中监控、事后调养,有机会在阐述)大家来看一张较为严谨的数据模型关系图.数据模型是整个数据平台的数据建设过程的导航图.有利于数据的整合数据模型是整合各种数据源指导图,对现有业务与数据从逻辑层角度进行了全面描述,通过数据模型,可以建立业务系统与数据之间的映射与转换关系排除数据描述的不一致性如同名异义、同物异名.减少多余冗余数据,因为了解数据之间的关系,以及数据的作用在数据平台中根据需求采集那些用于分析的数据,而不需要那些纯粹用于操作的数据数据模型在数据平台的数据仓库中是一个统称,严格上来讲分为概念模型、逻辑模型、物理模型备注四类模型如何去详细构建文本不深讲,关于非互联网企业的数据模型网上非常多对的定义是面向事物处理、面向数据管理,从数据的特征上需要坚持维护最细粒度的数据、维护最微观层次的数据关系、保存数据历史所以在构建完毕的数据平台中可以从中映射并检查业务信息的完整性(同时也是养数据过程中的重要反馈点),这种方式还可以找出多个系统相关和重合的信息,减少多个系统之间数据的重复定义和不一致性,减小了应用集成的难度对(备注数据集市,非挖掘模型)的定义是面向分析过程的,因为这个模型对业务用户非常容易理解,同时为了查询也是做了专门的性能优化所以星型、雪花模型很直观比较高性能为用户提供查询分析该方式的建模首先确定用户需求问题与业务需求数据粒度,构建分析所需要的维度、与度量值形成星型模型;(备注涉及的复杂维度、退化维度等不在这个讨论范围)数据模型的业务建模阶段、领域概念模型阶段、逻辑模型阶段、物理模型阶段是超级学术与复杂的话题,而且在模型领域根据特点又分主数据、(企业级统一视图)、通用模型的金融、保险行业通用模型、的金融通用模型、电信挪移通用模型等,锁涉及到术语”扩展“、”扁平化“、”裁剪”等眼花撩乱的建模手法,数据模型不同层次、、、的分层目的不同导致模型设计方法又不同相信业界有不少大牛能讲的清晰的,以后有机会再交流互联网时代数据源做数据的人,从非互联网进入到互联网最显著的特点是面对的数据源类型忽然多了起来,在传统企业数据人员面对的是结构化存储数据,基本来自、表格、系统等,在数据的处理技术上与架构上是非常容易总结的,但是在互联网因为业务独特性导致了所接触到的数据源特性多样化,网站点击日志、视频、音频、图片数据等不少非结构化快速产生与保存,在这样的数据源的多样化与容量下采用传统数据平台技术来处理固然是有些力不从心了(备注的科学家分析员道格莱尼的一份数据增长报告基础上提出了大数据的特性大数据特性网上概念不少大家可以问度娘)我在这里整理一个表格不同时代数据源的差异性(备注可能整理的有点不全)数据平台的用户总结下来互联网的数据平台“服务”方式迭代演进大约可以分为三个阶段阶段一约在年年初的互联网数据平台,那时建设与使用上与非互联网数据平台有这蛮大的相似性,主要相似点在数据平台的建设角色、与使用到的技术±
0.老板们、运营的需求主要是依赖于报表、分析报告、暂时需求、商业智能团队的数据分析师去各种分析、暂时需求、挖掘,这些角色是数据平台的合用方,开辟工程师、数据模型建模、数据架构师、报表设计人员,同时这些角色又是数据平台数据建设与使用方.数据平台的技术框架与工具实现主要有技术架构师、开辟等.用户面对是结构化的生产数据、端非结构化等数据•的数据处理方式(备注在数据处理的方式上,由传统企业的基本进化为)现在的淘宝是从年开始构建自己的数据仓库,年是采用的单节点、到年更换为的再到年的节点环境在这段时间的在、、身上的投入巨大备注对这段历史有兴趣可以去度娘“【深度】解密阿里巴巴的技术发展路径“),同时淘宝的数据集群也变为国内最大的数据仓库集群随着年引入了平台进行新一代的数据平台的构建,此时的因为优秀的吞吐量以及有限的任务并发安排到了网站日志的处理以及给分析师提供的数据分析服务该阶段的数据模型是根据业务的特性采用退化、扁平化的模型设计方式去构建的阶段二:互联网的数据平台除了受到技术、数据量的驱动外,同时还来自数据产品经理梳理用户的需求按照产品的思维去构建并部署在了数据的平台上互联网是一个擅长创造流程新概念的行业约在年到年摆布,随着数据平台的建设逐渐的进入快速迭代期,数据产品、数据产品经理这两个词逐渐的升温以及被广泛得到认可(备注数据产品相关内容个人会在数据产品系列中做深入分享),同时数据产品也随着需求、平台特性分为面向用户级数据产品、面向平台工具型产品两个维度分别去建设数据平台.企业各个主要角色都是数据平台用户.各类数据产品经理(偏业务数据产品、偏工具平台数据产品)推进数据平台的建设,分析师参预数据平台直接建设比重增加.数据开辟、数据模型角色都是数据平台的建设者与使用者(备注相对与传统数据平台的数据开辟来说,逐渐忽略了数据质量的关注度,数据模型设计角色逐渐被弱化).用户面对是数据源多样化,比如日志、生产数据库的数据、视频、音频等非结构化数据.原有中部份数据转换功能逐渐前置化,放到业务系统端进行(备注部份原有在阶段需要数据标准化一些过程前置在业务系统数据产生阶段进行,比如日志挪移互联网的日志标准化互联网企业随着数据更加逐渐被重视,分析师、数据开辟在面对大量的数据需求、海量的暂时需求疲惫不堪,变成为了资源的瓶颈,在当时的状态传统的各类的、工具都无法满足互联网行业个性化的数据需求开始考虑把需求固定化变为一个面向最终用户自助式、半自助的产品来满足快速获取数据分析的结果,当总结出的指标、分析方法(模型)、使用流程与工具有机的结合在一起时数据产品就诞生了(备注当时为了设计一个数据产品曾经阅读了某个部门的多个暂时需求与相关)。