数据挖掘的一些总结

深入浅出谈数据挖掘段勇编者的话本文对数据挖掘概念的产生，数据挖掘与常规数据分析的主要区别，所能解决的几大类问题和所应用的领域都有着非常清晰的论述作者在此篇文章中认为数据挖掘最重要的要素是分析人员的相关业务知识和思维模式丰富的业务知识是设计有效的相关变量的必要条件，而分析人员的思维模式从此外一个方面也保障了设计变量的结构化和完整性所以我们在掌握丰富的业务知识同时，如果能够按照正确的思维模式去思量问题，将会发现解决问题并非很艰难的

一、数据挖掘的本质普通来说，上戢狭义的观点认为数据挖掘区别于常规数据分析的关键点在于数据挖掘主要侧重解决四类问题分类、聚类、关联、预测（关于这四类问题后文会详细阐述），而常规数据分析则侧重于解决除此之外的其他数据分析问题如描述性统计、交叉报表、假设检验等让我们来看一个例子某挪移运营商想了解目前彩铃业务的发展现状如何？解决这个问题的方法就是常规的数据分析，通过描述性统计和交叉报表，可以知道目前彩铃业务的用户数、普及率、收入情况？不同品牌用户间的情况和差异？不同消费水平用户间的情况和差异……这样的分析主要解决了企业过去发生了什么以及存在什么问题；如果该运营商希翼建立一个模型（或者规则），从没有使用彩铃的用户群中找出一部份用户作为彩铃营销活动的目标用户，如通过短信或者外呼的方式告知用户可以免费试用彩铃一个月解决这个问题则需要使用数据挖掘的方法，过决策树方法可以找出使用彩铃业务可能性较高的用户的一系列特征规则，然后根据这些规则去筛选目标用户固然数据挖掘也并非解决这个问题惟一办法，因为在没有数据挖据这个概念之前（年以前），这样的问题在商业中也是普遍存在的通过常规的辘分析依然^解决这个问题,例如研究不同品牌、不同消费水平、不同年龄、不同……的用户使用彩铃的情况，也可以总结出一套比较实用的规则来作为筛选彩铃目标用户的规则固然，这样的方法跟数据挖掘方法相比存在一定的不足，由于篇幅的限制，这个问题留给大家去思量个人的观点数据挖掘很大程度上来说更像是一个框架概念它所使用的各种方法在这个概念形成之前已经普遍存在，例如统计学中的多元回归、回归，人工智能中的神经网络等在上个世纪年代，由于数据库的高速发展，企业对精确化营销的迫切需求，导致了数据挖掘这个概念和新名词的诞生固然我们也不能简单的认为甥居挖掘就是一新瓶装老酒，毕竟,甥居挖掘根据所解决的不同类型的问题，把包含统计学在内的各种方法进行了整合和重新设计,形成为了一套新的数据分析方法设口框架，在这个框架内,源源不断的不少人投入进来，这其中主要包含两类人一类人是在更新设计新的算法；一类人是在不断的探索既有的方法在商业中的各种应用

二、娄媚挖掘主要解决的四类问题数据挖掘非常清晰的界定了它所能解决的几类问题这是一个高度的归纳，数据挖掘的应用就曷巴这几类问题演绎的一个过程下面让我们来看看它所解决的四类问题是如何界定的:□分类问题分类问题属于预测性的问题，但是它跟普通预测问题的区别在于其预测的结果是类别如、、三类而不是一个具体的数值如、、......A BC556575举个例子，你和朋友在路上走着，迎面走来一个人，你对朋友说我猜这个人是个上海人，那末这个问题就属于分类问题；如果你对朋友说我猜这个人的年龄在岁摆布，30那末这个问题就属于后面要说到的预测问题商业案例中，分类问题可谓是最多的给你一个客户的相关信息，预测一下他未来一段时间是否会离网？信用度是好/普通/差？是否会使用你的某个产品？将来会成为你的高/中/低价值的客户是否会响应你的某个促销活动……有一种很特殊的分类问题，那就是二分问题，显而易见，二分问题意味着预测的分类结果惟独两个类如是/否；好/坏；高/低……这种问题也称为问题之所以说0/1它很特殊,主要是因为解决这种问题时，我们只需关注预测属于其中T的概率即可，因为两个类的概率可以互相推导如预测的瞬为那末的才蟀X=1PX=1,X=0P X=0=1-P这一点是非常重要的X=l可能不少人已经在关心数据挖掘方法是怎么预测这个问题的了，其实并不难解P X=l决这种问题的一个大前提就是通过历史数据的采集，已经明确知道了某些用户的分类结果，如已经采集到了个用户的分类结果，其中个是属于1000070001这种；个属于这种伴有着采集到分类结果的同时，还采集了这个用3000010000户的若干特征指标、变量这样的数据集普通在数据挖掘中被称为训僦，顾名思义，分类预测的规则就是通过这个数据集训练出来的训练的大概思路是这样的对所有已经采集到的特征/变量分别进行分析，寻觅与目标变量相关的特征/变量，然后归纳0/1出（）与筛选出来的相关特征/变量之间的关系（不同方法归纳出来的关系的表达P x=l方式是各不相同的，如回归的方法是通过函数关系式,决策树方法是通过规则集）女嚅了解细节,能阅决策树、回归、判别分析、神经网络、、、Logistic InpurityEntropy、、、Chi-square GiniOdds OddsRatio.....□聚类问题聚类问题不属于预测性的问题，它主要解决的是把一群对象划分成若干个组的问题划分的依据是聚类问题的核心所谓物以类聚，人以群分，故得名聚类聚类问题容易与分类问题混淆，主要是语言表达的原因，因为我们常说这样的话”根据客户的消费行为，我们把客户分成三个类，第一个类的主要特征是……，实际上这是一个聚类问题，但是在表达上容易让我们误解为这是个分类问题分类问题与聚类问题是有本质区别的分类问题是预测一个未知类别的用户属于哪个类别（相当于做单选题）,而聚类问题是根据选定的指标，对一群用户进行划分（相当于做开放式的论述题）,它不属于预测问题聚类问题在商业案例中也是一个非往往见的，例如需要选择若干个指标（如价值、成本、使用的产品等）对已有的用户群进行划分特征相似的用户聚为一类，特征不同的用户分属于不同的类聚类的方法层出不穷，基于用户间彼此距离的长短来对用户进行聚类划分的方法依然是当前最流行的方法大致的思路是这样的首先确定选择哪些指标对用户进行聚类；然后在选择的指标上计算用户彼此间的距离，距离的计算公式不少，最常用的就是直线距离（把选择的指标当做维度、用户在每一个指标下都有相应的取值，以看］故多维空间中的一个点，用户彼此间的距离就可理解为两者之间的直线距离）；最后聚类方法把彼此距离比较短的用户聚为一类，类与类之间的距离相对照较长女嚅了解细节，请查阅聚类分析、系球类、聚类、欧氏隅、闵双巨离、马氏距K-means S离等知识□关联问题说起关联问题，可能要从啤酒和尿布说起了有人说啤酒和尿布是沃尔玛超市的一个经典案例，也有人说，是为了宣传数据挖掘/数据仓库而编造出来的虚构的托不管如何，啤酒和尿布给了我们一个启示世界上的万事万物都有着千丝万缕的联系，我们要善于发现这种关联关联分析要解决的主要问题是一群用户购买了不少产品之后，哪些产品同时购买的几率比较高买了产品的同时买哪个产品的几率比较高可能是由于最初关联分析主要是A在超市应障广泛，所以又叫购物篮分析，英文简称为,当®MBA非彼戟MBA MarketBasket Analysis0如果在研究的问题中，一个用户购买的所有产品假定是同时一次性购买的，分析的重点就是所实用户购买的产品之间关联性；如果假定一个用户购买的产品的时间是不同的，而且分析时需要突出时间先后上的关联，如先买了什么，然后后买什么？那末这种问题称之为序列问题，它是关联问题的一种特殊情况从某种意义上来说,序列问题也可以按照关联问题来操作关联分析有三个非常重要的概念，那就是三度支持度、可信度、提升度假设有10000个人购买了产品，其中购买产品的人是个，购买产品的人是个，同时A1000B2000AB购买的人是个支持圉旨的是关联的产品假定产品和产品关联）800A B同时购买的人数占总人数的比例，即,有的用户同时购买了800/10000=8%8%A和两个产品；可信度指的是在购买了一个产品之后购买此外一个产品的可能性，伤收B函买了产品之后购买产品的可信度,即的用户在购买A B=800/1000=80%80%了产品之后会购买产品;提升度就是在购买产品这个条件下购买产品的可能性A BA B与没有这个条件下购买产品的可能性之比，没有任］可条件下购买产品可能性B B,那末提升度=2000/10000=20%=80%/20%=4如需了解细节，请查阅关联规则、算法中等相若口识apriror□预测问题此处说的预测问题指的是狭义的预测，并不包含前面阐述的分类问题，因为分类问题也属于预测普通来说我们谈预测问题主要指预测变量的取值为连续数值型的情况例如天气预报预测明天的气温、国家预测下一年度的增长率、电信运营商预测下一GDP年的收入、用户数等？预测问题的解决更多的是采用统计学的技术，例如回归分析和时间序列分析回归分析是一种非常古典而且影响深远的统计方法，最早是由达尔文的表弟高尔顿在研究生物统计中提出来的方法，它的主要目的是研究目标变量与影响它的若干相关变量之间的关系,通过拟和类（以……的关系式刘曷建量之间的关系Y=aXl+bX2+通过这个关系式,在给定一组、的取值之后就可以预测未知的值XI X2……Y相对来说，用于预测问题的回归分析在商业中的应用要远远少于在医学、心理学、自然科学中的应用最主要的原因是后者是更偏向于自然科学的理论研究，需要有理论支持的实证分析，而在商业统计分析中，更多的使用描述性统用口报表去揭示过去发生了什么，或者是应用性更强的分类、聚类问题如需了解细节，请查阅一元线性回归分析、多元线性回归分析、最小二乘法等相弟口识

三、数据挖掘的应用领域数据挖掘一开始就是面向应用而诞生的，前面说到数据挖掘主要解决四大类的问题,如果把这些问题演绎到不同的行业，我们将看到数据挖掘的应用是非常广泛的以我们时常接触的挪移通信行业来说，结合前面提到的四大类问题，我们看看数据挖掘在通信行业都有哪些应用分类问题□离网预测预测用户在未来一段时间内离网的风险□信用申请评分根据用户资料评估用户是否可以授信（如预付费用户可以透支、后付费用户可以延长帐期）□信用行为评分根据用户过去的消费行为特征评估信用得分高低，便于调整话费透支额度或者付费帐期□定位产品（如彩铃、、增值数据业务等）目标用户构建模型筛选产品营销的WAP目标用户群聚类问题□用户细分选择若干指标把用户群聚为若干个组，组内特征相似、组间特征差异明显固然用户细分的方法不少，不一定都是采用聚类方法聚类的优点是可以综合处理多维变量，缺点是随之带来的不易解释性一种便于解释的细分方法是结合业务对用户群进行人为的划分，习惯上称为的方法这种方法的优点是便于解释且应用性强，Pre-Define缺点是对业务要求比较高，划分边界比较难定，对多维变量处理有难度关联问题□交叉销售针对用户已经使用的产品和业务，向其推荐他没有使用的，但可能有兴趣的产品交叉销售的问题从某种角度上来也可以理解为分类问题，与定位产品目标用户这个问题比较相似预测问题匕瞰成型的应用不多，普通多为用户数预测、收入预测等

四、什么是数据挖掘最重要的要素？回到文章一开始举的那个案例来说，如果某运营商需要建立一个模型来筛选一部份目前还没实用彩铃的用户作为推广彩铃业务的目标用户，那末这样一个任务要取得成功的关键要素是什么呢？是分析人员的思维模式、分析采用的方法、相关业务知识还是分析采用的工具？从技术的角度来看这个问题，能不能得出精准的答案主要取决于是否寻觅到与目标（是否使用彩铃）相关的变量而影响变量选择的关键并非选择了不同分析方法，而是是否提供了足够和有效的变量的去供分析方法选择也就是说不同的分析方法选择相关变量的能力是相差不大的，关键是是否提供了足够的变量供选择变量的提供取决于变量的采集和设计,影响它最关键的两个因素是相关业务知识和分析人员的思维模式丰富的业务知识是设计有效的相关变量的必要条件分析人员的思维模式从此外一个方面保障了设计变量的结构化和完整性麦肯锡公司一个重要的思维模式就是，即不重叠、不遗漏这是一个非常要命的观点，如果都能按照这个模式去思量问题，你会发现解决问题原来也并非那末艰难分析人员的业务知识和思维模式不仅仅简单的影响着变量的设计，还包括整个数据挖掘任务的方案框架设计以及后续的结果应用，在这里以终为始的思维模式又显得娘重要纵观其他要素，分析方法对结果的影响主要体现在结果的解释性和稳定性上例如在信用评分应用中，回归的结果就更便于解释和应用；而决策树方法对极值、非线性关系的处理就比其他方法更稳健此外，分析工具对结果的影响较小，但是在功能、操作的便利性和效率方面差别也是相当大的软件相比、等软件来说在效率和功能方面有较大的优势。