C02 利用Python实现大数据分析与数据挖掘技术培训5天

Python实现大数据挖掘技术培训【课程目标】Python已经成为数据分析和数据挖掘的首选语言，作为除了Java、C/C++/C#外最受欢迎的语言本课程基于Python工具来实现大数据的数据分析和数据挖掘项目基于业务问题，在数据挖掘标准过程指导下，采用Python分析工具，实现数据挖掘项目的每一步操作，从数据预处理、数据建模、数据可视化，到最终数据挖掘结束，帮助学员掌握Python用于数据挖掘，提升学员的数据化运营及数据挖掘的能力通过本课程的学习，达到如下目的

1、全面掌握Python语言以及其编程思想

2、掌握常用扩展库的使用，特别是数据挖掘相关库的使用

3、学会使用Python完成数据挖掘项目整个过程

4、掌握利用Python实现可视化呈现

5、掌握数据挖掘常见算法在Python中的实现【授课时间】5天时间（全部模块讲完需要5天时间，可以根据时间需求拆分内容模块）【授课对象】业务支持部、IT系统部、大数据系统开发部、大数据分析中心、网络运维部等相关技术人员【学员要求】课程为实战课程，要求

1、每个学员自备一台便携机（必须）

2、便携机中事先安装好Excel2010版本及以上

3、便携机中事先安装好Python

3.6版本及以上注讲师现场提供开源的安装程序、扩展库，以及现场分析的数据源【授课方式】语言基础+挖掘模型+案例演练+开发实践+可视化呈现采用互动式教学，围绕业务问题，展开数据分析过程，全过程演练操作，让学员在分析、分享、讲授、总结、自我实践过程中获得能力提升【课程大纲】第一部分Python语言基础目的掌握基本的Python编程思想与编程语句，熟悉常用数据结构的操作

1、Python简介

2、开发环境搭建＞Python的安装＞扩展库的安装

3、掌握Python的简单数据类型＞字符串的使用及操作＞整数、浮点数

4、掌握基本语句＞if＞while＞for^print等＞基本运算＞函数定义、参数传递、返回值

5、掌握复杂的数据类型列表/元组＞列表操作访问、添加、修改、删除、排序＞列表切片、复制等＞列表相关的函数、方法＞元组的应用

6、复杂数据类型字典创建、访问、修改、删除、遍历字典函数和方法

7、复杂数据类型集合

8、掌握面向对象编程思想创建类、继承类模块

9、函数定义、参数传递、返回值

10、标准库与扩展库的导入

11、异常处理try-except块演练基本的Python编程语句第二部分Python语言与数据挖掘库目的掌握数据集结构及基本处理方法，进一步巩固Python语言

1、数据挖掘常用扩展库介绍Numpy数组处理支持Scipy矩阵计算模块Matplotlib数据可视化工具库Pandas数据分析和探索工具StatsModels统计建模库Scikit-Learn机器学习库Keras深度学习（神经网络）库Gensim文本挖掘库

2、数据集读取与操作读取、写入读写文本文件读写csv文件读写Excel文件从数据库获取数据集

3、数据集的核心数据结构（Pandas数据结构）DataFrame对象及处理方法＞Series对象及处理方法演练用Python实现数据的基本统计分析功能第三部分数据可视化处理目的掌握作图扩展库，实现数据可视化

1、常用的Python作图库＞Matplotlib库＞Pygal库

2、实现分类汇总演练按性别统计用户人数演练按产品+日期统计各产品销售金额

3、各种图形的画法＞直方图＞饼图＞折线图＞散点图

4、绘图的美化技巧演练用Python库作图来实现产品销量分析，并可视化第四部分数据挖掘基础目的掌握数据挖掘标准流程

1、数据挖掘概述

2、数据挖掘的标准流程CRISP-DM＞商业理解＞数据准备＞数据理解＞模型建立＞模型评估＞模型应用

3、数据挖掘常用任务与算法案例用大数据实现精准营销的项目过程第五部分数据理解和数据准备目的掌握数据预处理的基本环节，以及Python的实现

1、数据预处理＞异常值处理3准则，IQR准则＞缺失值插补均值、拉格朗日插补＞数据筛选/抽样＞数据的离散化处理＞变量变换、变量派生

2、数据的基本分析＞相关分析原理、公式、应用＞方差分析原理、公式、应用＞卡方分析原理、公式、应用＞主成分分析降维案例用Python实现数据预处理及数据准备第四部分分类预测模型实战

1、常见分类预测的模型与算法

2、如何评估分类预测模型的质量＞查准率＞查全率＞R0C曲线

3、逻辑回归分析模型＞逻辑回归的原理＞逻辑回归建模的步骤＞逻辑回归结果解读案例用sklearn库实现银行贷款违约预测

4、决策树模型＞决策树分类的原理＞决策树的三个关键问题＞决策树算法与实现案例电力窃漏用户自动识别

5、人工神经网络模型（ANN）＞神经网络概述＞神经元工作原理＞常见神经网络算法（BP、LM、RBF、FNN等）案例神经网络预测产品销量

6、支持向量机（SVM）＞SVM基本原理＞维灾难与核心函数案例基于水质图像的水质评价

7、贝叶斯分析＞条件概率＞常见贝叶斯网络第五部分数值预测模型实战

1、常用数值预测的模型＞通用预测模型回归模型＞季节性预测模型相加、相乘模型＞新产品预测模型珀尔曲线与龚伯兹曲线

2、回归分析概念

3、常见回归分析类别第六部分聚类分析（客户细分）实战

1、客户细分常用方法

2、聚类分析（Clustering）＞聚类方法原理介绍及适用场景＞常用聚类分析算法＞聚类算法的评价案例使用SKLearn实现K均值聚类案例使用TSNE实现聚类可视化

3、RFM模型分析＞RFM模型，更深入了解你的客户价值＞RFM模型与市场策略案例航空公司客户价值分析第七部分关联规则分析实战

1、关联规则概述

2、常用关联规则算法

3、时间序列分析案例使用apriori库实现关联分析案例中医证型关联规则挖掘第八部分案例实战（学员主导，老师现场指导）

1、电商用户行为分析及服务推荐

2、基于基站定位数据的商圈分析结束课程总结与问题答疑。