还剩27页未读,继续阅读
本资源只提供10页预览,全部文档请下载后查看!喜欢就下载吧,查找使用更方便
文本内容:
数据的描述复习ppt课件•数据描述的基本概念•数据的统计描述•数据可视化描述CATALOGUE•数据特征选择与降维目录•数据预处理技术•数据描述在机器学习中的应用01数据描述的基本概念CHAPTER数据类型定性数据定量数据分类数据顺序数据描述事物的性质、类别、描述事物的数量、大小、将事物按照某种标准进按照某种顺序排列的数属性等,如性别、国籍距离等,如年龄、收入行分类,如教育程度、据,如评分等级、优先等等婚姻状况等级等数据质量01020304准确性完整性及时性一致性数据是否真实、准确,没有误数据是否全面、完整,没有遗数据是否及时更新,反映最新数据在不同来源或不同时间是差或偏差漏或缺失的情况否保持一致数据维度时间维度属性维度描述事物随时间变化的情况,描述事物的各种属性,如人口如历史数据、未来预测等统计数据中的年龄、性别等空间维度度量维度描述事物在不同地理位置的情描述事物的大小、数量等,如况,如地区分布、国家差异等GDP、收入等02数据的统计描述CHAPTER均值、中位数和众数010203均值中位数众数所有数值的和除以数值的将数据从小到大排序后,出现次数最多的数值,反数量,表示数据的平均水位于中间位置的数值,用映数据的集中趋势平于表示数据的中等水平方差和标准差方差每个数值与均值之差的平方和的平均值,用于衡量数据的离散程度标准差方差的平方根,表示数据的离散程度数据的分布形态直方图和箱线图直方图通过条形的面积或高度表示数值出现的频数或概率,可以直观地展示数据的分布形态箱线图通过箱体、中位数、四分位数等来表示一组数据的分布特征,可以直观地比较不同数据集的分布情况03数据可视化描述CHAPTER散点图和线性图散点图用于展示两个变量之间的关系,通过散点的分布情况来反映变量间的关联程度线性图用于展示一个变量随另一个变量的变化趋势,通常用于表示时间序列数据或比例数据饼图和条形图饼图用于展示各部分在整体中所占的比例,通过扇形面积或角度来表示各部分占比条形图用于比较不同类别之间的数据,通过条形的长度或高度来表示各类别的数值大小热力图和树状图热力图通过颜色的深浅来表示数据的大小,通常用于展示多维数据的集中程度或变化趋势树状图用于展示层次结构或分类关系,通过节点和连接线来表示不同类别之间的关系04数据特征选择与降维CHAPTER主成分分析(PCA)•概念PCA是一种常用的降维技术,通过线性变换将原始特征转换为新的特征,新特征为原始特征的主成分,即能最大程度保留原始数据的方差主成分分析(PCA)步骤
1.标准化数据将数据转化为均值为0,标准差为1的形式
2.计算协方差矩阵主成分分析(PCA)
3.对协方差矩阵进行应用PCA常用于高特征值分解,得到特维数据的降维处理,征值和特征向量如图像处理、文本分析等
4.选择前k个最大的特征值对应的特征向量,构成降维后的数据线性判别分析(LDA)在此添加您的文本17字在此添加您的文本16字概念LDA是一种有监督的降维技术,通过投影将原始特
2.对上述矩阵进行特征值分解征转换为一维特征,使得投影后的数据类间差异最大,类内差异最小在此添加您的文本16字在此添加您的文本16字步骤
3.选择前k个最大的特征值对应的特征向量,构成降维后的数据在此添加您的文本16字在此添加您的文本16字
1.计算类间散度矩阵和类内散度矩阵应用LDA常用于分类问题中,如人脸识别、文本分类等特征选择与过滤概念
1.基于统计属性特征选择与过滤是一种简单直接的降维方如相关性系数、卡方检验等法,通过选择重要的特征或剔除不重要的特征来降低数据的维度
2.基于模型应用如决策树、随机森林等模型的特征重要性特征选择与过滤适用于对数据维度要求不评分高的情况,如数据量较大、特征间相关性较强等场景05数据预处理技术CHAPTER数据清洗缺失值和异常值处理
1.缺失值处理对于缺失的数据,可以采用填充缺失值的方法,如使用均值、中位数、众数等对缺失值进行填充,也可以采用插值、回归等方法预测缺失值
2.异常值处理异常值是指远离正常范围的数据点,对分析结果会产生较大影响可以采用基于统计的方法(如Z分数、IQR等)或基于距离的方法(如基于距离的孤立点检测)来识别异常值,并进行处理数据标准化和归一化
1.数据标准化将数据转换为均值为0,标准差为1的标准形式,通常使用Z分数方法实现标准化后的数据符合正态分布,有助于提高模型的稳定性和准确性
2.数据归一化将数据缩放到指定的范围,如[0,1]或[-1,1],通常使用最小-最大归一化方法实现归一化后的数据量纲一致,便于比较和处理数据转换离散化和独热编码
1.离散化将连续变量划分为若干个区间,将连续变量转换为分类变量离散化的方法包括等宽法、等频法和基于聚类的离散化等离散化后的数据便于理解和分析,但可能会损失一些信息
2.独热编码(One-Hot Encoding)将分类变量转换为二进制向量,每个类别对应一个二进制位,该位为1表示该样本属于该类别,为0表示不属于该类别独热编码能够保留分类变量的全部信息,但可能会增加数据的维度和计算复杂度06数据描述在机器学习中的应用CHAPTER数据可视化在模型选择中的应用总结词通过数据可视化,可以直观地展示数据的分布和特征,帮助我们更好地理解数据,从而选择合适的机器学习模型详细描述在机器学习中,数据可视化是一种非常重要的技术通过绘制图表、散点图、直方图等图形,我们可以直观地展示数据的分布和特征,了解数据的规律和模式这样可以帮助我们更好地理解数据,从而选择更合适的机器学习模型,提高模型的准确性和可靠性数据预处理在模型训练中的应用总结词详细描述数据预处理是机器学习中不可或缺的一环,通过对数数据预处理是机器学习中非常重要的一环,它包括数据进行清洗、归一化、特征工程等操作,可以提高模据清洗、归一化、特征工程等操作通过对数据进行型的训练效率和准确性清洗,可以去除异常值、缺失值等影响模型准确性的因素;通过归一化,可以将数据转化为统一的形式,避免某些特征的权重过大;通过特征工程,可以对数据进行变换和组合,提取出更有效的特征这些操作都可以提高模型的训练效率和准确性数据描述在模型评估中的应用总结词详细描述在模型评估阶段,数据描述可以帮助我们了在模型评估阶段,数据描述同样扮演着重要解模型的性能和预测能力,从而对模型进行的角色通过数据描述,我们可以了解模型优化和改进的性能和预测能力,例如准确率、召回率、F1值等指标这些指标可以帮助我们判断模型的优劣,从而对模型进行优化和改进同时,我们还可以通过数据描述了解模型的局限性,从而更好地应用模型进行实际预测和分析THANKS感谢观看。