机械学基础课件第2章

机械学基础课件第章2线性回归，逻辑回归和决策树是机器学习的核心概念之一本章将介绍这些方法的定义、模型、目标函数以及求解过程，让你了解它们的应用领域和区别与联系线性回归一元线性回归1针对单个自变量的线性回归模型，通过梯度下降法求解目标函数多元线性回归2针对多个自变量的线性回归模型，也使用梯度下降法求解目标函数逻辑回归定义1逻辑回归与线性回归不同，专用于分类问题逻辑函数2通过线性函数和函数将输入Sigmoid映射到到之间的概率目标函数013逻辑回归使用交叉熵代价函数来定义梯度下降法目标函数4梯度下降法用于求解权重和偏置项，优化逻辑回归模型决策树定义1决策树是一种基于特征选择的分类器生成算法信息熵2通过信息熵来度量数据集的纯度和不确定性信息增益3信息增益衡量在特征选择时带来的信算法息增加量ID34基于信息增益的决策树生成算法，用于构建决策树算法5C

4.5基于信息增益比的决策树生成算法，用于构建决策树总结区别与联系线性回归、逻辑回归和决策树在方法和应用领域上有明显区别，同时也有共同之处应用领域各个方法在不同的领域有着广泛的应用，可用于解决各种问题重点知识点该章节的重点知识点概括，可帮助你更好地理解和掌握机械学基础。