最小二乘法和最大似然法

最小二乘法和最大似然法

最小二乘法和最大似然法 最小二乘法 线性建模 向量 / 矩阵符号 线性建模的非线性响应 泛化与过拟合 线性建模 定义模型： 将模型定义为一个将输入属性映射到输出或目标值的函数。 模型假设： 为了便于选择特定的模型来使用，我们需要做一些假设 模型优化： 确定模型中的参数，使模型最好的拟合所给信息 线性建模的例子 下图显示了从 1896 年至今，奥林匹克运动会男子 100 米金牌得主所需的时间   注：线性关系   接下来的任务是选取合适的 ω 值来确定我们假设的模型以达到最优。我们先来了解下 ω 0 和 ω 1 对模型的影响：       最小二乘解： 通过对损失函数求偏导数的方法，取得各个系数的极值点；然后联立解得各个系数的最优解。 最小二乘解实例： 建立模型为 : 所以损失函数为：     分别对 ω 1 和 ω 0 求偏导可得： 让他们分别等于零，然后联立便可求出最优解     向量 / 矩阵符号 当我们考虑问题更加细致化的时候，会发现每一个已知数据都会对最后的结果产生影响，为了突出这些细节，我们可以通过引入更多参数的方法，这样一来势必会增加计算量，所以引入向量和矩阵以简化计算是非常重要的。 关于向量和矩阵的基础知识   矩阵转置   矩阵 / 向量维数和标引   矩阵乘法   矩阵乘积的转置   矩阵微分 给大家些常用的微分等式： ω Tx---x xT ω ---x ω T ω ---2 ω ω TC ω ---2C ω   具体计算步骤   整理得：   线性模型的非线性响应 通过对数据的拟合，我们发现，有很多时候线性模型不能很好的拟合已知数据，所以可以采取通过增加数据项（ x ）的次数改变模型的种类，使线性模型不再是单纯的直线模型，从而增加了其非线性响应。 例如定义 x 的次数为 n 次，则可以扩展的数据矩阵为 :   泛化与过拟合 泛化能力指机器学习算法对新鲜样本的适应能力。为了得到一致假设而使假设变得过度复杂称为过拟合。 为了克服过拟合，提高泛化能力，我们需要对模型进行筛选，以下是几种筛选方法： 验证数据 交叉验证 K 折交叉验证的计算缩放 最大似然方法 随机变量和概率 常见的离散分布 概率密度函数 最大似然估计 随机变量 随机变量在不同的条件下由于偶然因素影响，其可能取各种随机变量不同的值，具有 不确定性 和 随机性 ，但这些取值落在某个范围的概率是一定的，此种变量称为随机变量。随机变量可以是离散型的，也可以是连续型的。如分析测试中的测定值就是一个以概率取值的随机变量，被测定量的取值可能在某一范围内随机变化，具体取什么值在测定之前是无法确定的，但测定的结果是确定的，多次重复测定所得到的测定值具有统计规律性。 概率和概率分布 概率是对 随机事件 发生的可能性的度量，一般以一个在 0 到 1 之间的 实数 表示一个事件发生的可能性大小。越接近 1 ，该事件更可能发生；越接近 0 ，则该事件更不可能发生，其是客观论证，而非主观验证。 概率分布是 概率论 的基本概念之一，用以表述 随机变量 取值的概率规律。为了使用的方便，根据随机变量所属类型的不同，概率分布取不同的表现形式。 常用的概率计算公式     常见的离散分布     连续型随机变量 — 概率密度函数 连续型 联合概率密度 条件连续概率密度       常见的连续概率密度函数   似然估计   最大似然 当似然函数取得最大值时，说明采样数据发生的概率最大，我们称其为最优似然函数，那么求似然函数最大值的问题可以抽象为数学上求最大值的问题，即求 L(P) 最大值。为了避免求 L 时连乘运算，所以采用取对数的方法，化连乘为连加，而且不会改变其单调性。 所以有：         [ 例题 ]       最小二乘法与最大似然法总结 对于最小二乘法，当从模型总体随机抽取 n 组样本观测值后，最合理的参数估计量应该使得模型能最好地拟合样本数据，也就是估计值和观测值之差的平方和最小。而对于最大似然法，当从模型总体随机抽取 n 组样本观测值后，最合理的参数估计量应该使得从模型中抽取该 n 组样本观测值的概率最大。显然，这是从不同原理出发的两种参数估计方法。 在最大似然法中，通过选择参数，使已知数据在某种意义下最有可能出现，而某种意义通常指似然函数最大，而似然函数又往往指数据的概率分布函数。与最小二乘法不同的是，最大似然法需要已知这个概率分布函数，这在时间中是很困难的。一般假设其满足正态分布函数的特性，在这种情况下，最大似然估计和最小二乘估计相同。 最小二乘法以估计值与观测值的差的平方和作为损失函数，极大似然法则是以最大化目标值的似然概率函数为目标函数，从概率统计的角度处理线性回归并在似然概率函数为高斯函数的假设下同最小二乘建立了的联系。