前言与机器学习概述(五)：泛化能力与其他概念

前言与机器学习概述(五)：泛化能力与其他概念1. 泛化能力泛化能力是指由某一方法学习到的模型对未知数据的预测能力。这是机器学习模型性能评估中的核心概念之一。泛化误差：如果学到的模型是 hat f，那么用这个模型对未知数据进行预测的误差就是泛化误差。其数学定义为：这里，泛化误差就是所学习的模型的期望风险。泛化误差上界：类似于时间复杂度分析，我们使用泛化误差的概率上界来评估学习方法的泛化能力。泛化误差上界具有以下性质：它是关于样本容量的函数，当样本容量增加时，泛化误差上界趋于零。它是关于假设空间容量的函数，空间容量越大，模型越难学，泛化误差上界越大。例如，在二分类问题中，对于有限个函数的假设空间，至少以概率 1-delta，有：其中，epsilon (d,N,delta) 是关于样本容量 N 的单调递减函数，当 N 趋于无穷时趋于 0。2. 生成模型和判别模型监督学习方法可以分为生成方法和判别方法，所学到的模型分别称为生成模型和判别模型。生成方法：由数据学习联合概率分布 P(X,Y)，然后求出条件概率分布 P(Y|X) 作为预测的模型。典型的生成模型包括朴素贝叶斯、隐马尔可夫模型等。生成方法可以还原出概率分布，学习收敛速度更快，在存在隐变量时仍然适用。判别方法：由数据直接学习决策函数 f(X) 或者条件概率分布 P(Y|X) 作为预测模型。它关心对于给定的输入 X 应该预测怎样的输出 Y。典型的判别模型包括 k 近邻法、感知机、决策树、逻辑斯蒂回归、最大熵模型、支持向量机、提升方法和条件随机场等。判别方法直接学习条件概率或决策函数，学习准确率更高，可以对数据进行抽象、定义并使用特征，从而简化学习问题。3. 分类问题当输出变量 Y 取有限个离散值时，预测问题便是分类问题。分类器对新的输入进行输出的预测称为分类。可能的输出称为类。分类准确率：评价分类器性能的指标，定义为对于给定的测试数据集，分类器正确分类的样本数与总样本数之比。精确率和召回率：对于二分类问题，常用评价标准为精确率和召回率。精确率定义为判为正例中有多少是对的，即 TP/(TP+FP)；召回率定义为所有正例中判断出来了多少比例，即 TP/(TP+FN)。F1 值：精确率和召回率的调和均值，当精确率和召回率都高时，F1 值也会高。4. 标注问题标注也是一个监督学习问题，可以认为是一个分类问题的推广。其输入是一个观测序列，输出是一个标记序列或状态序列。标注问题的评价指标与分类的评价指标一样，有标注准确率、精确率和召回率等。5. 回归问题回归用于预测输入变量和输出变量之间的关系，特别是输入变量的值发生变化时，输出变量的值随之发生的变化。这等价于函数拟合：选择一条函数曲线使其很好地拟合已知数据且很好地预测未知数据。回归类型：按照输入变量的个数，可以分为一元回归和多元回归；按照输入变量和输出变量之间的关系的类型，分为线性回归和非线性回归。损失函数：最常用的损失函数是平方损失函数，在此情况下，可以使用最小二乘法求解。至此，统计方法与机器学习的前言已经全部更新完毕。接下来，我们将进入具体的机器学习方法的领域进行学习。