统计学习方法_李航_第一章_统计学习及监督学习概论

《统计学习方法_李航》第一章核心内容总结如下：1.1 统计学习定义：基于数据构建概率统计模型，并运用模型进行预测与分析的学科。特点：建立基础：计算机及网络技术。研究对象：数据（驱动型学科）。目的：对未知数据进行预测与分析。交叉学科：融合概率论、统计学、信息论、计算理论、最优化理论及计算机科学。方法步骤：获取有限训练数据集。确定模型假设空间（输入到输出的映射集合）。选择学习策略（如损失函数、风险函数）。设计算法求解最优模型。通过学习选择最优模型。对新数据进行预测或分析。研究方向：方法开发：提出新的学习算法。理论探求：分析方法的有效性与效率。应用实践：解决实际问题（如海量数据处理、计算机智能化）。1.2 统计学习的分类按任务类型：监督学习：输入空间、特征空间、输出空间存在联合概率分布。假设空间为输入到输出的映射集合。典型问题：分类、回归、标注。无监督学习：无标注数据，发现数据内在结构（如聚类）。强化学习：通过与环境互动学习最优策略，目标为长期累积奖励最大化。半监督学习：结合少量标注数据与大量未标注数据。主动学习：主动选择实例让教师标注，提升学习效率。按模型类型：概率模型：基于条件概率分布（如朴素贝叶斯、隐马尔可夫模型）。非概率模型（确定模型）：直接学习决策函数（如感知机、支持向量机）。线性模型：如线性支持向量机、k近邻（线性版本）。非线性模型：如核函数支持向量机、神经网络。参数化模型：模型参数固定（如逻辑斯蒂回归、高斯混合模型）。非参数化模型：模型复杂度随数据增长（如决策树、k近邻）。按算法类型：在线学习：逐样本更新模型（适用于实时数据）。批量学习：一次性使用全部数据训练模型。按技巧类型：贝叶斯学习：利用后验概率进行模型估计。核方法：通过核函数处理非线性问题（如支持向量机）。1.3 统计学习方法三要素模型：定义条件概率分布或决策函数（如分类问题中的决策边界）。策略：损失函数：衡量预测值与真实值的差异（如0-1损失、平方损失、对数损失）。风险函数：期望风险：模型关于联合分布的平均损失（理论值）。经验风险：模型在训练集上的平均损失（实际计算值）。算法：经验风险最小化（ERM）：适用于大样本，可能过拟合（如极大似然估计）。结构风险最小化（SRM）：在经验风险上添加正则化项，防止过拟合（如支持向量机）。公式：$R_{srm}(f) = frac{1}{N} sum_{i=1}^N L(y_i, f(x_i)) + lambda J(f)$，其中$J(f)$为模型复杂度。1.4 模型评估与选择评估指标：训练误差：模型在训练集上的误差。测试误差：模型在未知数据上的误差。过拟合：模型参数过多导致训练误差低但测试误差高。模型选择：通过交叉验证、正则化等方法平衡经验风险与模型复杂度。1.5 正则化与交叉验证正则化：作用：选择经验风险与模型复杂度均较小的模型。典型方法：L1/L2正则化。交叉验证：简单交叉验证：随机划分训练集与测试集。S折交叉验证：将数据分为S份，轮流作为测试集。留1交叉验证：每次留1个样本作为测试集。1.6 泛化能力定义：模型对未知数据的预测能力。泛化误差：学到的模型$hat{f}$在未知数据上的预测误差，公式为$R_{exp}(hat{f}) = E_P[L(Y, hat{f}(X))]$。泛化误差上界：通过理论分析保证模型在未知数据上的表现。1.7 生成模型与判别模型生成模型：方法：先学习联合概率分布$P(X,Y)$，再推导条件概率$P(Y|X)$。典型模型：朴素贝叶斯、隐马尔可夫模型。判别模型：方法：直接学习决策函数$Y=f(X)$或条件概率$P(Y|X)$。典型模型：k近邻、感知机、支持向量机、逻辑斯蒂回归。1.8 监督学习应用分类问题：预测离散标签（如垃圾邮件识别）。标注问题：为输入序列分配标签（如词性标注）。回归问题：预测连续值（如房价预测）。