深度学习学习总结

连续特征为什么要离散化？离散化是为了简化特征处理，便于模型理解，通常在特征值范围较广或特征间关联性较弱时采用，比如通过等分区间或基于统计量划分区间。连续特征离散化方法？方法包括等宽分箱、等频分箱、K-means分箱、基于决策树的分箱等。等宽分箱将区间等分为几个箱，等频分箱确保每个箱内样本数量大致相同，K-means分箱利用聚类算法，基于样本分布进行分箱，决策树分箱则通过构建决策树，使每个节点上的样本特征值分布差异最大化。RNN讲解RNN（循环神经网络）是一种序列建模方法，其特点是将输入序列的前一步状态作为下一步的输入，用于捕捉序列中时间依赖关系。常见模型包括LSTM（长短期记忆）和GRU（门控循环单元），它们通过引入记忆单元或更新门、重置门等机制，解决了长序列中信息丢失的问题。RNN的梯度消失问题？梯度消失是RNN训练中的常见问题，由于反向传播过程中梯度的指数衰减，导致权重更新效果减弱，难以学习到长序列依赖。解决方法包括使用LSTM/GRU，引入残差连接，或者使用梯度裁剪技术。DNN的梯度消失问题，与RNN是不同的深度神经网络（DNN）中的梯度消失主要发生在深层网络中，由于多层前向传播导致的梯度衰减。解决方法通常包括使用ReLU激活函数、初始化策略、批量归一化等。激活函数的本质?激活函数用于引入非线性，使模型能够学习复杂模式。常见的激活函数包括Sigmoid、Tanh、ReLU、Leaky ReLU等，它们各有优缺点，如ReLU计算简单、梯度不消失，但可能产生死区。LSTM讲解LSTM通过门控机制控制信息的输入、输出和遗忘，包括输入门、输出门和遗忘门，有效地解决了RNN的长期依赖问题。lstm 解决梯度消失LSTM通过引入记忆单元和门控机制，使得梯度可以在长序列中稳定传播，有效缓解了梯度消失问题。tensorflow 介绍TensorFlow是一个开源的深度学习框架，提供灵活的模型构建、训练和部署能力，支持多种优化和计算设备。BN讲解BN（批量归一化）通过在每一层输入数据后进行标准化，加速模型收敛，避免梯度消失和爆炸，同时提高模型对参数初始化的鲁棒性。BN的好处包括加快模型收敛速度、避免梯度消失、提高对参数初始化的鲁棒性、一定程度上防止过拟合。word2vector讲解word2vec通过skip-gram模型学习词汇间的语义关系，使用负采样算法优化训练过程，层次softmax算法优化输出层计算。word2vec的skip-gram模型通过构建上下文窗口，对中心词及其上下文词进行预测，训练目标是最大化预测准确率。层次softmax算法构建二叉树代替softmax层，降低计算复杂度，提高训练效率。skip-gram和cbow比较skip-gram训练时间长但准确性更高，适合数据量小或低频词汇，cbow则较为简单快速，适合语料库中高频词汇。参数初始化XvavierXavier初始化是针对深度神经网络的权重初始化策略，通过调整初始化范围，加速模型收敛。深度学习中各种优化器总结包括SGD、Momentum、AdaGrad、RMSProp、Adam等，各有优缺点，适用于不同场景。dropout总结dropout是一种正则化技术，通过在训练时随机丢弃部分神经元，降低模型复杂度，防止过拟合。dropout原理在于减小神经元间的依赖，通过随机丢弃神经元，迫使模型学习更鲁棒的特征，同时在测试时调整权重，保持预测效果一致。