什么是反向传播（Backpropagation）？
反向传播（Backpropagation）是一种在人工神经网络训练中广泛使用的算法，核心在于高效计算损失函数对网络参数的梯度。通过链式法则，该算法从输出层逐层向后传播误差信号，从而调整权重和偏置以最小化预测误差，使神经网络能够利用梯度下降等 […]
作者： 创新及产品管理能力建设项目
什么是Mini-Batch梯度下降？
Mini-Batch梯度下降是机器学习中一种高效的优化算法，用于训练模型时最小化损失函数。它通过将训练数据划分为小批次（mini-batch），每次迭代仅使用一个批次来计算梯度并更新模型参数。这种方法结合了批量梯度下降的计算稳定性和随机梯度 […]
什么是随机梯度下降（Stochastic Gradient Descent, SGD）？
随机梯度下降（Stochastic Gradient Descent, SGD）是一种机器学习优化算法，旨在通过迭代方式最小化损失函数来调整模型参数。与标准梯度下降不同，SGD在每次更新时随机选取一个数据点或一个小批量（mini-batch […]
什么是梯度下降（Gradient Descent）？
梯度下降（Gradient Descent）是一种用于优化可微函数的迭代算法，其核心在于通过计算目标函数关于参数的梯度（即一阶导数），并沿梯度反方向更新参数，以逐步逼近函数的局部最小值点。在机器学习领域，它广泛应用于训练模型，例如通过最小化 […]
什么是L2正则化？
L2正则化（L2 Regularization），又称为岭回归或权重衰减，是一种在机器学习中用于防止模型过拟合的核心技术。它通过在损失函数中添加一个惩罚项来实现，该惩罚项等于模型权重向量的L2范数平方乘以一个正则化系数λ，从而约束权重的大小 […]
什么是L1正则化？
L1正则化，又称为Lasso（Least Absolute Shrinkage and Selection Operator）正则化，是机器学习中一种用于防止模型过拟合的正则化技术。它通过在损失函数中添加模型权重参数的绝对值之和（即L1范数 […]
什么是KL散度（Kullback-Leibler Divergence）？
KL散度（Kullback-Leibler Divergence），简称KL散度，是信息论中用于量化两个概率分布之间差异的非对称度量。它衡量使用一个分布Q来近似另一个分布P时所产生的信息损失或相对熵，定义为D_KL(P||Q) = ∑ P( […]
什么是交叉熵损失（Cross-Entropy Loss）？
交叉熵损失（Cross-Entropy Loss）是机器学习中一种常用的损失函数，特别适用于分类任务，它量化了模型预测的概率分布与真实标签的概率分布之间的差异；当预测分布与真实分布越接近时，损失值越小。在信息论中，交叉熵源于计算使用一个分布 […]
什么是假阴性（False Negative, FN）？
假阴性（False Negative, FN）是指在二元分类模型中，实际为正类别的样本被错误地预测为负类别的错误类型，例如在疾病检测系统中，患者实际患病但模型未能识别的情况。这种错误可能导致严重后果，如延误治疗或安全漏洞，因此是模型评估中关 […]
什么是假阳性（False Positive, FP）？
假阳性（False Positive, FP）是指在二元分类问题中，当真实类别为负类（negative class）时，模型错误地预测为正类（positive class）的误判现象，它代表一种虚警或误报，即本不该被识别为阳性的事件被错误标 […]