Python损失函数怎么选_回归均方差与分类交叉熵常见损失函数对比选型

回归任务优先选nn.mseloss（误差集中时收敛快），但离群点多时改用nn.l1loss（鲁棒性强），或折中用nn.smoothl1loss；分类任务禁用nn.mseloss，多分类用nn.crossentropyloss，二分类推荐nn.bcewithlogitsloss。

回归任务该用 nn.MSELoss 还是 nn.L1Loss？

回归问题里，nn.MSELoss（均方误差）和 nn.L1Loss（平均绝对误差）最常用，但选错会明显拖慢收敛或放大异常值干扰。

• 用 nn.MSELoss：适合误差分布较集中、无强离群点的场景（如标准房价预测），梯度随误差增大而线性增长，收敛快；但一个预测偏差从 1 变成 10，损失直接涨 100 倍，模型会拼命拟合这个“坏样本”，容易过拟合或震荡
• 用 nn.L1Loss：对离群点鲁棒，梯度恒为 ±1，不会因误差变大而爆炸；但接近最优解时梯度不变，可能卡在附近不精细收敛——图像重建、GAN 生成中常配合 nn.L1Loss 保结构，就是这个原因
• 折中方案：nn.SmoothL1Loss（即 Huber Loss），小误差走平方、大误差走绝对值；默认 beta=1.0，可调；pytorch 2.0+ 默认启用逐元素 reduction，无需手动 mean/sum

分类任务为什么不能用 nn.MSELoss？

不是语法报错，而是语义错——nn.MSELoss 把类别标签当连续数值处理，强行拉近“猫(0)”和“狗(1)”的距离，却忽略“猫”和“鸟(2)”之间并无数值序关系。

• 多分类必须用 nn.CrossEntropyLoss：它内部自动做 softmax + log + negative log-likelihood，且要求 input 是未归一化的 logits（即最后一层 nn.Linear 直出，**不能加 nn.Softmax**），target 是 class index（如 torch.tensor([0, 2, 1])），不是 one-hot
• 二分类别用 nn.CrossEntropyLoss 硬套：虽然能跑通，但 label 必须是 0/1 整数，且 input 要是 2 维（batch × 2），浪费计算；更推荐 nn.BCEWithLogitsLoss（sigmoid + BCE 合并），输入是 1 维 logits，target 是 0/1 Float，数值更稳定
• 如果自己做了 softmax 和 log，就该用 nn.NLLLoss，但绝大多数情况没必要绕这三步

nn.CrossEntropyLoss 的 weight 和 ignore_index 怎么用？

这两个参数不是锦上添花，而是解决实际数据偏斜或脏样本的关键开关。

• weight 接收 torch.Tensor，长度等于类别数，用于给少数类加权；例如 3 分类中第 1 类只占 5%，可设 weight=torch.tensor([1.0, 10.0, 1.0])；注意 weight 不会自动归一化，得自己算好比例
• ignore_index 专治标注噪声，比如 nlp 序列标注中 padding 位置常填 -100，设 ignore_index=-100 后，这些位置的 loss 直接被 mask 掉，不参与反向传播——不用手动写 mask 逻辑
• 两者可共存，但 ignore_index 优先级更高；若某样本 target 等于 ignore_index，哪怕它属于 minority class，也不会被加权

训练时 loss 不下降？先查这三件事

损失卡住不降，90% 不是模型结构问题，而是损失函数配置或数据喂入方式错了。

立即学习“Python免费学习笔记（深入）”；

• 检查 target 类型：nn.CrossEntropyLoss 要 long，nn.BCEWithLogitsLoss 要 float；类型错会导致静默失败（loss 值异常但不报错）
• 确认 output 维度：nn.CrossEntropyLoss 输入 shape 是 (N, C)，不是 (N, C, H, W)；分割任务若没 flatten，会因维度不匹配导致 loss 值极小或 nan
• 留意默认 reduction：PyTorch 2.0+ 中 reduction='mean' 是默认，但如果 batch 内混入 ignore 样本过多，mean 可能趋近于 0，误判为“已收敛”；临时调试可设 reduction='none' 打印 raw loss 向量看分布

实际项目里，损失函数不是选完就完的事。它和你的数据分布、标签质量、甚至 batch 构造方式深度耦合——比如用 nn.SmoothL1Loss 却没调 beta，或者给 nn.CrossEntropyLoss 的 weight 直接用了倒数却忘了归一化，都可能让模型在看似正常的 loss 曲线下偷偷失效。