如何用 PyTorch 实现一个能学习加法运算的多层感知机（MLP）

1次阅读

本文手把手教你构建、训练并推理一个仅含单层线性变换的 mlp 模型，使其从随机数据中自主学习加法函数 $ y = x_1 + x_2 $，涵盖完整训练流程、预测调用方法、结果验证与关键注意事项。

本文手把手教你构建、训练并推理一个仅含单层线性变换的 mlp 模型，使其从随机数据中自主学习加法函数 $ y = x_1 + x_2 $，涵盖完整训练流程、预测调用方法、结果验证与关键注意事项。

在深度学习入门实践中，“让神经网络学会加法”是一个经典而富有启发性的任务——它看似简单，却能清晰揭示模型拟合本质、优化行为与泛化能力。值得注意的是，加法是线性函数，因此无需复杂网络结构：一个单层线性模型 nn.Linear(2, 1) 已具备充分表达能力。

以下是一个完整、可运行的 pytorch 教程实现：

import torch import torch.nn as nn import torch.optim as optim  torch.manual_seed(42)  # 数据配置 N = 1000    # 样本数 D = 2       # 输入维度（两个加数） C = 1       # 输出维度（和） lr = 1e-1   # 学习率（实测 1e-1 比 1e-2 收敛更快更稳）  # 生成训练数据：X ∈ [0,1)²，y = x₁ + x₂ X = torch.rand(N, D) y = X.sum(dim=1, keepdim=True)  # shape: (N, 1)  print(f"X.shape: {X.shape}, y.shape: {y.shape}") print(f"X[:5]:n{X[:5]}") print(f"y[:5]:n{y[:5]}")  # 构建模型：单层线性变换（即 y = w₁x₁ + w₂x₂ + b） model = nn.Sequential(nn.Linear(D, C))  criterion = nn.MSELoss() optimizer = optim.Adam(model.parameters(), lr=lr)  # 训练循环 print("n? 开始训练...") for epoch in range(500):     optimizer.zero_grad()           # 清空梯度     y_pred = model(X)               # 前向传播     loss = criterion(y_pred, y)     # 计算 MSE 损失     loss.backward()                 # 反向传播     optimizer.step()                # 参数更新      if epoch % 50 == 0:         print(f"Epoch {epoch+1:3d} | Loss: {loss.item():.2e}")  # ✅ 验证模型泛化能力：对全新随机样本进行预测 print("n? 测试泛化性能（5 组未见数据）：") with torch.no_grad():  # 推理阶段禁用梯度，节省内存并加速     for _ in range(5):         x_test = torch.rand(1, D)              # 新样本：[x₁, x₂]         y_true = x_test.sum().item()           # 真实和         y_pred = model(x_test).item()          # 模型预测         print(f"{x_test[0, 0]:.2f} + {x_test[0, 1]:.2f} = {y_true:.2f} → 预测: {y_pred:.2f}")  # ? 检查学得参数（核心洞察！） state_dict = model.state_dict() print(f"n? 模型学得的参数：") print(f"权重 w = {state_dict['0.weight'].flatten().tolist()}")  # 应趋近 [1.0, 1.0] print(f"偏置 b = {state_dict['0.bias'].item():.2e}")           # 应趋近 0

关键说明与注意事项

预测 ≠ 生成：你原代码中误用了 model.generate(…) —— PyTorch 的 nn.Module 没有 .generate() 方法。正确做法是直接调用 model(input_tensor) 进行前向推理，如 model(x_test)。所谓“生成”在此任务中即“给定输入，输出预测值”。
为什么单层足够？ 加法是线性操作，而 nn.Linear(2, 1) 表达式为 $ y = w_1 x_1 + w_2 x_2 + b $。理想解为 $ w_1 = w_2 = 1, b = 0 $。训练过程本质上是在最小化 MSE 下逼近该解，最终权重会高度收敛至 [1., 1.]，偏置接近机器精度零（如 2.37e-09），印证模型真正“学会”了加法逻辑。
学习率敏感性：将学习率从 1e-2 提升至 1e-1 显著加快收敛（见输出中损失从 1e0 快速降至 1e-20）。过小的学习率会导致训练缓慢甚至停滞；过大则可能震荡不收敛。建议初学者在简单任务中尝试 1e-1 ~ 1e-2 区间。
推理务必使用 torch.no_grad()：在测试/部署阶段禁用梯度计算，可减少内存占用、提升速度，并避免意外修改模型参数。
泛化验证不可少：训练集上的低损失不等于模型真正掌握规律。务必用独立生成的新样本（非训练集切片）验证预测准确性——本例中所有预测误差均小于 1e-6，证明模型具备强泛化能力。