现在我们有了模型和数据，是时候通过优化数据参数来训练、验证和测试我们的模型了。训练一个模型就是一个迭代的过程，在每次迭代(称为epoch)中，模型对输出进行猜测，计算猜测中的误差(损失)，收集误差对其参数的导数(前一节中自动微分一样)，并使用梯度下降优化这些参数。

从前面关于数据集和数据装载器以及构建模型的章节中加载代码。

?PyTorch基础-自定义数据集和数据加载器（2）_一只小小的土拨鼠的博客-CSDN博客

?pytorch基础-构建简单的神经网络（4）_一只小小的土拨鼠的博客-CSDN博客

超参数是可调整的参数，可控制模型优化过程。 不同的超参数值会影响模型训练和收敛速度 。

我们为训练定义了以下超参数：

• Number of Epochs（迭代次数）:迭代数据集的次数，指的是训练过程中数据被“轮”多少次。
• Batch Size（样本大小） - 参数更新前通过网络传播的一小批数据样本数 。将数据分成几块，就是分成几个batch，一个batch中的数据量大小即为batch size
• Learning Rate（学习率） - 在每个批次/时期更新模型参数的程度。 较小的值会产生较慢的学习速度，而较大的值可能会导致训练期间出现不可预测的行为。
• iterations（迭代）- 每一次迭代都是一次权重更新，1个iteration等于使用batch size个样本训练一次。即batch size个样本需要完成一次epoch的次数。

Epochs和 Batch Size的关系是：

在one epoch中，numbers of iterations = 训练样本的数量 / batch_size

epochs= numbers of iterations / batch_size

下面是关于epochs，batch_size，iterations这三个参数的详细解释：

tensorflow学习笔记--深度学习中的epochs，batch_size，iterations详解_STHSF的博客-CSDN博客_tensorflow的epoch

一旦我们设置了超参数，我们就可以使用优化循环来训练和优化我们的模型。 每个 优化循环的迭代称为 epoch 。

每个时期包括两个主要部分：

• 训练循环 - 迭代训练数据集并尝试收敛到最佳参数。
• 验证/测试循环 - 迭代测试数据集以检查模型性能是否正在改善。

优化是在每个训练步骤中调整模型参数以减少模型误差的过程。优化算法定义了这个过程是如何执行的(在本例中，使用随机梯度下降)。所有优化逻辑都封装在优化器对象 中。这里，我们使用SGD优化器，此外，PyTorch中有许多不同的优化器，如ADAM和RMSProp，它们可以更好地适用于不同类型的模型和数据。

这里我们需要输入需要训练的模型参数，并传入学习速率超参数来初始化优化器。

其中相关的函数可参考：理解optimizer.zero_grad(), loss.backward(), optimizer.step()的作用及原理_潜行隐耀的博客-CSDN博客_loss.backward()函数

（1）optimizer.zero_grad()函数会遍历模型的所有参数，通过p.grad.detach_()方法截断反向传播的梯度流，再通过p.grad.zero_()函数将每个参数的梯度值设为0，即上一次的梯度记录被清空。因为训练的过程通常使用mini-batch方法，所以如果不将梯度清零的话，梯度会与上一个batch的数据相关，因此该函数要写在反向传播和梯度下降之前。

（2）loss.backward()函数在使用后，会一层层的反向传播计算每个w的梯度值，并保存到该w的.grad属性中。如果没有进行 backward() 的话，梯度值将会是None，因此loss.backward()要写在optimizer.step()之前。

（3）optimizer.step()函数的作用是执行一次优化步骤，通过梯度下降法来更新参数的值。因为梯度下降是基于梯度的，所以在执行optimizer.step()函数前应先执行loss.backward()函数来计算梯度。

（4）在训练循环中，优化分三个步骤进行：

• 调用optimizer.zero_grad()重置模型参数的梯度。如果不设置默认情况下继续累加加起来； 为了防止重复计算，我们在每次迭代时明确地将它们归零。
• 通过调用 反向传播预测损失. PyTorch将误差梯度w.r.t.存储在每个参数中。
• 一旦我们有了梯度，我们就调用 通过反向传播中收集的梯度来调整参数。

总得来说，optimizer只负责通过梯度下降进行优化，而不负责产生梯度，梯度是tensor.backward()方法产生的。这三个函数的作用是先将梯度归零（optimizer.zero_grad()），然后反向传播计算得到每个参数的梯度值loss.backward()，最后通过梯度下降执行一步参数更新（optimizer.step()）。

当呈现一些训练数据时，我们未经训练的网络可能不会给出正确的回答。 损失函数衡量得到的结果与目标值的不同程度， 这是函数正是用于我们希望在训练期间损失最小化的。 为了计算损失，我们做了一个使用给定数据样本的输入进行预测，并将其与真实数据标签值进行比较。

常见的损失函数包括用于回归任务的nn.MSELoss （均方误差），以及用于分类的nn.NLLLoss （负对数似然）。 结合 和 两种。

我们将模型的输出 logits 传递给 ，它将对 logits 进行归一化并计算预测误差。

（1）定义 循环我们的优化代码，以及根据测试数据评估模型的性能的。

其中，除了loss.backward()之外的loss调用都用loss.item()，否则每次迭代，空间占用就会增加，直到cpu或者gup爆炸。这是因为输出的loss的数据类型是Variable。而PyTorch的动态图机制就是通过Variable来构建图。如果这里直接将loss加起来，系统会认为这里也是计算图的一部分，也就是说网络会一直延伸变大，那么消耗的显存也就越来越大。也可以用下面这个代替：

?其中，len(dataloader)，len(label)和训练数据集个数之间的关系，以50000张图像的训练集为例，将训练集平均分成12500份，每份有4张图片（batch_size=4）。dataloader 中的每个元素相当于一个元组，一个组中有4张图片，label就是一个分组中的一张图片的标签。故

len(train_loader)==12500，len(label)==4

?（2）初始化损失函数和优化器，并将其传递给 和 。随意增加 epoch 的数量来跟踪模型的改进性能。

输出结果：