7.2.1 全连接层（nn.Linear） 在神经网络中，参数主要位于全连接层（仿射层Affine）中。 PyTorch提供了torch.nn模块，专门用于神经网络的构建和训练。其中全连接层被实现为Linear类，内部有两个...

机器学习的问题中，过拟合 是一个很常见的问题。 过拟合指的是能较好拟合训练数据，但不能很好地拟合不包含在训练数据中的其他数据。机器学习的目标是提高泛化能力，希望即便是不包含在训练数据...

7.1 激活函数 PyTorch中已经实现了神经网络中可能用到的各种激活函数，我们在代码中只要直接调用即可。 7.1.1 Sigmoid函数 Sigmoid函数与其导数图像绘制代码： import torch import matplotlib....

class Affine: def __init__(self, W, b): self.W =W self.b = b self.x = None self.original_x_shape = None # 权重和偏置参数的导数 self.dW = None self.db = None def forward(self, x): #...

6.4.1 张量元素类型转换 1）Tensor.type(dtype)修改张量的类型 import torch tensor1 = torch.tensor([1, 2, 3]) print(tensor1, tensor1.dtype) # 使用type方法修改张量的类型 tensor1 = t...

在神经网络的学习中，梯度的计算非常重要。神经网络中的梯度，指的就是损失函数关于权重参数的梯度。 我们以一个单层的简单网络为例，形状为2×3，权重参数为W，损失函数记为L。那么它的权重参...

常见运算函数： sum()求和 mean()求均值 max()/min()求最大/最小值及其索引 argmax()/argmin()求最大值/最小值的索引 std()求标准差 unique()去重 sort()排序 import torch tensor1 = torch.ran...

反向传播将局部导数向反方向传递，传递的原理基于链式法则。反向传播时将信号乘以节点的局部导数然后传递给下一个节点。 4.3 反向传播 利用计算图的反向传播，可以很容易地计算出输出关于输入的...

Softmax将一个任意的实数向量转换为一个概率分布，确保输出值的总和为1,是二分类激活函数Sigmoid在多分类上的推广。Softmax常用于多分类问题的输出层，用来表示类别的预测概率。 Softmax会放大...

损失函数的值越小，代表我们选取的参数越适合；想要求得损失函数的最小值，最基本的想法就是对函数求导，解出导数值为0的点，并判断它是否为极小值/最小值。 然而，实际的函数直接求导，不容易...