深度神经网络由多个层（layer）组成，通常将其称之为 模型（Model）。整个模型接受原始 输入（特征），生成 输出（预测），并包含一些 参数。而在模型内部，每个单独的层都会接受一些输入（由前...

1.torch.arange(start, end, step)在区间内按步长创建张量 import torch # torch.arange(start, end, step) 在区间[start,end)中创建步长为step的张量 tensor1 = torch.arange(10, 30, 2) p...

两个矩阵对应位置元素相乘称为哈达玛积（Hadamard product）。 使用*、mul()实现两个形状相同的张量之间对位相乘。 import torch tensor1 = torch.tensor([[1, 2], [3, 4]]) tensor...

反向传播（Backward Propagation或Back Propagation，BP算法）指的是计算神经网络参数梯度的方法。简言之，该方法根据微积分中的链式法则，按相反的顺序从输出层到输入层遍历网络。该算法存储了...

参数初始化方案的选择在神经网络学习中起着举足轻重的作用，它对保持数值稳定性至关重要。此外，这些初始化方案的选择可以与激活函数的选择有趣的结合在一起。我们选择哪个激活函数以及如何初始...

6.3.1 基本张量创建 1.torch.tensor(data)创建指定内容的张量 import torch import numpy as np # 创建标量张量 tensor1 = torch.tensor(10) print(tensor1) # 使用列表创建张量 tensor2 = torc...

反向传播将局部导数向反方向传递，传递的原理基于链式法则。反向传播时将信号乘以节点的局部导数然后传递给下一个节点。 4.3 反向传播 利用计算图的反向传播，可以很容易地计算出输出关于输入的...

def relu(x): return np.maximum(0, x)

5.1 深度神经网络及其问题 5.1.1 深度学习 当神经网络的层数加深时，往往可以有效地提高识别精度；特别是对于大规模的复杂问题，通常都需要用更多的层来分层次传递信息，而且可以有效减少网络的...

在神经网络的学习中，梯度的计算非常重要。神经网络中的梯度，指的就是损失函数关于权重参数的梯度。 我们以一个单层的简单网络为例，形状为2×3，权重参数为W，损失函数记为L。那么它的权重参...