深度神经网络由多个层（layer）组成，通常将其称之为 模型（Model）。整个模型接受原始 输入（特征），生成 输出（预测），并包含一些 参数。而在模型内部，每个单独的层都会接受一些输入（由前...

神经网络的主要特点，就是可以从数据中进行“学习”。这个学习的过程，就是让训练数据自动决定最优的权重参数。 神经网络（深度学习）也是机器学习的一种；跟传统机器学习方法相比，神经网络不...

1.torch.arange(start, end, step)在区间内按步长创建张量 import torch # torch.arange(start, end, step) 在区间[start,end)中创建步长为step的张量 tensor1 = torch.arange(10, 30, 2) p...

def relu(x): return np.maximum(0, x)

6.8.1 交换维度 1.transpose()交换两个维度 import torch tensor1 = torch.randint(1, 9, (2, 3, 6)) print(tensor1) print(tensor1.transpose(1, 2))  # 交换第1维和第2维 2.permute()重...

2.2.1 激活函数的作用 激活函数是连接感知机和神经网络的桥梁，在神经网络中起着至关重要的作用。 如果没有激活函数，整个神经网络就等效于单层线性变换，不论如何加深层数，总是存在与之等效的...

7.4.1 分类任务损失函数 import torch import torch.nn as nn # 真实值 target = torch.tensor([[1], [0], [0]], dtype=torch.float32) # 预测值 input = torch.randn((3, 1)) ...

简化得： 在代码中可以实现为一个类SoftmaxWithLoss： class SoftmaxWithLoss: def __init__(self): self.loss = None self.y = None # softmax的输出 self.t = None # 监督数据 def forward(se...

6.5.1 基本运算 1）四则运算 +、-、*、/加减乘除 add()、sub()、mul()、div()加减乘除，不改变原数据 add_()、sub_()、mul_()、div_()加减乘除、修改原数据 import torch tensor1 = torch.randi...

现在可以在之前手写数字识别案例的基础上，对SGD的计算过程进行优化。核心就是使用误差的反向传播法来计算梯度，而不是使用差分数值计算；这将大大提升学习的效率。 对于二层网络TwoLayerNet，...