2.2 激活函数

2.2.1 激活函数的作用

激活函数是连接感知机和神经网络的桥梁，在神经网络中起着至关重要的作用。

如果没有激活函数，整个神经网络就等效于单层线性变换，不论如何加深层数，总是存在与之等效的“无隐藏层的神经网络”。激活函数必须是非线性函数，也正是激活函数的存在为神经网络引入了非线性，使得神经网络能够学习和表示复杂的非线性关系。

2.2.2 阶跃（Binary step）函数

def step_function(x):
    if x > 0:
        return 1
    else:
        return 0

这里的x只能取一个数值（浮点数）。如果我们希望直接传入Numpy数组进行批量化的操作，可以改进如下：

def step_function(x):
    return np.array(x > 0, dtype=int)

2.2.3 Sigmoid函数

def sigmoid(x):
    return 1 / (1 + np.exp(-x))  

2.2.4 Tanh函数