Python中的ReLu函数

Relu或修正线性激活函数是深度学习领域中最常见的激活函数选择。Relu在提供最先进的结果的同时，计算效率也非常高。

Relu激活函数的基本概念是：

Return 0 if the input is negative otherwise return the input as it is.

我们可以用数学方式表示它，如下所示：

Relu的伪代码如下所示：

if input > 0:
	return input
else:
	return 0

在本教程中，我们将学习如何实现自己的ReLu函数，了解它的一些缺点，并学习一个更好的ReLu版本。

推荐阅读：《机器学习的线性代数》第一篇

我们开始吧！

在Python中实现ReLU函数。

让我们用Python编写自己的Relu实现。我们将使用内置的max函数来实现它。

ReLu的代码如下：

def relu(x):
	return max(0.0, x)

为了测试这个函数，让我们在几个输入上运行它。

x = 1.0
print('Applying Relu on (%.1f) gives %.1f' % (x, relu(x)))
x = -10.0
print('Applying Relu on (%.1f) gives %.1f' % (x, relu(x)))
x = 0.0
print('Applying Relu on (%.1f) gives %.1f' % (x, relu(x)))
x = 15.0
print('Applying Relu on (%.1f) gives %.1f' % (x, relu(x)))
x = -20.0
print('Applying Relu on (%.1f) gives %.1f' % (x, relu(x)))

完整代码

以下是完整的代码。

def relu(x):
	return max(0.0, x)

x = 1.0
print('Applying Relu on (%.1f) gives %.1f' % (x, relu(x)))
x = -10.0
print('Applying Relu on (%.1f) gives %.1f' % (x, relu(x)))
x = 0.0
print('Applying Relu on (%.1f) gives %.1f' % (x, relu(x)))
x = 15.0
print('Applying Relu on (%.1f) gives %.1f' % (x, relu(x)))
x = -20.0
print('Applying Relu on (%.1f) gives %.1f' % (x, relu(x)))

输出：出口

Applying Relu on (1.0) gives 1.0
Applying Relu on (-10.0) gives 0.0
Applying Relu on (0.0) gives 0.0
Applying Relu on (15.0) gives 15.0
Applying Relu on (-20.0) gives 0.0

ReLU函数的梯度

让我们看一下 ReLU 函数的梯度（导数）会是什么。求导后，我们会得到以下函数：

f'(x) = 1, x>=0
      = 0, x<0

我们可以看到，对于小于零的x值，斜率为0。这意味着某些神经元的权重和偏置没有被更新。这可能会在训练过程中成为一个问题。

为了克服这个问题，我们有了泄漏线性整流函数（Leaky ReLu）。接下来让我们了解一下它。

泄露的ReLu函数

破损 ReLu 函数是常规 ReLu 函数的改进。为了解决负值的梯度为零的问题，破损 ReLu 对负输入提供极小的线性部分的 x。

从数学上讲，我们可以将Leaky ReLu表达为：

f(x)= 0.01x, x<0
    = x,   x>=0

从数学角度来看：

• f(x)=1 (x<0)
• (αx)+1 (x>=0)(x)

这里的a是一个小常数，就像我们之前取的0.01一样。

以图形形式表示为:

Leaky ReLu的梯度

让我们来计算Leaky ReLu函数的梯度。梯度可以得出为：

f'(x) = 1,  x>=0
      = 0.01, x<0

在這種情況下，負輸入的梯度不為零。這意味著所有的神經元將被更新。

在Python中实现Leaky ReLu

下面给出了Leaky ReLu的实现方法：

def relu(x):
  if x>0 :
    return x
  else :
    return 0.01*x

让我们现场尝试一下输入。

 
x = 1.0
print('Applying Leaky Relu on (%.1f) gives %.1f' % (x, leaky_relu(x)))
x = -10.0
print('Applying Leaky Relu on (%.1f) gives %.1f' % (x, leaky_relu(x)))
x = 0.0
print('Applying Leaky Relu on (%.1f) gives %.1f' % (x, leaky_relu(x)))
x = 15.0
print('Applying Leaky Relu on (%.1f) gives %.1f' % (x, leaky_relu(x)))
x = -20.0
print('Applying Leaky Relu on (%.1f) gives %.1f' % (x, leaky_relu(x)))

完整的代码

下面是Leaky ReLu的完整代码：

def leaky_relu(x):
  if x>0 :
    return x
  else :
    return 0.01*x
 
x = 1.0
print('Applying Leaky Relu on (%.1f) gives %.1f' % (x, leaky_relu(x)))
x = -10.0
print('Applying Leaky Relu on (%.1f) gives %.1f' % (x, leaky_relu(x)))
x = 0.0
print('Applying Leaky Relu on (%.1f) gives %.1f' % (x, leaky_relu(x)))
x = 15.0
print('Applying Leaky Relu on (%.1f) gives %.1f' % (x, leaky_relu(x)))
x = -20.0
print('Applying Leaky Relu on (%.1f) gives %.1f' % (x, leaky_relu(x)))

輸出：

Applying Leaky Relu on (1.0) gives 1.0
Applying Leaky Relu on (-10.0) gives -0.1
Applying Leaky Relu on (0.0) gives 0.0
Applying Leaky Relu on (15.0) gives 15.0
Applying Leaky Relu on (-20.0) gives -0.2

结论

这个教程是关于 Python 中的 ReLu 函数的。我们还看到了改进版本的 ReLu 函数。Leaky ReLu 解决了 ReLu 函数中负值的零梯度问题。