nn.PReLU() 激活函数

PReLU(Parametric Rectified Linear Unit), 顾名思义：带参数的ReLU

其中a代表的是可学习的参数

ReLU、PReLU的比较：

如果ai=0，那么PReLU退化为ReLU；
如果ai是一个很小的固定值(如ai=0.01)，则PReLU退化为Leaky ReLU(LReLU)。

有实验证明，与ReLU相比，LReLU对最终的结果几乎没什么影响。