torch.nn.PReLU

原型

CLASS torch.nn.PReLU(num_parameters=1, init=0.25, device=None, dtype=None)

参数

• num_parameters ([int]) – 需要学习的 $a$ 的数量，尽管作为输入，只有两个值是合法的，1 或者 输入的通道数，默认为 1 。
• init ([float]) – $a$ 的初始值，默认为 0.25。

定义

$$\text{PReLU}(x)=\max (0,x)+a\ast \min (0,x)$$

or

$$\text{PReLU}(x)=\{\begin{array}{ll}x,& \text{if}x\ge 0\\ ax,& \text{otherwise}\end{array}$$

图

代码

import torch
import torch.nn as nn

m = nn.PReLU()
input = torch.randn(4)
output = m(input)

print("input: ", input)   # input:  tensor([ 0.1061, -2.0532,  1.4081, -0.1516])
print("output: ", output) # output:  tensor([ 0.1061, -0.5133,  1.4081, -0.0379], grad_fn=<PreluBackward>)

【参考】

PReLU — PyTorch 1.13 documentation