ReLU（Rectified Linear Unit）是在2010年被提出的一种激活函数，其全称是修正线性单元。

ReLU函数的定义是f(x)=max(0,x)，其作用是将输入值大于0的部分保持不变，而将输入值小于或等于0的部分变为0。ReLU函数的提出对于深度学习的发展起到了重要的推动作用，因为它能够有效地解决神经网络中的梯度消失问题，并且能够加速网络的训练速度。ReLU函数在深度学习领域中得到了广泛的应用，成为了许多神经网络模型中的默认激活函数之一。

relu激活函数是在声学模型2013中首次提出的