“只给正面反馈的老师”或“专注于进步的运动员”，让 ai 更快地学习有效的信息，丢弃无用的数据，从而提高计算效率！
思考：你在生活中，有没有遇到类似 re 的情境？比如某些人只关注好消息，而不理会坏消息？这种策略在什么情况下是优点，什么情况下可能有缺点？
re 的优缺点：只关注“好消息”，但可能忽略重要信息
虽然 re 在神经网络中非常流行，但它并不是完美的，它的特点决定了它既有优点，也有一些潜在的问题。
re 的优点：更快、更强、更稳定
1 计算速度快
re 只需要简单地判断“是否大于 0”，不像 sigoid 或 tanh 需要复杂的指数运算，因此它能让神经网络计算得更快。
2 解决梯度消失问题
在深度神经网络中，传统的 sigoid 函数容易让梯度变得越来越小（导致网络学不会东西）。但 re 由于保持正值不变（直接 y=x），不会导致梯度消失，从而让神经网络可以学习更复杂的模式。
3 让神经网络更容易训练深层结构
re 是现代深度学习的核心激活函数，因为它让深度神经网络（dnn、n、transforr 等）可以稳定地训练数百层，甚至更深。
re 的缺点：可能会忽略一些“负面信息”
虽然 re 能够高效处理正数输入，但它也有一个潜在的问题——如果输入是负数，它就会直接变成 0，不再参与计算，这可能会导致一部分神经元“死亡”，无法再学习任何东西。这个现象被称为“神经元死亡”问题。
解决方案：re 的改进版本
科学家们为了让 re 更强大，开发了一些变种，比如：
leaky re（泄漏 re）
让负数部分不过完全归零，而是保留一个很小的值，比如 001x，避免神经元完全失效。
比喻：就像一个更有耐心的老师，虽然还是以鼓励为主，但偶尔也会给一点点负面反馈，让学生知道哪里可以改进。
paratric re（pre）