言情小说网 > 都市言情 > 职场小聪明 > 第592章 积极反馈的老师relu函数(3/3)
  类似 leaky re,但负值部分的系数可以由神经网络自己学习,而不是固定的 001。

    比喻:就像一个能根据学生情况调整教学方式的老师,而不是用同一个方法对待所有人。

    e(指数线性单元)

    负值部分不会完全归零,而是平滑下降到一个小的负数,使得神经元仍然可以继续学习。

    比喻:就像一个更加温和的教练,不会完全忽略失败,而是会温和地引导改进。

    总结:re 是 ai 的“成长加速器”

    re 的本质

    它的作用就是让神经网络学习得更快、更稳定,只保留有用的信息,丢弃无用的负值。

    它让 ai 变得更高效,尤其适用于深度学习模型。

    re 的优缺点

    优点:计算快,能避免梯度消失,适合深度网络。

    缺点:可能会让部分神经元“死亡”,无法学习负值信息。

    改进 re 的方法

    leaky re、pre、e 等,让 ai 更聪明地处理负值信息,而不是一刀切归零。

    思考:你在现实生活中,见过哪些“re 式”的思维方式?

    比如:

    有些老师只表扬学生,从不批评,是否适合所有人?

    有些企业只关注正向增长数据,而忽略了潜在的问题,这样是否真的健康?

    ai 的发展,就像人类思维的模拟,我们不仅需要“鼓励成长”(re),有时也需要适当地“学习失败的教训”(leaky re)!