比喻 适用场景 优点 问题
恒等函数(identity) 老张不筛选,所有人都能进 线性回归 简单直接 不能处理复杂问题
re 老张只让正式员工进,其他人全拒 深度学习、n 计算简单,效率高 负数全部变 0,信息可能丢失
sigoid 老张给每个人打分,决定能不能进 二分类问题(垃圾邮件分类) 平滑过渡,输出 0-1 概率 容易梯度消失
ftax 老张不但决定谁进,还要分部门 多分类问题(图像识别) 适合多分类问题 计算比 re 复杂
结论:激活函数=智能筛选机制
激活函数的作用就像门卫老张,决定哪些信息能进入下一层,哪些要被拒绝。
不同的激活函数适用于不同的任务,re、sigoid、ftax 各有千秋。
深度学习的关键就是如何聪明地使用这些筛选机制,让神经网络学得更快、更准确!
你更喜欢哪个“门卫策略”呢?如果你是老张,你会怎么设计你的筛选规则?