具备力量+智慧+忠诚+勇气,单层感知机就无能为力了。因为它只能学习线性关系,而无法组合多个因素进行复杂决策。
数学上,单层感知机只能表示线性可分问题,但现实世界的很多问题是非线性的。例如:
逻辑异或(xor)问题:单层感知机无法解决,因为它不是线性可分的。
图像识别:不能仅靠像素的亮度判断物体,需要多层特征提取。
自然语言处理:单个词的出现不够,需要理解语境关系。
这就是为什么国王需要多层顾问(lp)——多层神经网络可以逐步提取复杂特征,使得最终决策更加准确!
3 lp 如何学习?(国王的顾问如何改进决策)
国王知道自己的顾问系统有缺陷,于是决定引入一套学习机制,让顾问们通过经验不断优化决策。
(1)前向传播(forward propagation)
国王向顾问们提交候选人名单,每个顾问按照自己擅长的领域打分,然后层层传递,最终大祭司给出决策。
数学上,这就是:
1 每一层计算:
2 通过激活函数:
3 最终输出预测结果 。
但如果这个决策结果和实际情况不符呢?国王如何优化顾问们的判断呢?这就需要反向传播。
(2)反向传播(backpropagation)
国王发现大祭司的决策和真实情况不符,比如他选了一位很强但不忠诚的战士。于是,他计算误差,并将这个信息反馈给顾问们,让他们调整评分标准。
数学上:
1 计算损失(loss),衡量预测值和真实值的误差:
2 计算梯度,调整每一层的权重:
其中, 是学习率。
这就是梯度下降(gradient descent),通过不断调整权重和偏置,使得最终预测更接近真实值。
最终,国王的顾问系统变得越来越精准,每一轮决策都会比上一轮更好。
4 lp 的现实应用
多层感知机在很多领域都有应用,特别适用于需要学