                        课程
                    
                        /后端开发
                        
                            /Python
                        
                        /机器学习-实现简单神经网络

那个权重更新算法，为什么那样更新是合理的，那个更新后的参数就会逼近最终答案？

琴代语兮

2017-07-02

源自：机器学习-实现简单神经网络 2-2

关注问题我要回答

1192

操作

收起

2 回答

慕前端1296039
2020-10-06

首先，我们所求的答案并不一定是最优答案（最值），而通常是相对最优答案（极值）。拿周志华机器学习中的例子来说，当你站在山坡的某个位置时，只看你当前位置朝哪个方向走下山最快（即求导的过程），然后朝那个方向迈出一步（即更新权重的过程），之后继续看朝哪个方向走下山最快，再继续迈出一步（反复迭代）。也许，你会走到真正的山底（最值），也许你遇到某个坑就停下了（极值）。而针对极值，如果想要跳出，就涉及后面的优化算法了。