$$f(x_0+\delta x) = f(x_0) + f{'}(x_0)\delta_x + \frac {f{''}(x_0)} {2}\delta_x2 + o(\delta2_x)= g(\delta_x) +o(\delta_x^2)$$

关于$$\delta_x$$的二次函数$$g(\delta_x)$$的极值点为$$-\frac {f{'}(x_0)} {f{''}(x_0)}$$,那么f(x)极值点估计在$$x_0-\frac {f{'}(x_0)} {f{''}(x_0)}$$附近。于是定义$$x_1=x_0-\frac {f{'}(x_0)} {f{''}(x_0)}$$,重复此步骤得到序列:

$$x_n=x_{n-1}-\frac {f{'}(x_{n-1})} {f{''}(x_{n-1})}$$

当初始值选择比较好的时候,可以收敛到局部极值点。这就是牛顿法求极值。

多元函数时:

$$x_n=x_{n-1}-(Hf(x_{n-1}))^{-1}.\delta f(x_{n-1})$$

其中用梯度$$\delta f$$ 代替一阶导数,使用Hessian矩阵Hf代替二阶导数。


书籍推荐