【重拾数学知识】导数、极值和最值
2025-05-27 18:49:50
前言
在深度学习中，梯度下降法是一种常用的优化算法，用于更新模型参数以最小化损失函数。这梯度下降法中涉及到数学中的导数、极值等相关知识，因此我们重新回顾相关内容，以便加深理解。
相关概念
导数
一个问题
如何求得一个曲线f(x)中任意一点(x0)的斜率？
核心思想：在曲线上另外存在一个P点，P点无限接近x0，x0和P的连线将无限接近x0点的斜率。
在上图中：
我们求x0点和P点的之间的斜率为：
斜率公式：
k
=
y
1
−
y
2
x
1
−
x
2
=
f
(
x
0
+
Δ
x
)
−
f
(
x
0
)
Δ
x
k = \frac{y_1-y_2}{x_1-x_2} = \frac{f(x_0+Δx) - f(x_0)}{Δx}
k=x1−x2y1−y2=Δxf(x0+Δx)−f(x0)
加入极限条件Δx→0趋近于0时
f
′
(
x
)
=
l
i
m
(
Δ
x
−
>
0
)
f
(
x
+
Δ
x
)
−
f
(
x
)
Δ
x
f'(x) = lim(Δx->0) \frac{f(x + Δx) - f(x)}{Δx}
f′(x)=lim(Δx−>0)Δxf(x+Δx)−f(x)
定义
导数表示函数 f(x) 在某一点 x 处的变化率(或斜率)，通常记作 f’(x) 或 df/dx。
常见求导公式
偏导
接着，我们看下什么是偏导。如下图所示：
在左侧的二维平面中，一元函数f(x)在x0的导数为x0点的斜率，即为导数；在右侧的三维空间中，二元函数z = f(x,y)，在固定住y坐标轴(即：y=y0，如图中黑色线段向下切所示)时，求z=f(x, y0)在x0的导数，即为偏导数。
定义
偏导数是多元函数在某一点上对某个特定变量的导数，即函数在该点上沿着某个坐标轴方向的变化率。
偏导数本质上是在多元函数中，通过固定某一变量为常量，将多元降维。
极值与最值
在下面图例函数中，
f
(
x
)
=
1
3
x
3
+
1
2
x
2
−
2
x
−
1
f(x) = \frac{1}{3}x^3 + \frac{1}{2}x^2 - 2x - 1
f(x)=31x3+21x2−2x−1
通过求导，得到导数为
f
′
(
x
)
=
x
2
+
x
−
2
f'(x) = x^2 + x -2
f′(x)=x2+x−2
其中：
解方程f’(x) = 0，得到极值点为 x = -2 和 x = 1
当x = -2时，f’(x) < 0；
当x = 1 时，f’(x) > 0；
也就是说：x=-2的左侧是单调递增，x=-2到x=1之间是单调递减，x=-2这个点比左边要高，比右侧也要高，我们把这种点成为极值点。
定义
极值是函数在某一点或某一区间内取得的最大值或最小值。极大值是函数在该点附近取得的最大值，极小值是函数在该点附近取得的最小值。
最值是函数在定义域内取得的最大值或最小值。最大值是函数在整个定义域内取得的最大值，最小值是函数在整个定义域内取得的最小值。
特别注意：极值≠最值；一个曲线在一段区间内，可能有多个极值，但最值只有一个。
极大值和极小值
若x0是极值点，则f’(x0) = 0，这种情况下有两种可能：
若导函数由正往负，那么对应原函数先增后减，那么x0为极大值点。若导函数由负往正，那么对应原函数先减后增，那么x0为极小值点。
参考资料
B站：《"导数"一课通！1h零基础上手》
B站：《“偏导数”一课通！1h零基础上手！|高数下》
欢迎关注公众号以获得最新的文章和新闻