逻辑回归代价函数的求导详细推理过程

基本的求导公式复习

1.基本求导法则

记
$$
u(x)=u, v(x)=v
$$
$u(x)=u, v(x)=v$皆为可导函数，
$$
(u \pm v)^{\prime}=u^{\prime} \pm v^{\prime}
$$
(1) $(u \pm v)^{\prime}=u^{\prime} \pm v^{\prime}$
(2) $(u v)^{\prime}=u^{\prime} v+u v^{\prime}$
(3) $(C u)^{\prime}=C u^{\prime}$
(4) $\left(\frac{u}{v}\right)^{\prime}=\frac{u^{\prime} v-u v^{\prime}}{v^{2}}$

2.对数求导：

$$\mathrm{y}=\log (u), y^{\prime}=(\log (u))^{\prime}=\frac{1}{u} u^{\prime}$$

3.幂函数求导：

$$f=\left(y^{x}\right), f^{\prime}=\left(y^{x}\right)^{\prime}=x y^{x-1} x^{\prime}$$
4.复合函数求导数：
设 $y=f(u)$，$u=\varphi(x)$且$f(u)$及$\varphi(x)$都可导，则复合函数$y=f[\varphi(x)]$的导数为：
$\frac{d y}{d x}=\frac{d y}{d u} * \frac{d u}{d x}$
$\mathrm{y}^{\prime}=f^{\prime}(u) * \varphi^{\prime}(x)$

Logistic 回归的 Cost function 的推导过程：

之前使用的函数计算损失函数一般都是使用梯度下降法，现在我们学习新的一种方法