机器学习_逻辑回归

神经网络基础

2.2 逻辑回归

Logistic Regression

• latex:

• 符号 $$

• y hat: y有上标

• 换行：\\

• 矩阵: matrix

• 省略号

• $...$ 可以插入行内公式，使用 $$$ … $$$ 可以插入行间公式

• sigma vs sigmoid

  • sigmoid

    • scope:$0\to1$

    • $\sigma(z)=\frac{1}{1+e^{-z}}$

      • if $z\to\infty$ :$\sigma(z)\approx \frac{1}{1+0}=1 $
      • if $z\to-\infty$:$\sigma(z)\approx \frac{1}{1+\infty}\approx 0$

公式一：

$$x \rightarrow \hat{y}=p(y=1|x)\\ x\in R^{nx},b \in R\\ Parameters: w\in R^{nx}\\ Output:\hat{y}= \sigma(w^tx+b)\\$$

公式二：

$$x_0=1,x\in R^{n_{x+1}}\\ \hat{y}=\sigma(\theta^Tx)\\ \theta=\left[ \begin{matrix} \theta_0\\ \theta_1\\ \theta_2\\ \vdots\\ \theta_{nx} \end{matrix} \right]$$

2.3 代价函数

Loss Function or Cost Function

公式

$$\hat{y} = \sigma(w^Tx+b),where \ \sigma(z)=\frac{1}{1+e^{-z}}\\ \left\{ \begin{matrix} (x^{(1)},y^{(1)}),\cdots,(x^{(m)},y^{(m)})\rightarrow \hat{y}^{(i)}\approx y^{(i)} \end{matrix} \right\} // i代表第几个数据$$

损失函数

单个测试样本

$L(\hat y ,y)=-(ylog \ \hat y+(1-y)log(1-\hat y))$

• $if \ y = 1: L(\hat y ,y)= -log\ \hat y \leftarrow want\ log\ \hat y \ large,want\ \hat y \ large$

• $if \ y = 0: L(\hat y ,y)= -log (1- \hat y) \leftarrow want\ log (1- \hat y) \ large,want\ \hat y \ small$

代价函数

基于参数的总成本 $w , b$

$$J(w,b)=\frac{1}{m}\sum_{i=1}^mL(\hat y^{(i)}, y^{(i)})=-\frac{1}{m}\sum^m_{i=1}[y^{(i)}log \ \hat y^{(i)}+(1-y^{(i)})log(1-\hat y^{(i)})]$$

2.4 梯度下降法

Gradient Descent

• 凸函数 凹函数

• 符号 导数 vs 偏导

  $d \ vs \ \partial$

• 全局最优 vs 局部最优

• textbook 教科书

$$want\ to \ find \ w,b \ that \ 最小化 J(w,b)\\ J(w,b)=\frac{1}{m}\sum_{i=1}^mL(\hat y^{(i)}, y^{(i)})=-\frac{1}{m}\sum^m_{i=1}[y^{(i)}log \ \hat y^{(i)}+(1-y^{(i)})log(1-\hat y^{(i)})]$$ $$// \alpha学习率\ dw对w的变化率 \\ \begin{align*} repeat\{\\ &w:w-\alpha\frac{dJ{(w)}}{d{w}}\\ \} \end{align*}$$

2.5 导数

derivatives 物理上：slope 斜率（函数）

2.7 计算图

• 链式法则