## 机器学习基础笔记 (Machine Learning)

### 朴素贝叶斯法的参数估计

$$y=f(x)=\arg \max_{c_k}\prod_{j=1}^n P(X_j=x_j|Y=c_k)P(Y=c_k)$$

#### 极大似然估计

$$P(Y=c_k)=\dfrac{\displaystyle\sum_{i=1}mI(y{(i)}=c_k)}{m},\ k=1,2,...,K$$

$$P(X_j=x_{jl}|Y=c_k)=\dfrac{\displaystyle\sum_{i=1}mI(x_j{(i)}=x_{jl},y{(i)}=c_k)}{\displaystyle\sum_{i=1}mI(y^{(i)}=c_k)}$$

$$j=1,2,...,n;\ l=1,2,...,s_j;\ k=1,2,...,K$$

$$L(\theta_k;y{(1)},y{(2)},...,y{(m)})=\displaystyle\prod_{i=1}mp(y{(i)})=\displaystyle\prod_{k=1}K\theta_k^{t_k}$$

$$ln(L(\theta_k))=\displaystyle\sum_{k=1}^Kt_kln\theta_k$$

$$l(\theta_k,\lambda)=\displaystyle\sum_{k=1}Kt_kln\theta_k+\lambda(\displaystyle\sum_{k=1}K\theta_k-1)$$

$$\dfrac{\partial l(\theta_k,\lambda)}{\partial \theta_k}=\dfrac{t_k}{\theta_k}+\lambda=0$$

$$t_k=-\lambda{\theta_k},\ k=1,2,...,K$$

$$P(Y=c_k)=\theta_k=\dfrac{t_k}{m}$$

#### 贝叶斯估计

$$P_{\lambda}(X_j=x_{jl}|Y=c_k)=\dfrac{\displaystyle\sum_{i=1}mI(x_j{(i)}=x_{jl},y{(i)}=c_k)+\lambda}{\displaystyle\sum_{i=1}mI(y^{(i)}=c_k)+s_j\lambda}$$

$$P_{\lambda}(Y=c_k)=\dfrac{\displaystyle\sum_{i=1}mI(y{(i)}=c_k)+\lambda}{m+K\lambda}$$

#### 示例

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
X1 1 1 1 1 1 2 2 2 2 2 3 3 3 3 3
X2 S M M S S S M M L L L M M L L
Y -1 -1 1 1 -1 -1 -1 1 1 1 1 1 1 1 -1

$$P(Y=1)=\dfrac{9}{15}$$，$$P(Y=-1)=\dfrac{6}{15}$$

$$P(X_1=1|Y=1)=\dfrac{2}{9}$$，$$P(X_1=2|Y=1)=\dfrac{3}{9}$$，$$P(X_1=3|Y=1)=\dfrac{4}{9}$$

$$P(X_2=S|Y=1)=\dfrac{1}{9}$$，$$P(X_2=M|Y=1)=\dfrac{4}{9}$$，$$P(X_2=L|Y=1)=\dfrac{4}{9}$$

$$P(X_1=1|Y=-1)=\dfrac{3}{6}$$，$$P(X_1=2|Y=-1)=\dfrac{2}{6}$$，$$P(X_1=3|Y=-1)=\dfrac{1}{6}$$

$$P(X_2=S|Y=-1)=\dfrac{3}{6}$$，$$P(X_2=M|Y=-1)=\dfrac{2}{6}$$，$$P(X_2=L|Y=-1)=\dfrac{1}{6}$$

$$P(Y=1)P(X_1=2|Y=1)P(X_2=S|Y=1)=\dfrac{9}{15}\cdot \dfrac{3}{9} \cdot \dfrac{1}{9}=\dfrac{1}{45}$$

$$P(Y=-1)P(X_1=2|Y=-1)P(X_2=S|Y=-1)=\dfrac{6}{15}\cdot \dfrac{2}{6} \cdot \dfrac{3}{6}=\dfrac{1}{15}$$

$$P(Y=1)=\dfrac{10}{17}$$，$$P(Y=-1)=\dfrac{7}{17}$$

$$P(X_1=1|Y=1)=\dfrac{3}{12}$$，$$P(X_1=2|Y=1)=\dfrac{4}{12}$$，$$P(X_1=3|Y=1)=\dfrac{5}{12}$$

$$P(X_2=S|Y=1)=\dfrac{2}{12}$$，$$P(X_2=M|Y=1)=\dfrac{5}{12}$$，$$P(X_2=L|Y=1)=\dfrac{5}{12}$$

$$P(X_1=1|Y=-1)=\dfrac{4}{9}$$，$$P(X_1=2|Y=-1)=\dfrac{3}{9}$$，$$P(X_1=3|Y=-1)=\dfrac{2}{9}$$

$$P(X_2=S|Y=-1)=\dfrac{4}{9}$$，$$P(X_2=M|Y=-1)=\dfrac{3}{9}$$，$$P(X_2=L|Y=-1)=\dfrac{2}{9}$$

$$P(Y=1)P(X_1=2|Y=1)P(X_2=S|Y=1)=\dfrac{10}{17}\cdot \dfrac{4}{12} \cdot \dfrac{2}{12}=\dfrac{5}{153}=0.03$$

$$P(Y=-1)P(X_1=2|Y=-1)P(X_2=S|Y=-1)=\dfrac{7}{17}\cdot \dfrac{3}{9} \cdot \dfrac{4}{9}=\dfrac{28}{459}=0.06$$

• #### TensorFlow 官方文档中文版

jikexueyuanwiki tensorflow 33页 2018年6月5日
8767

• #### Sklearn 与 TensorFlow 机器学习实用指南

ApacheCN tensorflow 20页 2018年5月3日
916

• #### React Native中文文档0.51版

tzivanmoe react 118页 2018年7月1日
0

• #### InfluxDB简明手册

xtutu influxdb 18页 2018年6月5日
199

• #### 前端早读课

if2er html5 1页 2018年7月8日
7

• #### 30秒学会常用React代码

30 seconds redux 52页 2019年5月26日
1894