Limit of Linear Model
- 实际要调整的参数很多
如果有N个Class，K个Label，需要调整的参数就有(N+1)K个
- Linear Model不能应对非线性的问题
- Linear Model的好处
- GPU就是设计用于大矩阵相乘的，因此它们用来计算Linear Model非常高效
- Stable：input的微小改变不会很大地影响output
- 求导方便：线性求导是常数
- 我们想要参数函数是线性的，但整个model是非线性的
- 所以需要对各个线性模型做非线性组合
- 最简单的非线性组合：分段线性函数（RELU）
- 最简单的非线性组合：分段线性函数（RELU）
