0、学习路径.md

参考资料：李沐《动手学深度学习》，《机器学习2023》

• 学习路径1

  1. 线性回归
  2. 分类
  3. 多层感知机
  4. 全连接神经网络
  5. RNN
  6. Attention

• 学习路径2

  1. 从零实现神经网络

  2. 线性回归

  3. 分类

  4. 多层感知机

  5. 全连接神经网络

  6. RNN

  7. Attention

  8. 从零实现深度学习框架

  9. 通过深度学习框架，使用Bert、Transformer 解决NLP常见任务

  10. LLM 1.微调 2.提示词工程 3.AI Agent 4.知识库

  批量归一化是线性变换（调整分布），激活函数是非线性变换，所以批量归一化要在激活函数之前，

  批量归一化作用于全连接层时，是作用在特征维度，比如行是样本，列是特征，则就是对每一列，求均值和方差 作用于卷积层时，是作用在通道维，一个像素理解为一个样本，一个batch有NHW个样本，计算每个样本的均值和方差