README
deep_learning_theory
Summary of deep learning theory
Table of Contents
- 1-feedforward_network/
- 2-back_propagation/
- 3-bp_example_demo/
- 4-convolution_neural_network/
- 5-deep_learning_model/
- 6-pytorch_install/
- 7-operators/
- 8-activation_functions/
- 9-recurrent_neural_network/
- 10-seq2seq/
- 11-attentions/
- 12-weight-initialization/
- 13-optimizers/
- 14-regularization/
- 15-deep-learning-tuning-guide/
- 16-learning_rate/
- 20-pytorch-tensor/
- 21-pytorch-autograd/
- 22-pytorch-module/
- 23-training-examples/
- 24-pytorch-optimizer/
- 25-pytorch-lr-scheduler/
- 25-pytorch-data-state/
- 26-pytorch-dataloader/
- 27-pytorch-model-save/
- 28-pytorch-tensorboard/
- 29-pytorch-graph-mode/
- 30-training_examples_cv/
- 31-stable-diffusion/
- 33-stable-diffusion/
- 40-nlp_bert/
- 41-nlp_t5/
- 42-nlp-gpt/
- 43-scaling-law/
- 44-distribute-training/
- 45-LLM-History/
- 46-LLM-GPT-Extension/
- 46-LLM-Llama/
- 47-LLM-DeepSeek-Structure/
- 48-LLM-deepseek-r1-training/
- 49-PPO-GRPO/
- 50-Chain-of-Thought/
- 100-LLM-Survey/
Other:
Lessons Additions and Adjustments
内容补充：
| 序号 | 补充内容 | 状态 |
|---|---|---|
| 001 | update：softmax 激活函数的导数引出一下（雅可比矩阵） | 1 |
| 002 | add：Norm 讲解的时候，未加入最新的 DyT（Transformers without normalization） | 1 |
| 003 | add：DeepNorm 补充 | 1 |
| 004 | add：PyTorch 等框架模型结构中的参数类型和数据整理（已补充到课件PyTorch部分） | 1 |
| 005 | 思考：工程如何实现训练和推理不同的模块或者算子（那个 training 参数和具体的算子结构） | 0 |
| 006 | 0 |
调整建议:
| 序号 | 调整建议 |
|---|---|
| 001 | updata：torch 的 Tensor 中，数据有 metadata 和 storage 之分（之前讲成 rawdata，但官网未使用这种叫法） torch.Srorage |
| 002 | 优化：前后知识交叉部分可以切回到原理快速回顾一下（比如：训练模式与Norm和Dropout、torch的数据结构与一些基础算子等） |
Similar repos
README
deep_learning_theory
Summary of deep learning theory
Table of Contents
- 1-feedforward_network/
- 2-back_propagation/
- 3-bp_example_demo/
- 4-convolution_neural_network/
- 5-deep_learning_model/
- 6-pytorch_install/
- 7-operators/
- 8-activation_functions/
- 9-recurrent_neural_network/
- 10-seq2seq/
- 11-attentions/
- 12-weight-initialization/
- 13-optimizers/
- 14-regularization/
- 15-deep-learning-tuning-guide/
- 16-learning_rate/
- 20-pytorch-tensor/
- 21-pytorch-autograd/
- 22-pytorch-module/
- 23-training-examples/
- 24-pytorch-optimizer/
- 25-pytorch-lr-scheduler/
- 25-pytorch-data-state/
- 26-pytorch-dataloader/
- 27-pytorch-model-save/
- 28-pytorch-tensorboard/
- 29-pytorch-graph-mode/
- 30-training_examples_cv/
- 31-stable-diffusion/
- 33-stable-diffusion/
- 40-nlp_bert/
- 41-nlp_t5/
- 42-nlp-gpt/
- 43-scaling-law/
- 44-distribute-training/
- 45-LLM-History/
- 46-LLM-GPT-Extension/
- 46-LLM-Llama/
- 47-LLM-DeepSeek-Structure/
- 48-LLM-deepseek-r1-training/
- 49-PPO-GRPO/
- 50-Chain-of-Thought/
- 100-LLM-Survey/
Other:
Lessons Additions and Adjustments
内容补充：
| 序号 | 补充内容 | 状态 |
|---|---|---|
| 001 | update：softmax 激活函数的导数引出一下（雅可比矩阵） | 1 |
| 002 | add：Norm 讲解的时候，未加入最新的 DyT（Transformers without normalization） | 1 |
| 003 | add：DeepNorm 补充 | 1 |
| 004 | add：PyTorch 等框架模型结构中的参数类型和数据整理（已补充到课件PyTorch部分） | 1 |
| 005 | 思考：工程如何实现训练和推理不同的模块或者算子（那个 training 参数和具体的算子结构） | 0 |
| 006 | 0 |
调整建议:
| 序号 | 调整建议 |
|---|---|
| 001 | updata：torch 的 Tensor 中，数据有 metadata 和 storage 之分（之前讲成 rawdata，但官网未使用这种叫法） torch.Srorage |
| 002 | 优化：前后知识交叉部分可以切回到原理快速回顾一下（比如：训练模式与Norm和Dropout、torch的数据结构与一些基础算子等） |