MLNLP-World/DeepLearning-MuLi-Notes

Notes about courses Dive into Deep Learning by Mu Li

Jupyter Notebook

3,852

32 commits

updated Apr 11, 2023

See the code

README

《动手学习深度学习》

version Status-building PRs-Welcome stars FORK Issues


项目动机

《动手学习深度学习》是李沐老师(AWS 资深首席科学家,美国卡内基梅隆大学计算机系博士)主讲的一系列深度学习视频。本项目收集了我们在寒假期间学习《动手学习深度学习》过程中详细的markdown笔记和相关的jupyter代码。赠人玫瑰,手留余香,我们将所有的markdown笔记开源,希望在自己学习的同时,也对大家学习掌握李沐老师的《动手学习深度学习》有所帮助。

本项目的特色:

  1. markdown笔记与原课程视频一一对应,可以帮助大家一边听课一边理解。
  2. jupyter代码均有详细中文注释,帮助大家更快上手实践。

课程视频共73节,单个视频平均时长不超过30分钟,预计寒假40天内可以学习完毕。

本项目所用徽章来自互联网,如侵犯了您的图片版权请联系我们删除,谢谢。

课程简介

通常我们提到深度学习,常常会忘记深度学习只是机器学习的一小部分,而认为它是独立于机器学习的单独模块。这是因为机器学习作为一门历史更悠久的学科,在深度学习没有问世之前,在现实世界的应用范围很窄。在语音识别、计算机视觉、自然语言处理等领域,由于需要大量的领域知识并且现实情况异常复杂,机器学习往往只是解决这些领域问题方案中的一小部分。但是就在过去的几年里,深度学习的问世和应用给世界带来了惊喜,推动了计算机视觉、自然语言处理、自动语音识别、强化学习和统计建模等领域的快速发展,并逐渐引领潮流,在世界掀起了一波人工智能的革命。

在 《动手学习深度学习》 课程中,既有少量的机器学习的基础知识,比如:线性神经网络,多层感知机 等等;又有如今前沿应用的 各种深度学习模型:包括leNet,ResNet,LSTM,BERT…… 同时每一章节的讲解还配备由pytorch实现的代码、教科书等等,可以帮助同学在短期内掌握深度学习的基础模型与前沿知识和并提高实践能力。

课程资源

此外,本门课程还有相应的代码实现。每章都有相应的jupyter记事本,提供模型的完整python代码,所有的资源都可在网上免费获取。

教材目录

《动手学深度学习》(中文版)和英文版Dive into Deep Learning 0.17.1 documentation教材目录及章节链接如下:

笔记

视频笔记讲义代码贡献者
00-预告讲义
01-课程安排讲义
02-深度学习介绍讲义
03-安装讲义
04-数据操作和数据预处理讲义Jupyter 代码
05-线性代数讲义
06-矩阵计算讲义
07-链式法则和自动求导讲义Jupyter 代码
08-线性回归+基础优化算法讲义1 2Jupyter 代码
09-Softmax回归讲义1 2Jupyter 代码
10-多层感知机讲义1 2Jupyter 代码
11-模型选择+过拟合和欠拟合讲义1 2
12-权重衰退讲义Jupyter 代码
13-丢弃法讲义Jupyter 代码
14-数值稳定性讲义1 2
15-实战Kaggle预测房价讲义Jupyter 代码
16-Pytorch神经网络基础讲义Jupyter 代码
17-使用和购买GPU讲义Jupyter 代码
18-预测房价竞赛总结讲义
19-卷积层讲义1 2Jupyter 代码
20-填充和步幅讲义Jupyter 代码
21-多输入输出通道讲义Jupyter 代码
22-池化层讲义Jupyter 代码
23-LeNet讲义Jupyter 代码
24-AlexNet讲义Jupyter 代码
25-使用块的网络VGG讲义Jupyter 代码
26-NiN讲义Jupyter 代码
27-GoogLeNet讲义Jupyter 代码
28-批量归一化讲义Jupyter 代码
29-残差网络ResNet讲义
30-第二部分完结竞赛讲义
31-CPU和GPU讲义
32-深度学习硬件讲义
33-单机多卡并行讲义
34-多GPU训练实现讲义Jupyter 代码
35-分布式训练讲义
36-数据增广讲义Jupyter 代码
37-微调讲义Jupyter 代码
38-第二次竞赛树叶分类结果讲义
39-实战Kaggle比赛-1讲义
40-实战Kaggle比赛-2讲义Jupyter 代码
41-物体检测和数据集讲义
[42-锚框]讲义
43-树叶分类竞赛技术总结讲义
44-物体检测算法讲义123
45-SSD实现讲义Jupyter 代码
46-语义分割和数据集讲义Jupyter 代码
47-转置卷积讲义1 2
48-FCN讲义Jupyter 代码
49-样式迁移讲义Jupyter 代码
50-课程竞赛讲义
51-序列模型讲义
52-文本预处理讲义Jupyter 代码
53-语言模型讲义
54-循环神经网络讲义
55-RNN实现讲义Jupyter 代码
56-GRU讲义Jupyter 代码
57-LSTM讲义
58-深层循环神经网络讲义Jupyter 代码
[59-双向循环神经网络]讲义
60-机器翻译数据集讲义Jupyter 代码
61-编码器-解码器架构讲义
62-序列到序列的学习讲义Jupyter 代码
63-束搜索讲义
64-注意力机制讲义Jupyter 代码
65-注意力分数讲义
[66-使用注意力的seq2seq]讲义
67-自注意力讲义Jupyter 代码
68-Transformer讲义Jupyter 代码
69-BERT预训练讲义
70-BERT微调讲义
[71-目标检测竞赛总结]讲义
72-优化算法讲义
73-课程总结和进阶学习讲义

文件夹说明

  • imgs:笔记涉及到的图片
  • notes:笔记的markdown版本
  • code:课程涉及到的python代码

组织者

感谢以下同学对本项目的组织

贡献者

感谢以下同学对本项目的支持与贡献

deep-learning
pytorch

MLNLP-World/DeepLearning-MuLi-Notes

Notes about courses Dive into Deep Learning by Mu Li

Jupyter Notebook

3,852

32 commits

updated Apr 11, 2023

See the code

README

《动手学习深度学习》

version Status-building PRs-Welcome stars FORK Issues


项目动机

《动手学习深度学习》是李沐老师(AWS 资深首席科学家,美国卡内基梅隆大学计算机系博士)主讲的一系列深度学习视频。本项目收集了我们在寒假期间学习《动手学习深度学习》过程中详细的markdown笔记和相关的jupyter代码。赠人玫瑰,手留余香,我们将所有的markdown笔记开源,希望在自己学习的同时,也对大家学习掌握李沐老师的《动手学习深度学习》有所帮助。

本项目的特色:

  1. markdown笔记与原课程视频一一对应,可以帮助大家一边听课一边理解。
  2. jupyter代码均有详细中文注释,帮助大家更快上手实践。

课程视频共73节,单个视频平均时长不超过30分钟,预计寒假40天内可以学习完毕。

本项目所用徽章来自互联网,如侵犯了您的图片版权请联系我们删除,谢谢。

课程简介

通常我们提到深度学习,常常会忘记深度学习只是机器学习的一小部分,而认为它是独立于机器学习的单独模块。这是因为机器学习作为一门历史更悠久的学科,在深度学习没有问世之前,在现实世界的应用范围很窄。在语音识别、计算机视觉、自然语言处理等领域,由于需要大量的领域知识并且现实情况异常复杂,机器学习往往只是解决这些领域问题方案中的一小部分。但是就在过去的几年里,深度学习的问世和应用给世界带来了惊喜,推动了计算机视觉、自然语言处理、自动语音识别、强化学习和统计建模等领域的快速发展,并逐渐引领潮流,在世界掀起了一波人工智能的革命。

在 《动手学习深度学习》 课程中,既有少量的机器学习的基础知识,比如:线性神经网络,多层感知机 等等;又有如今前沿应用的 各种深度学习模型:包括leNet,ResNet,LSTM,BERT…… 同时每一章节的讲解还配备由pytorch实现的代码、教科书等等,可以帮助同学在短期内掌握深度学习的基础模型与前沿知识和并提高实践能力。

课程资源

此外,本门课程还有相应的代码实现。每章都有相应的jupyter记事本,提供模型的完整python代码,所有的资源都可在网上免费获取。

教材目录

《动手学深度学习》(中文版)和英文版Dive into Deep Learning 0.17.1 documentation教材目录及章节链接如下:

笔记

视频笔记讲义代码贡献者
00-预告讲义
01-课程安排讲义
02-深度学习介绍讲义
03-安装讲义
04-数据操作和数据预处理讲义Jupyter 代码
05-线性代数讲义
06-矩阵计算讲义
07-链式法则和自动求导讲义Jupyter 代码
08-线性回归+基础优化算法讲义1 2Jupyter 代码
09-Softmax回归讲义1 2Jupyter 代码
10-多层感知机讲义1 2Jupyter 代码
11-模型选择+过拟合和欠拟合讲义1 2
12-权重衰退讲义Jupyter 代码
13-丢弃法讲义Jupyter 代码
14-数值稳定性讲义1 2
15-实战Kaggle预测房价讲义Jupyter 代码
16-Pytorch神经网络基础讲义Jupyter 代码
17-使用和购买GPU讲义Jupyter 代码
18-预测房价竞赛总结讲义
19-卷积层讲义1 2Jupyter 代码
20-填充和步幅讲义Jupyter 代码
21-多输入输出通道讲义Jupyter 代码
22-池化层讲义Jupyter 代码
23-LeNet讲义Jupyter 代码
24-AlexNet讲义Jupyter 代码
25-使用块的网络VGG讲义Jupyter 代码
26-NiN讲义Jupyter 代码
27-GoogLeNet讲义Jupyter 代码
28-批量归一化讲义Jupyter 代码
29-残差网络ResNet讲义
30-第二部分完结竞赛讲义
31-CPU和GPU讲义
32-深度学习硬件讲义
33-单机多卡并行讲义
34-多GPU训练实现讲义Jupyter 代码
35-分布式训练讲义
36-数据增广讲义Jupyter 代码
37-微调讲义Jupyter 代码
38-第二次竞赛树叶分类结果讲义
39-实战Kaggle比赛-1讲义
40-实战Kaggle比赛-2讲义Jupyter 代码
41-物体检测和数据集讲义
[42-锚框]讲义
43-树叶分类竞赛技术总结讲义
44-物体检测算法讲义123
45-SSD实现讲义Jupyter 代码
46-语义分割和数据集讲义Jupyter 代码
47-转置卷积讲义1 2
48-FCN讲义Jupyter 代码
49-样式迁移讲义Jupyter 代码
50-课程竞赛讲义
51-序列模型讲义
52-文本预处理讲义Jupyter 代码
53-语言模型讲义
54-循环神经网络讲义
55-RNN实现讲义Jupyter 代码
56-GRU讲义Jupyter 代码
57-LSTM讲义
58-深层循环神经网络讲义Jupyter 代码
[59-双向循环神经网络]讲义
60-机器翻译数据集讲义Jupyter 代码
61-编码器-解码器架构讲义
62-序列到序列的学习讲义Jupyter 代码
63-束搜索讲义
64-注意力机制讲义Jupyter 代码
65-注意力分数讲义
[66-使用注意力的seq2seq]讲义
67-自注意力讲义Jupyter 代码
68-Transformer讲义Jupyter 代码
69-BERT预训练讲义
70-BERT微调讲义
[71-目标检测竞赛总结]讲义
72-优化算法讲义
73-课程总结和进阶学习讲义

文件夹说明

  • imgs:笔记涉及到的图片
  • notes:笔记的markdown版本
  • code:课程涉及到的python代码

组织者

感谢以下同学对本项目的组织

贡献者

感谢以下同学对本项目的支持与贡献

deep-learning
pytorch

Significant stargazers

Jiaren Cai

224 followers · starred Mar 2023

Peter Lee

93 followers · starred May 2022

Ping

33 followers · starred Apr 2023

takatost

563 followers · starred May 2022