Shadowgraph
TrendingBuzzResearch
Chrome extension
Sign in

DA-southampton/NLP_ability

总结梳理自然语言处理工程师(NLP)需要积累的各方面知识，包括面试题，各种基础知识，工程能力等等，提升核心竞争力

Python

7,507

81 commits

updated Aug 24, 2022

See the code

README

背景介绍

NLP日常工作经验和论文解析，包含：预训练模型，文本表征，文本相似度，文本分类，多模态，知识蒸馏，词向量。

我觉得NLP是一个值得深耕的领域，所以希望可以不停的提升自己核心竞争力和自己的段位！

微信公众号：DASOU

深度学习自然语言处理

Transformer

  1. 史上最全Transformer面试题
  2. 答案解析(1)-史上最全Transformer面试题
  3. Pytorch代码分析--如何让Bert在finetune小数据集时更“稳”一点
  4. 解决老大难问题-如何一行代码带你随心所欲重新初始化bert的某些参数(附Pytorch代码详细解读)
  5. 3分钟从零解读Transformer的Encoder
  6. 原版Transformer的位置编码究竟有没有包含相对位置信息
  7. BN踩坑记--谈一下Batch Normalization的优缺点和适用场景
  8. 谈一下相对位置编码
  9. NLP任务中-layer-norm比BatchNorm好在哪里
  10. 谈一谈Decoder模块
  11. Transformer的并行化
  12. Transformer全部文章合辑
  13. RNN的梯度消失有什么与众不同的地方.md
  14. VIT-如何将Transformer更好的应用到CV领域

Bert-基本知识

  1. FastBERT-CPU推理加速10倍
  2. RoBERTa：更多更大更强
  3. 为什么Bert做不好无监督语义匹配
  4. UniLM:为Bert插上文本生成的翅膀
  5. tBERT-BERT融合主题模型做文本匹配
  6. XLNET模型从零解读
  7. 如何在脱敏数据中使用BERT等预训练模型

Bert-知识蒸馏

  1. 什么是知识蒸馏
  2. 如何让 TextCNN 逼近 Bert
  3. Bert蒸馏到简单网络lstm
  4. PKD-Bert基于多层的知识蒸馏方式
  5. BERT-of-Theseus-模块压缩交替训练
  6. tinybert-全方位蒸馏
  7. ALBERT：更小更少但并不快
  8. BERT知识蒸馏代码解析-如何写好损失函数
  9. 知识蒸馏综述万字长文

词向量-word embedding

  1. 史上最全词向量面试题-Word2vec/fasttext/glove/Elmo
  • Word2vec
  1. Word2vec两种训练模型详细解读-一个词经过模型训练可以获得几个词向量
  2. Word2vec两种优化方式细节详细解读
  3. Word2vec-负采样和层序softmax与原模型是否等价
  4. Word2vec为何需要二次采样以及相关细节详细解读
  5. Word2vec的负采样
  6. Word2vec模型究竟是如何获得词向量的
  7. Word2vec训练参数的选定
  8. CBOW和skip-gram相较而言，彼此相对适合哪些场景.md
  • Fasttext/Glove
  1. Fasttext详解解读(1)-文本分类
  2. Fasttext详解解读(2)-训练词向量
  3. GLove细节详细解读

多模态

  1. 多模态之ViLBERT：双流网络，各自为王
  2. 复盘多模态任务落地的六大问题
  3. 如何将多模态数据融入到BERT架构中-多模态BERT的两类预训练任务
  4. 层次分类体系的必要性-多模态讲解系列(1)
  5. 文本和图像特征表示模块详解-多模态讲解系列(2)
  6. 多模态中各种Fusion方式汇总

句向量-sentence embedding

  1. 句向量模型综述

文本相似度

  1. 五千字全面梳理文本相似度/文本匹配模型
  2. 如何又好又快的做文本匹配-ESIM模型
  3. 阿里RE2-将残差连接和文本匹配模型融合.md
  4. 聊一下孪生网络和DSSM的混淆点以及向量召回的一个细节
  5. DSSM论文-公司实战文章
  6. bert白化简单的梳理:公式推导+PCA&SVD+代码解读
  7. SIMCSE论文解析

关键词提取

  1. 基于词典的正向/逆向最大匹配
  2. 实体库构建：大规模离线新词实体挖掘
  3. 聊一聊NLPer如何做关键词抽取

命名体识别

  1. 命名体识别资源梳理(代码+博客讲解)

  2. HMM/CRF 详细解读

  3. 工业级命名体识别的做法

  4. 词典匹配+模型预测-实体识别两大法宝

  5. autoner+fuzzy-CRF-使用领域词典做命名体识别

  6. FLAT-Transformer-词典+Transformer融合词汇信息--公众号

  7. TENER-复旦为什么TRM在NER上效果差.md

文本分类

  1. TextCNN论文详细解读
  2. 只使用标签名称就可以文本分类.md
  3. 半监督入门思想之伪标签
  4. ACL2020-多任务负监督方式增加CLS表达差异性
  5. Bert在文本分类任务上微调
  6. UDA-Unsupervised Data Augmentation for Consistency Training-半监督集大成
  7. LCM-缓解标签不独立以及标注错误的问题
  8. 关键词信息如何融入到文本分类任务中

对比学习

  1. Moco论文解析

Significant stargazers

Yang An

519 followers · starred Aug 2020

Tianbao Xie

702 followers · starred May 2025

Liang Zhao

77 followers · starred Aug 2020

Binyuan Hui

1,085 followers · starred Aug 2020

Similar repos

hrwleo/dwnlpinterview

Datawhale NLP 面筋

282

changwookjun/nlp-paper

NLP Paper

592

cedrickchee/awesome-transformer-nlp

A curated list of NLP resources focused on Transformer networks, attention mechanism, GPT, BERT,…

1,151

shibing624/nlp-tutorial

自然语言处理（NLP）教程，包括：词向量，词法分析，预训练语言模型，文本分类，文本语义匹配，信息抽取，翻译，对话。

488

Lilcob/-DL_PaperReadingMeeting

Deep Learning Paper Reading Meeting-Archive

248

thunlp/PLMpapers

Must-read Papers on pre-trained language models.

3,360

km1994/nlp_paper_study

该仓库主要记录 NLP 算法工程师相关的顶会论文研读笔记

4,031

shawroad/NLP_pytorch_project

Embedding, NMT, Text_Classification, Text_Generation, NER etc.

567

DA-southampton/NLP_ability

总结梳理自然语言处理工程师(NLP)需要积累的各方面知识，包括面试题，各种基础知识，工程能力等等，提升核心竞争力

Python

7,507

81 commits

updated Aug 24, 2022

See the code

README

背景介绍

NLP日常工作经验和论文解析，包含：预训练模型，文本表征，文本相似度，文本分类，多模态，知识蒸馏，词向量。

我觉得NLP是一个值得深耕的领域，所以希望可以不停的提升自己核心竞争力和自己的段位！

微信公众号：DASOU

深度学习自然语言处理

Transformer

  1. 史上最全Transformer面试题
  2. 答案解析(1)-史上最全Transformer面试题
  3. Pytorch代码分析--如何让Bert在finetune小数据集时更“稳”一点
  4. 解决老大难问题-如何一行代码带你随心所欲重新初始化bert的某些参数(附Pytorch代码详细解读)
  5. 3分钟从零解读Transformer的Encoder
  6. 原版Transformer的位置编码究竟有没有包含相对位置信息
  7. BN踩坑记--谈一下Batch Normalization的优缺点和适用场景
  8. 谈一下相对位置编码
  9. NLP任务中-layer-norm比BatchNorm好在哪里
  10. 谈一谈Decoder模块
  11. Transformer的并行化
  12. Transformer全部文章合辑
  13. RNN的梯度消失有什么与众不同的地方.md
  14. VIT-如何将Transformer更好的应用到CV领域

Bert-基本知识

  1. FastBERT-CPU推理加速10倍
  2. RoBERTa：更多更大更强
  3. 为什么Bert做不好无监督语义匹配
  4. UniLM:为Bert插上文本生成的翅膀
  5. tBERT-BERT融合主题模型做文本匹配
  6. XLNET模型从零解读
  7. 如何在脱敏数据中使用BERT等预训练模型

Bert-知识蒸馏

  1. 什么是知识蒸馏
  2. 如何让 TextCNN 逼近 Bert
  3. Bert蒸馏到简单网络lstm
  4. PKD-Bert基于多层的知识蒸馏方式
  5. BERT-of-Theseus-模块压缩交替训练
  6. tinybert-全方位蒸馏
  7. ALBERT：更小更少但并不快
  8. BERT知识蒸馏代码解析-如何写好损失函数
  9. 知识蒸馏综述万字长文

词向量-word embedding

  1. 史上最全词向量面试题-Word2vec/fasttext/glove/Elmo
  • Word2vec
  1. Word2vec两种训练模型详细解读-一个词经过模型训练可以获得几个词向量
  2. Word2vec两种优化方式细节详细解读
  3. Word2vec-负采样和层序softmax与原模型是否等价
  4. Word2vec为何需要二次采样以及相关细节详细解读
  5. Word2vec的负采样
  6. Word2vec模型究竟是如何获得词向量的
  7. Word2vec训练参数的选定
  8. CBOW和skip-gram相较而言，彼此相对适合哪些场景.md
  • Fasttext/Glove
  1. Fasttext详解解读(1)-文本分类
  2. Fasttext详解解读(2)-训练词向量
  3. GLove细节详细解读

多模态

  1. 多模态之ViLBERT：双流网络，各自为王
  2. 复盘多模态任务落地的六大问题
  3. 如何将多模态数据融入到BERT架构中-多模态BERT的两类预训练任务
  4. 层次分类体系的必要性-多模态讲解系列(1)
  5. 文本和图像特征表示模块详解-多模态讲解系列(2)
  6. 多模态中各种Fusion方式汇总

句向量-sentence embedding

  1. 句向量模型综述

文本相似度

  1. 五千字全面梳理文本相似度/文本匹配模型
  2. 如何又好又快的做文本匹配-ESIM模型
  3. 阿里RE2-将残差连接和文本匹配模型融合.md
  4. 聊一下孪生网络和DSSM的混淆点以及向量召回的一个细节
  5. DSSM论文-公司实战文章
  6. bert白化简单的梳理:公式推导+PCA&SVD+代码解读
  7. SIMCSE论文解析

关键词提取

  1. 基于词典的正向/逆向最大匹配
  2. 实体库构建：大规模离线新词实体挖掘
  3. 聊一聊NLPer如何做关键词抽取

命名体识别

  1. 命名体识别资源梳理(代码+博客讲解)

  2. HMM/CRF 详细解读

  3. 工业级命名体识别的做法

  4. 词典匹配+模型预测-实体识别两大法宝

  5. autoner+fuzzy-CRF-使用领域词典做命名体识别

  6. FLAT-Transformer-词典+Transformer融合词汇信息--公众号

  7. TENER-复旦为什么TRM在NER上效果差.md

文本分类

  1. TextCNN论文详细解读
  2. 只使用标签名称就可以文本分类.md
  3. 半监督入门思想之伪标签
  4. ACL2020-多任务负监督方式增加CLS表达差异性
  5. Bert在文本分类任务上微调
  6. UDA-Unsupervised Data Augmentation for Consistency Training-半监督集大成
  7. LCM-缓解标签不独立以及标注错误的问题
  8. 关键词信息如何融入到文本分类任务中

对比学习

  1. Moco论文解析

Significant stargazers

Yang An

519 followers · starred Aug 2020

Tianbao Xie

702 followers · starred May 2025

Liang Zhao

77 followers · starred Aug 2020

Binyuan Hui

1,085 followers · starred Aug 2020

Similar repos

hrwleo/dwnlpinterview

Datawhale NLP 面筋

282

changwookjun/nlp-paper

NLP Paper

592

cedrickchee/awesome-transformer-nlp

A curated list of NLP resources focused on Transformer networks, attention mechanism, GPT, BERT,…

1,151

shibing624/nlp-tutorial

自然语言处理（NLP）教程，包括：词向量，词法分析，预训练语言模型，文本分类，文本语义匹配，信息抽取，翻译，对话。

488

Lilcob/-DL_PaperReadingMeeting

Deep Learning Paper Reading Meeting-Archive

248

thunlp/PLMpapers

Must-read Papers on pre-trained language models.

3,360

km1994/nlp_paper_study

该仓库主要记录 NLP 算法工程师相关的顶会论文研读笔记

4,031

shawroad/NLP_pytorch_project

Embedding, NMT, Text_Classification, Text_Generation, NER etc.

567