jsksxs360/How-to-use-Transformers

Transformers 库快速入门教程

Python

1,894

41 commits

updated Feb 24, 2026

transformers.run

See the code

README

title

Transformers 是由 Hugging Face 公司开发的一个 Python 库，支持加载目前绝大部分的预训练语言模型。随着 BERT、GPT 等模型的兴起，越来越多的用户采用 Transformers 库来构建自然语言处理应用。

该项目为《Transformers 库快速入门》教程的代码仓库，按照以下方式组织代码：

data：存储使用到的数据集；
src：存储示例代码，每个任务对应一个文件夹，可以下载下来单独使用。

该教程处于更新中，正在逐渐添加大语言模型的相关内容。

Transformers 库快速入门

第一部分：背景知识
- 第一章：自然语言处理
- 第二章：Transformer 模型
- 第三章：注意力机制
第二部分：初识 Transformers
- 第四章：开箱即用的 pipelines
- 第五章：模型与分词器
- 第六章：必要的 Pytorch 知识
- 第七章：微调预训练模型
第三部分：Transformers 实战
- 第八章：快速分词器
- 第九章：序列标注任务
- 第十章：翻译任务
- 第十一章：文本摘要任务
- 第十二章：抽取式问答
- 第十三章：Prompting 情感分析
第四部分：大语言模型时代
- 第十四章：大语言模型技术简介
- 第十五章：预训练大语言模型
- 第十六章：使用大语言模型
- 第十七章：指令微调 FlanT5 模型
- 第十八章：指令微调 Llama2 模型

示例代码

pairwise_cls_similarity_afqmc：句子对分类任务，金融同义句判断。
sequence_labeling_ner_cpd：序列标注任务，命名实体识别。
seq2seq_translation：seq2seq任务，中英翻译。
seq2seq_summarization：seq2seq任务，文本摘要。
sequence_labeling_extractiveQA_cmrc：序列标注任务，抽取式问答。
text_cls_prompt_senti_chnsenticorp：文本分类任务，Prompt 情感分析。

重要更新

日期	内容
2024-07-06	优化了第一章《自然语言处理》的文字表述，增加了一些图片，增加了大语言模型的简介。
2024-07-27	完成大语言模型技术简介（第14至16章）初稿

bert

classification

natural-language-processing

ner

nlp

prompt

pytorch

sentiment-classification

summarization

transformer

transformers

translation

Significant stargazers

Jiaxin Shan

599 followers · starred Mar 2023

OrangeX4

855 followers · starred Jun 2025

Chen Zhiwei

182 followers · starred Jul 2024

Bo Ding

10 followers · starred Feb 2025

Similar repos

datawhalechina/learn-nlp-with-transformers

we want to create a repo to illustrate usage of transformers in chinese

3,408

HarderThenHarder/transformers_tasks

⭐️ NLP Algorithms with transformers lib. Supporting Text-Classification, Text-Generation,…

2,425

SivilTaram/transformers

🤗Transformers: State-of-the-art Natural Language Processing for Pytorch and TensorFlow 2.0.

shibing624/nlp-tutorial

自然语言处理（NLP）教程，包括：词向量，词法分析，预训练语言模型，文本分类，文本语义匹配，信息抽取，翻译，对话。

488

changwookjun/nlp-paper

NLP Paper

592

karpathy/transformers

🤗 Transformers: State-of-the-art Machine Learning for Pytorch, TensorFlow, and JAX.

253

fanbyprinciple/Natural-Language-processing-with-transformers

Building Language Applications with Hugging Face. book by Lewis Tunstall, Leandro von Werra, and…

cedrickchee/awesome-transformer-nlp

A curated list of NLP resources focused on Transformer networks, attention mechanism, GPT, BERT,…

1,151