本仓库,项目汇总说明:

albert的配置:

huggingface项目中重要例子/transformers/src/transformers/configuration_albert.py

所有的albert使用model,看接哪个头适合. C:\Users\Administrator.PyCharm2019.3\system\remote_sources-456540730-337502517\transformers\modeling_albert.py

经典textrank算法做ext: 中国搜索/TextRank4ZH-master/example/example01.py

人脸/facenet-pytorch/examples

是人脸识别项目包含识别,检测,和训练代码.

22222222/gector-master2/train_finetune_latest3.py

 是 纠错最终版本(对原有开源模型进行了多种加强和bug修复.)

PreSumm2\src\train2.py

 是extract 模型. 输入一段句子, 返回最有用的句子的index (index从0开始计数) (没有对原有开源模型进行加强,只是简单的函数封装.)

PreSumm2/src/train3.py

是abs模型.     输入一段句子, /output_abs.txt 会返回abs.

ctrl模型:

ctrl模型/ctrl原始代码/ctrl/pytorch_generation.py

这个直接运行就会返回所有生成的过程.

ctrl模型/run_generation (2)_for_ctrl.py

更简洁的hugging-face generate代码.

ctrl模型/ctrl原始代码/ctrl/training_utils/training.py ctrl模型训练代码.还没调通.

一些其他的翻页和nlg任务:

一些可以直接调用的nlp算法/一些语言之间的翻译和生成.md

中文nlg: gpt2做中文nlg/gpt2-ml-master/demo2.py 直接运行即可. 然后输入点汉子,就会后面续写.

中文nlg自己训练,加运行的代码: gpt2做中文nlg/GPT2-Chinese-master修改为mega版本/README.md

python加速算法:

量化/main

欢迎有爱的童鞋扫码