一、文件结构

project/
├── src-Ettin-2k/   # 只选取 2000 条邮件作为 subset，然后在这 2000 条邮件中划分出训练集和测试集（4 个模型）
|   └── log-2k/     # 准确率，F1 分数等训练指标在这里。可以看到，很多模型指标达到 95% 以上
├── src-Ettin-scale # 只选 src-Ettin-2k 中一个性能最好的模型，增大 subset_size，验证模型性能（1 个模型）
├── .gitignore
└── README.md

二、基于 Ettin 的结果

• Ettin 模型链接
• modern bert 团队博客

三、项目亮点

1. embedding 用 cache 存储，加快训练速度
2. 使用多种 embedding 做实验：nn.embeddding, EttinEncoder

四、问题

1. 为什么 Ettin 的嵌入效果比 nn.Embedding 好？