复旦JADE-大模型测评与治理

🔔 近期新闻：我们发布了 Jade-BadPhoneAgent：首个针对手机智能体恶意使用的安全测评！详情请移步：https://github.com/whitzard-ai/jade-db/tree/main/Jade-BadPhoneAgent

🔔 近期新闻：我们发布了 《Jade有害图像分类指引》(Jade-HTG) 及配套评测 Benchmark！详情请移步：https://github.com/whitzard-ai/jade-db/tree/main/jade-t2i-v2.0

🔔 我们发布了 JADE 8.0：首个面向大型推理模型的推理链安全防护工具！详情请移步：https://github.com/whitzard-ai/jade-db/tree/main/jade-lrmguard

🔔 我们发布了 JADE 7.0：面向智能体安全的MCP恶意server实例集合！详情请移步：https://github.com/whitzard-ai/jade-db/tree/main/jade-mcp-v1.0

🔔 我们发布了 JADE 6.0：首个面向多模态大模型的幻觉测评！详情请移步：https://github.com/whitzard-ai/jade-db/tree/main/jade-hal-v1.0

🔔 我们发布了 JADE 5.0：文生图大模型内容安全评测！详情请移步：https://github.com/whitzard-ai/jade-db/tree/main/jade-t2i-v1.0

🔔 我们发布了 JADE 4.0-安全规约RAG：基于安全规约的检索增强生成！详情请移步：https://github.com/whitzard-ai/jade-db/tree/main/jade-rag-v1.0

🔔 我们发布了 JADE 3.0：大模型安全对齐！详情请移步：https://github.com/whitzard-ai/jade-db/tree/main/jade-db-v3.0

---

中文技术报告：JADE：基于语言学变异的大模型靶向式安全评测平台

英文技术报告：JADE: A Linguistics-based Safety Evaluation Platform for Large Language Models

项目网站：https://whitzard-ai.github.io/jade.html

@ 复旦白泽智能

我们在此发布 JADE 生成的大模型靶向式安全评测数据集。

数据集说明

我们将原始的低触发率种子问题通过语言学变异自动转化为高危问题，构造出自然文本数据集。问题类型覆盖 4 大类（核心价值观、违法犯罪、侵犯权益和歧视偏见），合计 30 多小类。

• JADE DB v2.0 :blush:: 我们再次发布面向中文开源大模型生成的两款评测数据集 JADE-DB-Easy 和 JADE-DB-Medium，各包含 1000 个通用测试问题，分别代表基础和进阶安全难度。
• JADE DB v1.0 :clap:: 我们将手工生成的数百个低触发率的种子问题自动转化为数千个高危问题，并从中选取了具有高跨模型迁移性的 230 个问题（包含 150 个中文问题和 80 个英文问题）作为开源数据集。

由于相关规定，涉及政治敏感的测试问题目前不包含在可下载的公开测试集中，如需评测，欢迎联系：张谧老师 mi_zhang@fudan.edu.cn

声明：数据集包含有害违规内容示例，均不代表本团队立场。

Demo

更多 demo 示例，请移步 https://whitzard-ai.github.io/jade-demo.html

开源数据汇总

数据样例 (声明：以下包含有害违规内容示例，均不代表本团队立场)

引用

如果我们的工作和数据集对您有帮助，欢迎引用我们的技术报告

@misc{zhang2023jade,
      title={JADE: A Linguistic-based Safety Evaluation Platform for LLM}, 
      author={Mi Zhang and Xudong Pan and Min Yang},
      year={2023},
      eprint={2311.00286},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

Star数统计图（欢迎大家持续关注！）