Dataset Card

中文真实场景文本纠错数据集，包括拼写纠错、语法纠错、校对数据。

Repository: shibing624/pycorrector

Dataset Summary

拼写纠错数据

• lemon_*.tsv：各领域拼写纠错数据集，包括汽车、医疗、新闻、游戏等领域，来自 https://github.com/gingasan/lemon/tree/main/lemon_v2
• ec_*.tsv：法律、医学、政府领域拼写纠错数据集，来自 https://github.com/aopolin-lv/ECSpell/tree/main/Data/domains_data
• medical_csc.tsv ：医学领域拼写纠错数据集，来自 https://github.com/yzhihao/MCSCSet/tree/main/data/mcsc_benchmark_dataset
• cscd_ns.tsv：3.5万条，中文微博语料拼写纠错数据集，原生中文使用者的拼写错误，源数据来自新浪微博，由微信输入法团队加工得到，论文：https://aclanthology.org/2024.acl-long.10.pdf

语法纠错数据

• grammar.tsv：语法纠错数据集，约1500条，已经用gpt4o生成改写后的结果，原始数据来自shibing624/pycorrector
• TextProofreadingCompetition.tsv：真实场景下验证集约2000条(包括约1000条正样本和1000条负样本）,来自百度智能文本校对大赛的初赛(a)数据集。

Dataset Structure

Data Fields

• source: 原始文本.
• target: 纠错后的文本.
• type: 类别，positive表示原始文本和纠错文本相同，negative表示不同，需要纠错的.

> head ec_law.tsv 
source  target  type
行政机关实施行政管理都应当公开,这是程序正档原则的要求   行政机关实施行政管理都应当公开,这是程序正当原则的要求   negative
依据合同法,下列正确的是?        依据合同法,下列正确的是?        positive
法律解释不是可有可无的,而是必然存在于法律适用之中       法律解释不是可有可无的,而是必然存在于法律适用之中       positive
对于指控被告人犯数罪的案件,如果被告人不分人罪,部分不认醉,则斗不能适用   对于指控被告人犯数罪的案件,如果被告人部分认罪,部分不认罪,则都不能适用   negative
我国《宪法》第二条明确规定:人民行使国家权力的机关是全国人民代表大会和地方各级人民代表大会。关于全国人大和地方各级人大,下列选项正确的是: 我国《宪法》第二条明确规定:人民行使国家权力的机关是全国人民代表大会和地方下列选项正确的是:       positive
在直接选举中,候选人须获得本选区全体选民国半数的选票才可当选     在直接选举中,候选人须获得本选区全体选民过半数的选票才可当选     negative
我国法律对妇女的权益给予特殊的保户,这从本职上来说是违背正义原则的       我国法律对妇女的权益给予特殊的保护,这从本质上来说是违背正义原则的       negative
对于被判处死形缓期二年执行、无期徒刑的罪犯,由公安机关衣法将该罪犯送交监狱执行刑罚       对于被判处死刑缓期二年执行、无期徒刑的罪犯,由公安机关依法将该罪犯送交监狱执行刑罚       negative
请问以下哪些情况适用过错推定责任?       请问以下哪些情况适用过错推定责任?       positive

Data Splits

> wc -l *.tsv
    2015 TextProofreadingCompetition.tsv
    2461 ec_law.tsv
    3501 ec_med.tsv
    2229 ec_odw.tsv
    1560 grammar.tsv
    3411 lemon_car.tsv
    1027 lemon_cot.tsv
    3435 lemon_enc.tsv
     401 lemon_gam.tsv
    2091 lemon_mec.tsv
    5893 lemon_new.tsv
    6001 lemon_nov.tsv
   39303 medical_csc.tsv
   35000 cscd_ns.tsv
  108328 total

Contributions

shibing624 add this dataset.