Dataset de Evaluación (Test Set) para Sistemas RAG en el Dominio Legal

Este repositorio contiene el conjunto de pruebas (Test Set / Golden Dataset) diseñado específicamente para auditar, evaluar y comparar el rendimiento de diferentes configuraciones de sistemas de Generación Aumentada por Recuperación (RAG) sobre documentación jurídica y administrativa española y europea.

El dataset se ha construido con el propósito de servir de base para métricas de evaluación RAG (como fidelidad, relevancia de la respuesta y relevancia del contexto) en el marco de un Trabajo de Fin de Máster (TFM).

Estructura del Dataset

Los datos se presentan en un formato estructurado en JSON. Cada objeto del array representa una instancia de evaluación con la siguiente estructura de campos:

• question: Pregunta formulada en lenguaje natural, simulando dudas reales de la ciudadanía o profesionales.
• target: Respuesta de referencia (ground truth) redactada de forma precisa basándose estrictamente en el marco legal correspondiente.
• metadata: Objeto con información sobre el origen de la respuesta para facilitar la evaluación de la fase de recuperación (retrieval):
  • source: Nombre del archivo PDF original del corpus de conocimiento donde se encuentra la respuesta.
  • pages: Número de página específico del documento oficial.

Muestra del Contenido

El conjunto de datos cubre escenarios complejos del ámbito legal, incluyendo casuísticas reales extraídas de normativas vigentes (como la Ordenanza de Movilidad de Madrid, el Código Civil, la Ley de Bienestar Animal o el Código de Comercio).

A modo de ejemplo, el dataset incluye pares de preguntas y respuestas como los siguientes:

[
  {
    "question": "¿Qué se considera oficialmente un \"animal de compañía\"?",
    "target": "Según la ley, son aquellos animales domésticos o silvestres en cautividad que se mantienen principalmente en el hogar para convivir, siempre que no se usen para consumo o fines comerciales. La ley establece específicamente que los perros, gatos y hurones se consideran animales de compañía en cualquier caso, independientemente de su uso o lugar donde vivan.",
    "metadata": {
      "source": "BOE-A-2023-7936.pdf",
      "pages": "54.0"
    }
  },
  {
    "question": "Si voy en patinete eléctrico (VMP), ¿puedo circular por la acera si voy despacio?",
    "target": "No. Está expresamente prohibida la circulación de vehículos de movilidad personal (VMP) por las aceras, zonas peatonales y demás espacios reservados exclusivamente para peatones. Debes circular por la parte central de los carriles autorizados...",
    "metadata": {
      "source": "ANM2026_197.pdf",
      "pages": "241.0"
    }
  }
]

Casos de Uso en la Evaluación RAG

Este Test Set está diseñado para interactuar con frameworks de evaluación como RAGAS o la Tríada RAG (RAG Triad), permitiendo medir:

1. Context Precision / Relevancia del Contexto: Validar si el componente de recuperación extrae los fragmentos (chunks) del archivo indicado en metadata.source y página específica.

2. Faithfulness / Fidelidad: Medir si la respuesta generada por el LLM se fundamenta exclusivamente en el contexto recuperado, evitando alucinaciones basándose en el target.

3. Answer Relevance / Relevancia de la Respuesta: Evaluar si la respuesta final del sistema aborda directamente la necesidad planteada en question.

Licencia

Al tratarse de una recopilación de preguntas basadas en directrices, manuales y leyes de dominio público, este dataset se distribuye bajo la licencia CC-BY-4.0.