VLSP 2025 Challenge: Multimodal Legal QA on Traffic Sign Rules

Mô tả bài toán

Cuộc thi VLSP 2025 Challenge on Multimodal Legal QA on Traffic Sign Rules hướng tới xây dựng hệ thống trí tuệ nhân tạo có khả năng hiểu và xử lý các câu hỏi liên quan đến biển báo giao thông, kết hợp giữa ngôn ngữ tự nhiên và hình ảnh thực tế. Hệ thống cần truy xuất thông tin pháp lý và trả lời chính xác các câu hỏi dựa trên quy định hiện hành về giao thông đường bộ tại Việt Nam.

Subtask 1: Multimodal Retrieval

Đầu vào:

• Câu hỏi về biển báo giao thông bằng ngôn ngữ tự nhiên.
• Ảnh chụp thực tế của biển báo giao thông trên đường phố.

Đầu ra:

• Trích xuất và tham chiếu đến điều khoản/pháp lý liên quan trong các văn bản:
  • Luật Trật tự, An toàn giao thông đường bộ (36/2024/QH15)
  • Quy chuẩn kỹ thuật quốc gia về báo hiệu đường bộ (QCVN 41:2024/BGTVT)

Subtask 2: Question Answering

Đầu vào:

• Câu hỏi về biển báo giao thông bằng ngôn ngữ tự nhiên.
• Ảnh chụp thực tế của biển báo giao thông trên đường phố.
• Tham chiếu: thuật ngữ hoặc điều khoản trong Luật Giao thông hoặc Quy chuẩn kỹ thuật quốc gia về báo hiệu đường bộ.

Đầu ra:

• Câu trả lời dạng trắc nghiệm (4 lựa chọn: A, B, C, D) hoặc câu hỏi dạng Yes/No.

Dữ liệu cuộc thi

Ban Tổ Chức cung cấp bộ dữ liệu phục vụ cho hai subtask, bao gồm:

• law_db: Cơ sở dữ liệu các điều khoản pháp luật và quy chuẩn về biển báo giao thông.
• train_data: Dữ liệu huấn luyện gồm các cặp câu hỏi, hình ảnh và tham chiếu pháp lý.

Bạn có thể tải dữ liệu tại đây:
Link Google Drive dữ liệu chính thức của BTC

Baseline hệ thống

Hệ thống baseline của chúng tôi kế thừa ý tưởng và kiến trúc từ bài báo Multimodal Legal Retrieval and Reasoning: A Case Study on Traffic Sign Rules. Baseline sử dụng các kỹ thuật tối ưu embedding dựa trên mô hình VLM (Vision-Language Model) tiếng Việt, giúp liên kết thông tin giữa hình ảnh biển báo và văn bản pháp lý một cách hiệu quả.

Quá trình huấn luyện và thử nghiệm các phương pháp embedding được lưu trữ trong các notebook có đuôi _test.ipynb trong thư mục dự án.

File reread_data.ipynb đảm nhiệm vai trò tiền xử lý dữ liệu (preprocess), chuẩn hóa và chuyển đổi dữ liệu thô thành định dạng phù hợp cho pipeline huấn luyện và đánh giá. Note: Version chưa tích hợp vào code python

Hình minh họa kiến trúc baseline: