Описание задачи представлено в файле Task.md

Запуск

Запускать можно:

• Локально (можно через gradio_app.py или notebooks/cloud.ipynb)
• На облаке (notebooks/cloud.ipynb настроен для работы с Ya.Datasphere)

Системные требования

1. Наличие GPU совместимого с CUDA (тестировалось на T4 15 GB)
2. RAM 16 GB
3. 30-40 Gb свободного места на диске

Примечание:

• Используется offload для снижения нагрузки на память GPU (быстродейтсвие падает). Можно отключить в gradio_app.py -> QASystemInterface -> _create_saiga_model() в словаре saiga_params (да, настройка неприятная...)

Ошибки

Если непосредственно перед запуском веб-страницы появится сообщение Ошибка восстановления модели: Some modules are dispatched on the CPU or the disk..., скорее всего LLM работать не будет и может помочь:

1. Отключение offload, если включен (см. Примечание)
2. Удаление pickle-файла qa_cache/saiga_rag_system.pkl

• После рефакторинга кода (при подготовке к выгрузке в GitHub) проект не тестировался