Лицензия на репозиторий - Apache 2.0, текст в файле LICENSE в корне репозитория

Требуемые шаги для повторения решения с нуля:

1) Запустить scrape_articles.py, подождать ~3-4 часа (статьи скачиваются с интервалом в 1 секунду)
На выходе будут папки articles/train и articles/test с .html файлами

2) Запустить parse_articles.py, подождать ~20 минут
На выходе будут файлы articles_parsing_data_train.csv и articles_parsing_data_test.csv

3) Запустить transf.py - требуется CUDA, 8 GB VRAM, ~30 GB на диске и ~14 часов времени (на RTX 2060 Super)
На выходе будут папки models/transformers/[20,21,22]/depth_fold_[0..5],full_reads_percent_fold[0..5] с сохраненными моделями и файлы bert_[depth,full_reads_percent]_predict_[train,test]_seed[20,21,22].csv с усредненными результатами предсказаний этих моделей на train/test

4) Запустить train.py, подождать ~10 минут
На выходе будет submission_{CV результат}.csv, который является готовым предсказанием для задачи



Данные, которые использовались при генерации решения (MIT лицензия, https://opensource.org/licenses/MIT):

Архив с скачанными статьями - https://disk.yandex.ru/d/51APEp4z6nEuHQ
Архив с предобученными трансформерами - www.kaggle.com/dataset/1bbc7da9dfccf44dfa001fd62920d05719f20dbdb8aa59ad941c5b745ae74afd (каггл требует регистрации и скачивать архивом почему-то не дает, но заливать больше некуда из-за размера)


Дополнение - организаторы соревнования https://hacks-ai.ru/championships/758453 - Радар тенденций новостных статей - могут использовать этот репозиторий и ссылки выше под любой лицензий, которая им нужна, потому что в "Положение о всероссийских чемпионатах" (https://hacks-ai.ru/docs/Положение_о_всероссийских_чемпионатах.pdf) написан один список лицензий, а в чате соревнования админы запросили другой список лицензий, которые между собой не совпадают.