Software-Engineering-URFU-2.7-Group

Project on the discipline of Software engineering group 27

Практическое задание 1

Молохов Д.А.

Модель: TAPEX: Table Pre-training via Learning a Neural SQL Executor. Может быть использована для ответов на относительно простые вопросы по таблицам.

Был создан скрипт, принимающий на вход 2 аргумента: путь к csv-файлу и вопрос.

python table.py spotify_top_50.csv "How many dance pop songs are there?"
# [' 3.0']

python table.py spotify_top_50.csv 'Who is the artist of a song named "Someone you loved"?'
# [' lewis capaldi']

python table.py titanic.csv "What is the passengerid of Mr. Daniel Keane?"
# [' 908.0']

python table.py titanic.csv "What is the age of a person with the ticket '24065'?"
# [' 63.0']

Горбунов А.В.

GPT-2

Test the whole generation capabilities here: https://transformer.huggingface.co/doc/gpt2-large

Pretrained model on English language using a causal language modeling (CLM) objective. It was introduced in this paper and first released at this page.

Disclaimer: The team releasing GPT-2 also wrote a model card for their model. Content from this model card has been written by the Hugging Face team to complete the information they provided and give specific examples of bias. Model description

GPT-2 is a transformers model pretrained on a very large corpus of English data in a self-supervised fashion. This means it was pretrained on the raw texts only, with no humans labelling them in any way (which is why it can use lots of publicly available data) with an automatic process to generate inputs and labels from those texts. More precisely, it was trained to guess the next word in sentences.

More precisely, inputs are sequences of continuous text of a certain length and the targets are the same sequence, shifted one token (word or piece of word) to the right. The model uses internally a mask-mechanism to make sure the predictions for the token i only uses the inputs from 1 to i but not the future tokens.

This way, the model learns an inner representation of the English language that can then be used to extract features useful for downstream tasks. The model is best at what it was pretrained for however, which is generating texts from a prompt.

This is the smallest version of GPT-2, with 124M parameters.

Антонова А.Г.

Модель seara/rubert-tiny2-cedr-russian-emotion используется для определения эмоций в коротких русских текстах и возвращает результат в формате словаря. Можно применять в различных сценариях, связанных с анализом тональности, эмоциональным анализом текста, мониторингом социальных медиа-публикаций и других задачах, где требуется определение эмоций в тексте на русском языке.

0: no_emotion
1: joy
2: sadness
3: surprise
4: fear
5: anger

no_emotion: нет эмоции
joy: радость
sadness: грусть
surprise: удивление
fear: страх
anger: злость

Практическое задание 2

Приложение для суммаризации транскрипции из YouTube видео.

Запуск приложения:

streamlit run app.py

Молохов Д.А.

Создал интерфейс приложения.

Антонова А.Г.

Внесла изменения в функции: load_summarizer,load_translator.

Практическое задание 3

API версия приложения для суммаризации транскрипции из YouTube видео.

Установка и запуск:

1. Установить PyTorch или TensorFlow.
2. Установить requirements.txt и запустить.

pip install -r requirements.txt
uvicorn app_fastapi:app

Молохов Д.А.

Написал метод summarize, использующий модели для перевода и суммаризации.

Антонова А.Г.

В функцию lifespan были добавлены модели:

• Модель translator для перевода текста.
• Модель summarized для сжатия текста.

Практическое задание 4

Приложение для суммаризации транскрипции из YouTube видео было развернуты с помощью Streamlit. https://gdde32a9tcbggertdapp6kr.streamlit.app/

Практическое задание 5

Для приложения по ответу на вопросы по таблицам gorbunovav/FastAPI_app были написаны тесты с использованием pytest и GitHub Actions.

Молохов Д.А.

Реализовал автоматическое тестирование с GitHub Actions.

Антонова А.Г.

Разработала тест для проверки загрузки таблицы.

Горбунов А.В.

Разработал тесты для проверки модели и API сервиса.

Итоговый проект

API-приложение для ответов на вопросы по таблице. gorbunovav/FastAPI_app

Для приложения реализованы тесты с помощью GitHub Actions.

Методы

uploadfile

Метод для загрузки таблицы на сервер.

request

Метод для ввода запроса.

tokenize

Метод для вывода ответа.

Установка и запуск

git clone https://github.com/santerr80/Software-Engineering-URFU-2.7-Group
pip install -r requirements.txt
cd gorbunovav/FastAPI_app
uvicorn main:app