sirius-test-nlp-2023

Кейс по NLP для смены по ML от Тинькофф в Университете "Сириус"

В этом репозитории можно найти ноутбук для файн-тьюнинга ruDialoGPT и скрипт с логикой чат-бота в Telegram, работающего на основе дообученной модели.

Для начала необходимо скачать данные из чата в Telegram в формате .json и добавить результирующий файл в папку data. Я выбрала чат своего потока на ПМИ ФКН ВШЭ
Далее необходимо дообучить предобученную модель. Для этого нужно запустить все ячейки в ноутбуке fine_tuning.ipynb. Данные из Telegram будут обрабатываться внутри этого ноутбука с помощью скрипта prepare_messages.py
Попробовать пообщаться с дообученной моделью можно в секции Inference в ноутбуке fine_tuning.ipynb
В файле main.py прописана логика чат-бота на основе дообученной модели
Пока что бот запускается только локально, но с ним сейчас можно спокойно пообщаться в Telegram. Мы с друзьями теперь активно пользуемся этим ботом в нашем общем чате, поэтому процесс main.py активен на домашнем компьютере. В ближайшее время займусь хостингом бота в приличном виде
Юзернейм бота в Telegram: @ecole_deconomie_ami_bot

https://github.com/solemn-leader/sirius-test/tree/master
https://huggingface.co/docs/transformers/tasks/language_modeling
https://huggingface.co/tinkoff-ai/ruDialoGPT-medium
https://github.com/tinkoff-ai/pycon-chit-chat/blob/main/notebooks/lm_training.ipynb

Provide feedback