Все, что прямо не относится к диплому и прослушанным курсам 👀
- «Применение генеративных текстовых моделей для решения задач обработки естественного языка»
- Отчет по практике
- Презентация с защиты
На преддипломной практике (стажировке) я исследовал подходы к решению различных языковых задач (Russian SuperGLUE) с помощью дообучения больших генеративных трансформеров. Основные итоги — sota на RSG (сентябрь 2021: sota после human benchmkark, октябрь 2021 — 2022: sota среди подходов без использования дополнительных данных / моделей) и best practices для применения p-tuning'а.
Авторы предлагают новый способ кодирования позиционной информации в транфсормерных моделях. Роторные эмбеддинги объединяют абсолютный и относительный подходы, легко встраиваются в разные (в том числе в attention-эффективные) архитектуры и на практике работают лучше известных на момент рассказа подходов.
Разбираем известные различные задачи по функционалам качества классификации ([1], [2]).
Объясняю, как и зачем работать с декораторами: с самых баянистых примеров до нетривиальных конструкций. Рассматриваю способы прокидывания аргументов, избавления от лишних уровней вложенности, декораторы для декораторов. Декораторы для классов и с их помощью. Использование декораторов из стандартной библиотеки и сторонних пакетов. Различные применения, ссылки.
Сиквел занятия по LaTeX'у с различными подробностями, тонкостями и хаками. Рассказываю, как удобно вести теховский проект, верстать презентации, сокращать объем копипасты с помощью команд, оформлять таблицы вручную. Объясняю, зачем для текстов на русском нужна особая преамбула и на что влияют кодировки. Привожу простые рецепты для вставки кода, оформления литературы по ГОСТу.