DWH. Осенний семестр 2024.

[Arzangulyan]

Планы команды DWH до конца осеннего семестра

• Мэтчинг членов профсоюза
• Расписание
• Дубинушка
• [ ]

[Arzangulyan]

Статус на 30 октября

Расписание

• пока не приступали
• в задачу входит допиливание дагов первичной загрузки, дагов патча расписания, схем/структур

Универсальный пользователь

• в нее входит мэтчинг членов профсоюза
• потенциально можно докидывать профиль тг (с принтером в тг), профиль вк, профиль гх

[parfenovma]

Статус на 1 декабря
Расписание:

• Есть понимание как построить пайплайн, делаем прототип (70% done на новом стеке, без зависимостей от легаси библиотек)
• Было бы хорошо прикрутить админку, но можно без нее патчить баги

Юзердата:

• Реализовали историчность данных с бекендов (аутх, юзердата). Можно переиспользовать для какой-нибудь аналитики
• Заблокированы данными из ОПК, ждем когда прокинут номер студенческого. Без номера студенческого можно джойнить по емейлу, тоже рассматриваем такой вариант
• Проанализировали влияние падения кафки на пользователей, получили список тех, кого надо разлогинить. Ждем long-term действий от бекенда чтобы такое не повторялось

Рейтинг преподов:

• Данные из старой дубинушки есть на проде и в тесте dwh, также есть пайплайн загрузки преподавателей в наш справочник с преподами
• TBD сделаем пайплайн выгрузки данных из рейтинга, ждем выкатки в прод
• Реализовали прототипы пайплайнов загрузки преподавателей и комментариев из старой дубинушки в рейтинг (спасибо большое Вале и Ване). Теперь выгружать преподов можно за 15 минут (14 из которых ждешь окончания загрузки)
• Собираем продуктовые идеи для аналитики рейтинга в тикете

Last but not least:

• В pipelines и definitions теперь одинаковая структура кода: архитектурно один даг поставляет данные в одну выходную табличку, atomicity by design.
• Появились шаблоны дагов, шаблоны джойнов и scd2 (пока на этапе зарождения)
• Появился раздел FAQ в документации, который сильно помогает решить популярные проблемы инженеров
• В pipelines стало возможным реализовать тесты (в планах на q1-q2 '25)
• В definitions стало возможным семплировать данные для локальных тестов (спасибо Стасу)
• Появился BI аналитик (Аня) :)
• Есть задача на работу с правами доступа к БД. TBD