Доработка dwh-definitons библиотеки

[parfenovma]

Сейчас dwh-definitions умеет создавать группы и схемы, а также всё что может делать алембик
Что хочется:

• Администрирование прав доступа. В тесте на разработчиков двх выдаются доступы на всё, в проде на чтение нечувствительных данных. (Есть таблички с чувствительными данными, на них доступы должны быть только у некоторых пользователей). Также у всех пользователей нашей бд должны быть права на чтение CDM и STG слоя. Прототип раздачи прав писали в #142

• Добавление ttl на таблицы. Есть логи сервисов, которые жрут место (по 5-10 гб в месяц). Нам часто нужны сырые данные за ttl=n дней. Хочется это настраивать при создании таблички

• Поресерчить, можно ли шифровать данные с прода при поставке в хранилище. Это либо идти и шифровать их на проде, либо шифровать их при выгрузке (на самом деле лучше на проде шифровать))

• В конечном итоге этот репозиторий хочется видеть как два (или три даже): репозиторий с нашей схемой данных, репозиторий с библиотекой для администрирования доступов и всего такого, и (наверное) репозиторий с тулзами, типа семплера

[parfenovma]

офигенно большая ишью, но в перспективе такой проект будет красиво смотреться в резюме

[parfenovma]

по раздаче прав:

1. раздаем права на юзеров, основываясь на скоупах в auth_api
   Если у юзера есть скоуп на чтение таблиц из бд - то раздаем
   Если это разработчик - то на тесте выдаем все права в хранилище, прод - read only
2. блэклист табличек
   Делаем через dwh-definitions: создаем класс SensetiveBase(Base): на него не будут создаваться группы -> задать права можно будет только явно админам