Database Vacuum vraagje

[niek1992]

Description

Hoi,

Onlangs geupgraded van v1.28 (ualex73) naar v5.0.0 (xirixiz). Had wat voeten in aarde, wilde namelijk mijn historie bewaren (wat uiteindelijk gelukt is met wat trial & error). Documentatie is niet helemaal 100% waardoor bepaalde commando's niet gingen werken bij mij.

Ik draai dus DSMR-Reader in:

• Docker;
• Ubuntu VM met 4gb RAM; 4 cores, 80gb SSD storage;
• ESXi host.

Nu is mijn Postgres database 16gb groot. Ruimte heb ik zat, maar vroeg me af of het uberhaubt nut heeft om dataretentie in te stellen. Performance is voor mij geen issue, maar volgens mij kan ik in de huidige webinterface toch niet zo gedetailleerd de data inzien. Het wordt per uur gegroepeerd als ik het juist heb.

Dan is mijn conclusie ook dat het bewaren van deze data nutteloos is tenzij ik zelf een dashboardje ontwikkel die wel deze data gedetailleerd weergeeft, correct?

Ook had ik de Dropbox integratie ingesteld maar deze heeft nooit echt gewerkt. Weet dat deze vraag in een andere repo moet (namelijk die van Xirixiz of Ualex73) want dit had (voor zover ik kon ontdekken) te maken met verkeerde rechten op de database folder. Hij maakte wel netjes elke dag een backup naar Dropbox van 1kB, dus de integratie werkte.

DSMR-reader version

V5.0.0

DSMR-reader platform

Docker (e.g. Xirixiz)

Debug info dump

No response

[dennissiemensma]

Als het goed is is je v1.28 database automatisch te upgraden door v5.x naar de laatste versie. Voor de rest verwacht ik dat je geen issues zou hebben als je het via Docker draait, omdat alle wijzigingen tussen major versies bijna altijd te maken hebben met upgrades van Python e.d. Dat is voor Docker-gebruikers geen werk, los van je docker-compose config e.d.

Qua opslag win je het meeste door simpelweg een datalogger sleep in te stellen, als je niet elke seconde een versie waarde nodig hebt.
Retentie of het roteren van gegevens is wel aan te raden zodat je DB-backups stukken kleiner worden. Je hebt gelijk dat je in principe op een niet-rPi + SSD minder last hebt van performance issues, alleen schaalt DSMR-reader niet oneindig door en als je de gegevens niet nodig hebt, zou ik ze lekker laten opschonen.

De dropbox-integratie is in v5.x op de kop gegaan, dus die kun je nu makkelijker koppelen als het goed is via een officiele Dropbox App (key) voor DSMR-reader. Daarna zou je gewoon de backups daar terug moeten zien, ook de grotere.

[niek1992]

De database had inderdaad geen problemen, het draait inmiddels alweer een maandje op V5.0.0. Enige waar ik mee ana het stoeien was, was met de manier waarop ik DSMR in eerste instantie opgezet had. Initieel was het V1.28, deze heb ik in de container (ja in de container) geupgraded naar V2.11. Alle pogingen daarna om de container normaal de updaten door een docker-compose pull && docker-compose up -d te doen mislukte.

Uiteindelijk dus een export gedraaid, nieuwe docker-compose aangemaakt met xirixiz's image en de export geïmporteerd. Werkte als een zonnetje (met de juiste commando's dan he).

Qua opslag win je het meeste door simpelweg een datalogger sleep in te stellen, als je niet elke seconde een versie waarde nodig hebt.

Ik vindt die 1s (volgens mij stond ie standaard op 0.6s kan dat?) eigenlijk wel fijn. Opslag is voor mij een non-issue en het niveau van detail is welkom.

Retentie of het roteren van gegevens is wel aan te raden zodat je DB-backups stukken kleiner worden. Je hebt gelijk dat je in principe op een niet-rPi + SSD minder last hebt van performance issues, alleen schaalt DSMR-reader niet oneindig door en als je de gegevens niet nodig hebt, zou ik ze lekker laten opschonen.

Ahh ja hier was ik naar op zoek. Dan ga ik retentie instellen. Wat raadt je aan? Alles na 6 maanden opschonen (opslag is geen issue voor mij).

de dropbox-integratie is in v5.x op de kop gegaan, dus die kun je nu makkelijker koppelen als het goed is via een officiele Dropbox App (key) voor DSMR-reader. Daarna zou je gewoon de backups daar terug moeten zien, ook de grotere.

Ik had dus weinig problemen met het koppelen van de applicatie (opvragen API key etc.), kreeg alleen geen volledige database dumps weggeschreven. Nu ging dat het laatste jaar ook niet meer, aangezien de backup zo'n 16gb was en m'n dropbox maar tot 10gb gaat ofzo. Zal er eerdaags wel weer even naar kijken. Op het moment wordt alles met Veeam gebackupped naar m'n (virtuele) NAS en snachts richting m'n ouders gesynced.

[dennissiemensma]

Ik denk dat je daar zelf het beste een keuze in kan maken. Zelf heb ik nog een meter die 1x per 10 seconden een telegram stuurt. Verder heb ik retentie op een week staan en daardoor kleine backups van < 10 MB die erg makkelijk te handlen zijn.

Als je daar zelf geen meerwaarde van hebt, of simpelweg zelf backups regelt, maakt het niet zoveel uit wat je kiest.