README.md

Python ETL projects

Progetti (1 e 2)

Implementazione funzione di webscraping con estrazione di dati strutturati da sito web, elaborazione dati, caricamento su file csv e database Sqlite3 (scrittura query di esempio tramite Sqlite3).
Scrittura file log txt con le fasi della procedura.

PROGETTO	LINK JUPYTER NOTEBOOK
Progetto 2 (final)	Jupyter Notebook
Progetto 1 (test)	Jupyter Notebook

Elenco librerie utilizzate

LIBRERIA	UTILIZZO
Requests	Download dati da web
BeautifulSoup	Interpretazione html
Pandas	Manipolazione dei dati
SQLite3	Lettura database
Datetime	Scrittura log file con data e ora

** Librerie utilizzate in entrambi i progetti.

Funzione ETL

File Python con procedura ETL che cicla su file csv, json e XML in una cartella predefinita dall'utente, estrae e trasforma informazioni specifiche, le unifica in file csv e scrive file log.

Python file

LIBRERIE	UTILIZZO
Glob	Lettura file su disco in base a parametri
Pandas	Manipolazione dei dati
ElementTree	Gestione file XML
Datetime	Scrittura log file con data e ora

Esercizi

PROGETTO	LINK JUPYTER NOTEBOOK
SQLite3	Jupyter Notebook
BeautifulSoup	Jupyter Notebook
Packaging	Folder
Pylint e Unit testing	Folder