Implementazione funzione di webscraping con estrazione di dati strutturati da sito web, elaborazione dati, caricamento su file csv e database Sqlite3 (scrittura query di esempio tramite Sqlite3).
Scrittura file log txt con le fasi della procedura.
| PROGETTO | LINK JUPYTER NOTEBOOK |
|---|---|
| Progetto 2 (final) | Jupyter Notebook |
| Progetto 1 (test) | Jupyter Notebook |
| LIBRERIA | UTILIZZO |
|---|---|
| Requests | Download dati da web |
| BeautifulSoup | Interpretazione html |
| Pandas | Manipolazione dei dati |
| SQLite3 | Lettura database |
| Datetime | Scrittura log file con data e ora |
** Librerie utilizzate in entrambi i progetti.
File Python con procedura ETL che cicla su file csv, json e XML in una cartella predefinita dall'utente, estrae e trasforma informazioni specifiche, le unifica in file csv e scrive file log.
| LIBRERIE | UTILIZZO |
|---|---|
| Glob | Lettura file su disco in base a parametri |
| Pandas | Manipolazione dei dati |
| ElementTree | Gestione file XML |
| Datetime | Scrittura log file con data e ora |
| PROGETTO | LINK JUPYTER NOTEBOOK |
|---|---|
| SQLite3 | Jupyter Notebook |
| BeautifulSoup | Jupyter Notebook |
| Packaging | Folder |
| Pylint e Unit testing | Folder |