OffLiner e' un'utility in Perl per scaricare siti web e navigarli offline, mantenendo la struttura e i link.
- Scaricamento di interi siti web per la consultazione offline
- Supporto per HTTPS e connessioni SSL
- Download parallelo con multi-threading
- Salvataggio e sanificazione automatica dei nomi di file e directory
- Tentativi multipli in caso di errore di connessione
- Log degli errori per diagnosi e debugging
- Perl 5.10 o superiore
- Connessione Internet per il download e l'installazione automatica dei moduli mancanti
I seguenti moduli Perl sono necessari per eseguire OffLiner:
- HTTP::Tiny
- HTML::LinkExtor
- URI
- File::Path
- File::Basename
- Getopt::Long
- LWP::UserAgent
- IO::Socket::SSL
- Mozilla::CA
OffLiner installerà automaticamente i moduli mancanti durante l'esecuzione.
Per avviare l'installazione automatica, eseguire il seguente comando:
perl offliner.pl --url https://example.com
I moduli richiesti verranno installati automaticamente tramite CPAN se non già presenti.
Esempio di utilizzo per scaricare un sito web con una profondità massima di 10 e 5 thread:
perl offliner.pl --url https://example.com --max-depth 10 --max-threads 5
--url
(Obbligatorio): URL del sito da scaricare.--user-agent
: Specifica un User-Agent personalizzato. Default: 'Mozilla/5.0 (compatible; OffLinerBot/1.0)'.--max-depth
: Profondità massima dei link da seguire. Default: 50.--max-threads
: Numero massimo di thread per il download parallelo. Default: 10.
Puoi consultare la documentazione completa eseguendo:
perldoc offliner.pl
Tutti gli errori verranno registrati in un file di log download_log.txt
nella directory di esecuzione.
OffLiner è distribuito sotto licenza BSD. Consulta il file LICENSE per maggiori dettagli.
OffLiner Team