Scaricare un intero sito Web

Web

E’ possibile scaricare un intero sito web grazie ad un solo comando da terminale su Mac? SI 😎

Oggi vediamo brevemente come usare il comando wget per farlo.

Andremo esattamente a scaricare tutto quello che cè all’interno del sito, come immagini, links e sotto link e lo trasformeremo in semplice codice HTML, JS e CSS.

Può tornarvi utile per copiare siti ai quali non vi danno un accesso specifico oppure vi piacerebbe replicare delle parti del sito o semplicemente perché volete salvarvi una copia offline del sito.

WGET

Prima di procedere assicuratevi di aver installato HomeBrew

HomeBrew ci servirà per installare il pacchetto di wGET, e quindi il comando da inserire nel vostro terminale sarà il seguente

homebrew install wget

Il comando semplice ora per usare wGET è

wget sito.com

Questo comando però non scaricare nel vostro computer i file media o i file CSS e JS e i link non sono collegati tra loro, quindi usaremo molte più opzioni per scaricare BENE, un sito web, sia che esso sia in WordPress o che sia in Magento o altro ancora.

Il vero comando completo da usare è quindi il seguente:

wget -r -E -k -p -np -nc --random-wait https://sito.com

Vi spiego alcune cose:

-r or –recursive

Dice a wget di usare la ricorsione per scaricare anche le sottopagine del sito richiesto.

-E or –adjust-extension

Permette di lasciar decidere a wget di modifcare le estensioni dei file locali, in modo che queste corrispondano al tipo di dati ricevuti (in base all’intestazione HTML Content-Type)

-k or –convert-links

Dice a wget di cambiare i riferimenti della pagina in riferimenti locali, per l’uso offline. In pratica se clicchiamo per esempio dei link, questi rimanderanno ai file in locale e non al sito web online.

-p or –page-requisites

Non limitatevi a seguire i link all’interno dello stesso dominio, ma scaricate anche tutto ciò che viene utilizzato da una pagina (anche se si trova al di fuori del dominio corrente). Per esempio una CDN esterna!

-np or –no-parent

Limita wget alla sottocartella fornita. Non lasciare che sfugga alle pagine genitoriali o le sotto pagine figlie.

-nc or –no-clobber

Evita di riscaricare lo stesso file se è già presente ed è stato scaricato in precedenza, evitando duplicati!

–random-wait

Per evitare di fare troppe chiamate al server, facciamo le cose con calma senza fare i diavoletti 👹 e limitiamo il numero di chiamate in modo randomico, così freghiamo il server 😁

Lascia un commento

Il tuo indirizzo email non sarà pubblicato.