Comment lister toutes les URL associées à un site Web Fast-ish

Vous avez donc besoin d'une liste contenant toutes les URL d'un site Web? Faites-vous des redirections peut-être? Atteindre la limite des sitemaps XML? Cool, moi aussi. J'ai juste l'outil pour vous qui le fera à peu près à la même vitesse que les sitemaps XML, mais vous aurez l'air bien plus cool de le faire.

Où le tutoriel commence réellement

Pour obtenir votre liste d'URL, nous allons utiliser Wget!

Qu'est-ce que le Frigg est Wget?

«Wget est un progiciel gratuit permettant de récupérer des fichiers en utilisant HTTP, HTTPS et FTP, les protocoles Internet les plus utilisés.» - Brew ‍Formules

Et vous pouvez également l'utiliser pour demander une grande liste d'URL associées à un domaine.

1. Installer Wget

Pour installer Wget si vous ne l'avez pas déjà fait, vous devrez d'abord installer HomeBrew; aka Brew. ? Brew est un gestionnaire de paquets, ce qui signifie qu'il installe le logiciel pour vous et le gère. Vous pouvez consulter les instructions sur leur site Web ou simplement suivre celles ci-dessous.

Installer Brew

Collez-le dans une invite de terminal et appuyez deux fois sur Entrée ⮐ (cela peut vous demander un mot de passe.)

/usr/bin/ruby -e "$(curl -fsSL //raw.githubusercontent.com/Homebrew/install/master/install)"‍

Installez Wget

Maintenant que Brew est installé, il est temps d'installer Wget. Collez-le dans une invite de terminal et appuyez sur Entrée ⮐

brew install wget

2. Il est temps d'obtenir des "URL dém"

Maintenant, avec Wget installé, nous téléchargeons simplement le site Web, puis affichons toutes ses URL. Commencez par télécharger le site Web de votre choix

Wget -r www.shutterandcode.com

Ensuite, une fois le téléchargement terminé, nous listerons les URL avec

Find www.shutterandcode.com

(Assurez-vous d'utiliser le même domaine de site Web que celui qui a été téléchargé).

Conclusion

Après une série de tests occasionnels opposant Wget à des sitemaps XML utilisant des sites Web plus petits, j'ai constaté qu'ils sont tous les deux à peu près à égalité. Parfois, l'un était plus rapide que l'autre, mais dans l'ensemble, ils avaient tous les deux des vitesses similaires.

Si vous souhaitez en savoir plus sur les commandes Wget, tapez simplement ceci dans votre invite

wget --help

J'espère que vous avez aimé lire ceci! N'oubliez pas d'aimer, de commenter et de vous abonner! ?

ps ne se sent pas obligé d'aimer, de commenter et / ou de s'abonner car c'est simplement une blague pour les YouTubers :)

MISE À JOUR: si vous ne voulez pas que le site se télécharge réellement sur votre ordinateur, ajoutez «- spider» après «wget» comme
wget -r --spider www.example.com

Consultez l'article original et le reste des extraits! série à

Shutter & Code - Le Blog