Le fichier crawler.py ne fonctionne pas tel quel,
Voici les corrections qui lui permette de fonctionner,