Описание

Скрипт обходит по списку сайтов и считает сколько страниц у сайта - сначала проходит по нему вручную оставляет только внутрение ссылки затем считает сколько страниц внутри sitemap.xml

и сохраняет в csv

Запуск

python start.py

Идеи на потом

Конечно, если у вас сайт размером с Фонбетяру, скрипт не поможет но маленьких почему бы и нет =)

Log

0.0.1 Добавлено исключение для картинок user agent google бота