-
whats-new
Собирает ссылки на статьи о нововведениях в Python, переходит по ним и забирает информацию об авторах и редакторах статей -https://docs.python.org/3/
(Cсылка на документацию, Версия и Статус) -
latest-version
Собирает информацию о статусах версий Python -https://docs.python.org/3/
(сканирует карточку каждой версии Python и выводит информацию: Ссылка на статью, Заголовок, Редактор, Автор.) -
download
Скачивает архив с актуальной документацией в формате zip. Папка src/downloads -https://docs.python.org/3/download.html
-
pep
Собирает статусы всех PEP, ссылки на каждый PEP и подсчитывает общее количество PEP -https://peps.python.org/
-
В проекте информация пишется в логах на уровне INFO -
.../src/logs/
positional arguments:
{whats-new,latest-versions,download,pep} Режимы работы парсера
optional arguments:
-h, --help show this help message and exit
-c, --clear-cache Очистка кэша
-o {pretty,file}, --output {pretty,file} Дополнительные способы вывода данных
Режимы работы парсера:
- whats-new
- latest-version
- download
- pep
Очистка кеша:
-с
- делает очистку кэша в сессии
Дополнительные способы вывода данных:
-o pretty
- вывод результатов в консоль в виде таблицы;-o file
- вывод результатов в виде .csv файла, который сохраняется в директорию ../src/results;- если не указывать команды по выводу, то итоги выводятся в консоль.
- Клонировать репозиторий:
git clone https://github.com/Skrapivn/bs4_parser_pep.git
- Создать виртуальное окружение:
python -m venv venv
- Активировать виртуальное окружение, обновить версию
pip
и установить зависимости изrequirements.txt
:
source venv/bin/activate
python -m pip install -–upgrade pip.
pip install -r requirements.txt
- Запустить
main.py
с нужным режимом работы. Можно вызватьpython main.py
с параметром-h
для просмотра параметров:
python main.py
Пример:
python main.py latest-versions -o pretty