Раскрываем методику работы парсера на Python

Давайте  разберемся с деталями работы парсера страниц на Python,  предназначенного для скачивания информации  с сайтов размещения  объявлений либо освещения статистики спортивных мероприятий  (разрабатывали в нескольких статьях канала "властелин машин").

На первом этапе создается экземпляр класса для скачивания содержимого конкретного сайта (например,  UFCFightsParser или AvitoProductParser, которые наследуют общий функционал суперкласса ItemsParser). Затем запускается метод ItemsParser - start_items_parser, отвечающий за обход содержимого страниц (подробнее здесь).

При  этом экземпляр класса  инициализируется набором долгосрочных параметров  из конфигурационного файла (аналогично тому, как описано здесь),  а также краткосрочными параметрами, которые сохраняются в промежутках  между скачиваниями (например, в случае разрыва соединения с сайтом либо  принудительного останова со стороны пользователя).

В числе долгосрочных параметров общих для всех сайтов входят -  pages_load_stop_num  (максимальное количество скачанных с одного ip страниц, потом требуется  сменить адрес, чтобы не привлекать к себе внимание администрации  сайта), а также   rec_ign_bef_stop_max  (из-за искусственного подъема старых записей за деньги, чтобы  удостовериться в скачивании всех свежих записей, должны встретить  столько старых  перед остановом) и delay (задержка после одного  обращения к сайту). В число краткосрочных параметров, например для  класса UFCFightsParser, входят url  текущего события, номер скачиваемой страницы, количество уже скачанных  на текущей странице записей и ряд других (подробнее здесь).
Один  из важных краткосрочных параметров - дата последнего скачивания  (отвечает за прерывание программы в случае перебора всех свежих записей)  получает  start_items_parser. Последняя в цикле запускает get_items_params для обхода ссылок на записи на текущей странице (подробнее здесь), а затем get_next_url для получения url на новую страницу (подробнее здесь).

В свою очередь get_items_params вызывает get_one_item_params,  которая скачивает содержимое по заданной ссылке, возвращает словарь с данными, полученными из наборов тегов (подробнее здесь и здесь).

Условно схему взаимодействия этих функций можно изобразить на следующем рисунке: