April 28, 2020

Парсер/чекер прокси

Будем забирать прокси с этого сайта.

Установка

git clone https://github.com/TheAngryPython/proxy-parser.git
cd proxy-parser
pip install -r req.txt

Использование

Все пункты можно просто пропускать (будут использованы стандартные настройки)

python parser.py
фото работы

Рабочие прокси будут сохранены в файл good_proxies.txt

Все прокси будут сохранены в all_proxies.txt


Можно использовать ключи в команде, например:

python parser.py -pl 4 -ap all.txt -gp good.txt -s http://eth0.me -tl 2 -c y

! у сайта для проверки обязательна приставка протокола (http:// или https://) !

выполнение команды

Для получения описания можно вызвать ключ -h или --help

помощь

Прокси сохраняются в виде списка:

[{'ip': '89.108.165.37', 'port': '8080', 'type': 'http'}, ...]

К проверенным прокси добавляется время ответа:

[{'ip': '89.108.165.37', 'port': '8080', 'type': 'http', 'uptime': 0.43866}, ...]

Код полностью открыт.