Импортирует списки прокси и отправляет на проверку в MQ
Для работы нужно использовать переменные окружения. Использовать можно переименованием файла .env.example
в .env
или передать переменные окружения при создании докера
Берет из базы прокси и отправляет в MQ на проверку
python send_to_mq.py
Запуск слушателя очереди проверенных прокси для записи в базу
python main.py
Парсинг источников с прокси. Собирает примерно 20к-25к прокси за 2 минуты с более 50 сайтов.
python update_list_proxy
Работает с PostgreSQL, RabbitMQ и Proxy Checker
Создает таблицы в PostgreSQL, где хранятся списки прокси и результат их проверок.
Для запуска крона нужно запустить cron.sh
. Если используете Docker-Compose, то смотрите запуск в репозитории proxy-checker-docker