1. middlewares.py

import itertools, random

class RotatingProxyMiddleware:
    def __init__(self):
        with open("proxies.txt") as handle:
            self.proxies = [line.strip() for line in handle if line.strip()]
        random.shuffle(self.proxies)
        self.pool = itertools.cycle(self.proxies)

    def process_request(self, request, spider):
        request.meta["proxy"] = f"http://{next(self.pool)}"

2. settings.py

DOWNLOADER_MIDDLEWARES = {
    "myproject.middlewares.RotatingProxyMiddleware": 350,
    "scrapy.downloadermiddlewares.retry.RetryMiddleware": 550,
}
RETRY_TIMES = 5
DOWNLOAD_TIMEOUT = 10

시간을 아껴 주는 참고 사항

순서가 중요합니다. 프록시 미들웨어는 재시도 미들웨어보다 먼저 실행돼야 각 재시도가 실패한 것을 반복하지 않고 새 프록시를 고릅니다. DOWNLOAD_TIMEOUT은 낮게 — 무료 프록시가 파이프라인에서 가장 느린 부분입니다 — 그리고 실패율을 흡수하도록 RETRY_TIMES를 높이세요.

Scrapy 프록시 미들웨어

1. middlewares.py

2. settings.py

시간을 아껴 주는 참고 사항

관련 가이드