Come automatizzare la rotazione dei proxy con Python

Comprensione della rotazione proxy

Nel delicato balletto tra web scraping e richieste automatizzate, la rotazione proxy è sia scudo che spada. Oscura la tua impronta digitale, garantendo che le richieste non tradiscano la loro origine a server vigili. La rotazione proxy passa attraverso un elenco selezionato di server proxy, consentendo a ogni richiesta di apparire come se provenisse da una fonte diversa, eludendo ban, limiti di velocità e lo sguardo minaccioso dei meccanismi anti-bot.

---

Strategie chiave di rotazione dei proxy

Strategia	Descrizione	Caso d'uso	Complessità
Round Robin	Esegue cicli sequenziali attraverso i proxy in ordine	Raschiatura generale, obiettivi poco sospetti	Basso
Selezione casuale	Seleziona casualmente un proxy dal pool per ogni richiesta	Evitare schemi rilevabili	Medio
Scelta adattiva/intelligente	Seleziona i proxy in base allo stato di salute, alla velocità o alla cronologia dei ban	Raschiatura su larga scala e ad alta sensibilità	Alto

---

Preparazione dell'elenco dei proxy

Un elenco proxy è la linfa vitale della rotazione. Può essere ottenuto da fornitori a pagamento come Dati luminosi, Oxylabs, o aggregatori gratuiti come Elenco proxy gratuito.

Tabella: Esempi di formato dell'elenco proxy

Formato	Esempio
IP:Port	51.158.68.68:8811
IP:Porta:Utente:Password	51.158.68.68:8811:nome utente:password

Memorizza i tuoi proxy in un file di testo normale (ad esempio, proxy.txt) con un proxy per riga, una pratica tanto elegante quanto pratica.

---

Implementazione della rotazione proxy in Python

1. Lettura dell'elenco dei proxy

def load_proxies(filename): con open(filename, 'r') come f: restituisce [line.strip() per la riga in f se line.strip()]

2. Rotazione per delega Round Robin

importa itertools proxy = load_proxies('proxies.txt') proxy_pool = itertools.cycle(proxies) def get_next_proxy(): restituisci next(proxy_pool)

Ogni chiamata a get_next_proxy() offre il prossimo proxy in un ciclo continuo e infinito: un omaggio alla grazia ordinata di un valzer parigino.

3. Integrazione con le richieste

Per le richieste HTTP, il richieste la biblioteca è allo stesso tempo solida e accessibile.

richieste di importazione def format_proxy(proxy): parts = proxy.split(':') if len(parts) == 2: return {'http': f'http://{proxy}', 'https': f'https://{proxy}'} elif len(parts) == 4: ip, porta, utente, password = parts proxy_auth = f"{utente}:{password}@{ip}:{porta}" return {'http': f'http://{proxy_auth}', 'https': f'https://{proxy_auth}'} else: raise ValueError("Formato proxy non valido") url = "https://httpbin.org/ip" proxy = get_next_proxy() proxies_dict = format_proxy(proxy) response = requests.get(url, proxies=proxies_dict, timeout=10) print(response.json())

---

Rotazione proxy con richieste HTML e Selenium

Alcune pagine web, sfuggenti come le madeleine proustiane, richiedono il rendering di JavaScript. Per questo, strumenti come Richieste-HTML O Selenio sono indispensabili.

Richieste-Esempio HTML:

da requests_html importa HTMLSession sessione = HTMLSession() proxy = get_next_proxy() proxies_dict = format_proxy(proxy) r = session.get('https://httpbin.org/ip', proxies=proxies_dict) print(r.html.text)

Esempio di selenio:

Selenium richiede la configurazione del proxy a livello di driver.

da selenium importa webdriver da selenium.webdriver.common.proxy importa Proxy, ProxyType def configure_selenium_proxy(proxy): ip, porta = proxy.split(':')[:2] selenium_proxy = Proxy() selenium_proxy.proxy_type = ProxyType.MANUAL selenium_proxy.http_proxy = f"{ip}:{porta}" selenium_proxy.ssl_proxy = f"{ip}:{porta}" restituisci selenium_proxy proxy = get_next_proxy() chrome_options = webdriver.ChromeOptions() selenium_proxy = configure_selenium_proxy(proxy) capabilities = webdriver.DesiredCapabilities.CHROME.copy() selenium_proxy.add_to_capabilities(capabilities) driver = webdriver.Chrome(options=chrome_options, desired_capabilities=capacità) driver.get('https://httpbin.org/ip')

---

Gestione dello stato del proxy e del failover

Uno script elegante si adatta rapidamente alle avversità. I proxy possono scadere, finire nella lista nera o languire nella latenza. Pertanto, monitorate il loro stato di salute e rimuovete o declassate quelli che presentano problemi.

def check_proxy(proxy): prova: proxies_dict = format_proxy(proxy) resp = requests.get('https://httpbin.org/ip', proxies=proxies_dict, timeout=5) restituisci resp.status_code == 200 eccetto Eccezione: restituisci False healthy_proxies = [p per p in proxies se check_proxy(p)]

Per controlli di integrità più sofisticati e failover automatico, prendere in considerazione librerie come proxy rotanti scrapy.

---

Utilizzo di librerie di terze parti

Per un'orchestrazione più ampia, le librerie di terze parti offrono una sinfonia di funzionalità:

Biblioteca	Caratteristiche	Documentazione
proxy rotanti scrapy	Gestione del pool proxy, rilevamento del divieto	https://github.com/TeamHG-Memex/scrapy-rotating-proxies
proxy_pool	Raccolta, convalida e rotazione dei proxy	https://github.com/jhao104/proxy_pool
richieste-casuali-utente-agente	Randomizzazione di User-Agent e proxy	https://pypi.org/project/requests-random-user-agent/

---

Buone pratiche per la rotazione dei proxy

• Diversità: Utilizzare proxy da diversi intervalli IP e posizioni.
• Rispetta Robots.txt: Rispettare le politiche del sito web, nello spirito della civiltà digitale.
• Limitazione della velocità: Richieste di limitazione per imitare il comportamento umano ed eludere il rilevamento.
• Registrazione: Registrare l'utilizzo e gli errori del proxy per futuri perfezionamenti.
• Considerazioni legali: Esaminare attentamente il panorama legale ed etico delle proprie attività (vedere Guida dell'EFF).

---

Ulteriori letture

• Documentazione sulle richieste Python
• proxy rotanti scrapy
• Fornitori di elenchi proxy: Bright Data, Oxylabs
• Proxy rotanti con Selenium

Lasciate che questi strumenti e queste pratiche siano il vostro passaporto attraverso i molteplici viali del web, ogni richiesta accompagnata dalla sottile grazia di una maschera in continuo cambiamento.