Come integrare i proxy gratuiti con il tuo web crawler

Esplorando il Bazaar: comprendere i proxy gratuiti nel Souk digitale

Nei vicoli labirintici del vecchio mercato di Aleppo, un tempo i commercianti sussurravano di rotte segrete per aggirare le tariffe doganali e raggiungere terre lontane. Oggi, i web crawler cercano il loro passaggio – proxy gratuiti – attraverso la medina digitale, eludendo le guardie vigili dei siti web moderni. Integrare proxy gratuiti nel proprio web crawler è un atto di astuzia tecnica e adattamento culturale, che richiede un equilibrio tra intraprendenza e rispetto per i limiti imposti da altri.

---

Tipi di proxy gratuiti: mappatura della carovana

Tipo di proxy	Livello di anonimato	Velocità	Affidabilità	Caso d'uso tipico
HTTP	Basso	Alto	Basso	Accesso base al sito
HTTPS	Medio	Medio	Medio	Estrazione sicura dei contenuti
SOCKS4/5	Alto	Basso	Basso	Accesso dietro firewall, P2P
Trasparente	Nessuno	Alto	Basso	Non consigliato per il crawling

Un web crawler che esplora i souk digitali deve scegliere con saggezza: proxy HTTP per la velocità, HTTPS per la privacy, SOCKS per la flessibilità. Eppure, come i mercanti velati, i proxy gratuiti spesso nascondono le loro vere intenzioni: alcuni potrebbero essere honeypot o lenti a rispondere.

---

Raccolta di proxy gratuiti: raccogli la tua spezia digitale

I cantastorie della mia città natale ricordano come i commercianti provassero le spezie prima di acquistarle: lo stesso vale per te.

Fonti proxy gratuite più diffuse:
– Liste proxy gratuite (free-proxy-list.net)
– ProxyScrape
– Spia.uno

Esempio: recupero di un elenco proxy in Python

richieste di importazione da bs4 import BeautifulSoup def fetch_proxies(): url = 'https://free-proxy-list.net/' soup = BeautifulSoup(requests.get(url).text, 'html.parser') proxies = [] per riga in soup.find('table', id='proxylisttable').tbody.find_all('tr'): tds = row.find_all('td') proxies.append(f"{tds[0].text}:{tds[1].text}") restituisci proxy

Come per la degustazione dello zafferano, testane sempre la qualità prima di aggiungerlo al barattolo.

---

Integrazione dei proxy con il tuo web crawler

Passaggio 1: rotazione proxy di base

Nella città vecchia, i commercianti cambiavano rotta per sfuggire ai banditi. Per i web crawler, la rotazione dei proxy è la chiave della longevità.

importa proxy casuali = fetch_proxies() def get_random_proxy(): return {'http': f'http://{random.choice(proxies)}', 'https': f'https://{random.choice(proxies)}'} # Utilizzo con richieste response = requests.get('https://example.com', proxies=get_random_proxy(), timeout=5)

Fase 2: Gestione degli errori del proxy

Un mercante saggio non torna mai su un sentiero bloccato. Allo stesso modo, individua e scarta i proxy errati:

def robust_request(url, proxies): for proxy in list(proxies): # Crea una copia per scorrere in modo sicuro prova: response = requests.get(url, proxies={'http': proxy, 'https': proxy}, timeout=5) if response.status_code == 200: restituisci response eccetto Exception: proxies.remove(proxy) # Rimuovi proxy non valido raise Exception("Nessun proxy funzionante rimasto.")

Passaggio 3: gestione dei pool proxy

Con molti percorsi, l'organizzazione è fondamentale. Utilizza librerie come richieste con adattatori di sessione oppure creare un pool personalizzato.

Esempio di tavolo da biliardo proxy

Indirizzo proxy	Ultimo controllo	Conteggio dei successi	Conteggio dei fallimenti	Stato
192.168.1.1:8080	2024-06-10	12	2	Attivo
10.10.10.2:3128	2024-06-09	0	5	Inattivo

Aggiorna costantemente la tua piscina, proprio come un capo roulotte aggiorna le sue mappe.

---

Rispetto dell'host: limitazione e intestazioni

Mia nonna mi ha insegnato a non fermarmi mai troppo a lungo a casa di un vicino. Allo stesso modo, il tuo crawler dovrebbe scaglionare le richieste e ruotare le intestazioni per mimetizzarsi.

import time headers_list = [ {'User-Agent': 'Mozilla/5.0 ...'}, {'User-Agent': 'Chrome/90.0 ...'}, # Aggiungi altro ] per l'URL in url_list: headers = random.choice(headers_list) proxy = get_random_proxy() try: response = requests.get(url, headers=headers, proxies=proxy, timeout=5) time.sleep(random.uniform(1, 5)) # Ritardo rispettoso eccetto Eccezione come e: continua # Vai avanti se bloccato

---

Rischi e buone pratiche

Rischio	Descrizione	Mitigazione
Blacklisting degli IP	Richieste frequenti o aggressive innescano divieti	Ruota i proxy, limita
Intercettazione dei dati	I proxy dannosi possono intercettare i dati	Utilizzare HTTPS ove possibile
Proxy inaffidabili	Molti proxy gratuiti muoiono rapidamente	Convalidare continuamente
Problemi legali/etici	Alcuni siti vietano lo scraping o l'uso del proxy	Controlla robots.txt, rispettalo

Nella mia patria, la fiducia è la valuta. Non abusare della generosità dei proxy gratuiti o dell'ospitalità dei siti web.

---

Avanzato: integrazione con Scrapy

Scrapy, la carovana del web scraping moderno, supporta i proxy in modo nativo.

impostazioni.py

DOWNLOADER_MIDDLEWARES = { 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 1, 'myproject.middlewares.ProxyMiddleware': 100, }

middlewares.py

importa classe casuale ProxyMiddleware(oggetto): def __init__(self): self.proxies = fetch_proxies() def process_request(self, richiesta, spider): request.meta['proxy'] = 'http://' + random.choice(self.proxies)

---

Nota culturale: ospitalità digitale

Nel Levante, gli ospiti sono apprezzati, ma devono onorare le usanze dei loro ospiti. Quando integri proxy gratuiti, non dimenticare l'adab digitale: usa lo scraping con moderazione, dichiara le tue intenzioni nelle intestazioni e lascia sempre il panorama digitale così come lo hai trovato.

---

Ecco come la saggezza del vecchio bazar trova nuova vita nel mondo digitale, guidando l'uso rispettoso dei proxy gratuiti con il tuo web crawler.