Como criar seu próprio pool de proxy com Python e Bash

“Assim como o Nilo flui silenciosamente, mas carrega os segredos da terra, nossos dados também devem atravessar a web, protegidos pela corrente do anonimato.”

---

O propósito e o poder dos pools de proxy

Nas areias do mundo antigo, os comerciantes usavam rotas ocultas para proteger suas caravanas de olhares indiscretos. Hoje, os proxies desempenham um papel semelhante — ocultando seus rastros digitais, distribuindo solicitações e evitando o olhar sempre atento de limitadores de velocidade e firewalls.

Um pool de proxy é um conjunto de servidores proxy. Ao rotacionar solicitações por vários proxies, você evita detecções, banimentos e gargalos. Construir seu próprio pool de proxy com Python e Bash lhe dá soberania, flexibilidade e a sabedoria do controle — ao contrário de depender de soluções caras de terceiros.

---

Tabela: Abordagens de Proxy Pool

Abordagem	Prós	Contras	Exemplos de casos de uso
APIs de terceiros	Fácil configuração, manutenção gerenciada	Caro, menos controle, lista negra	Prototipagem rápida
Faça você mesmo com Python	Controle total, custo-benefício	Requer manutenção, confiabilidade	Web scraping, automação
Script Bash	Leve e fácil integração	Gestão manual menos escalável	Tarefas rápidas, verificações de saúde

---

Coletando fontes de proxy

“Não beba de um poço que você não conhece”, um ancião me disse uma vez. Escolha suas fontes alternativas com sabedoria.

Proxies públicos gratuitos

• https://free-proxy-list.net/
• https://www.sslproxies.org/
• https://www.proxyscan.io/

Bash: buscar e analisar lista de proxy

curl -s https://www.sslproxies.org/ | grep -Eo '([0-9]{1,3}\.){3}[0-9]{1,3}:[0-9]+' > proxies.txt

Serviços de proxy pagos

Para tarefas de missão crítica, considere provedores como https://brightdata.com/ ou https://www.oxylabs.io/. Eles oferecem maior confiabilidade e melhor anonimato.

---

Validando Proxies

Sabedoria antiga: “Teste a pedra antes de construir.”

Python: Verificar disponibilidade de proxy

solicitações de importação def is_proxy_working(proxy): try: response = requests.get('https://httpbin.org/ip', proxies={'http': proxy, 'https': proxy}, timeout=5) return response.status_code == 200 except: return False # Leia proxies do arquivo com open('proxies.txt') como f: proxies = [line.strip() para linha em f] working_proxies = [p para p em proxies if is_proxy_working(p)] com open('working_proxies.txt', 'w') como f: para p em working_proxies: f.write(f"{p}\n")

---

Rotacionando Proxies com Python

O segredo da caravana: nunca faça o mesmo caminho duas vezes.

Rotador de Proxy Simples

importar solicitações de importação aleatórias com open('working_proxies.txt') como f: proxies = [line.strip() para linha em f] def get_random_proxy(): retornar random.choice(proxies) def fetch_with_proxy(url): proxy = get_random_proxy() tentar: resp = requests.get(url, proxies={'http': proxy, 'https': proxy}, timeout=10) print(f"Usando {proxy}: {resp.status_code}") retornar resp.text exceto Exceção como e: print(f"Proxy {proxy} falhou: {e}") retornar Nenhum # Exemplo de uso html = fetch_with_proxy('https://httpbin.org/ip')

---

Bash: Verificação rápida da integridade do proxy

Para aqueles que preferem a linha de comando, assim como os artesãos de antigamente preferiam suas ferramentas:

enquanto lê proxy; faça timeout 5 curl -s --proxy $proxy https://httpbin.org/ip >/dev/null && echo "$proxy está ativo" feito < proxies.txt

---

Automatizando atualizações do pool de proxy

Assim como a inundação anual do Nilo, os proxies vêm e vão — a automação é fundamental.

Bash: Busca e Validação Agendadas

#!/bin/bash # Buscar novos proxies diariamente curl -s https://free-proxy-list.net/ | grep -Eo '([0-9]{1,3}\.){3}[0-9]{1,3}:[0-9]+' > proxies.txt # Validar proxies > working_proxies.txt enquanto lê o proxy; executar timeout 5 curl -s --proxy $proxy https://httpbin.org/ip >/dev/null && echo "$proxy" >> working_proxies.txt done < proxies.txt

Agendar com cron:

0 2 * * * /caminho/para/seu/script.sh

---

Avançado: Servindo Proxies via API com Flask

Na corte do Faraó, o acesso aos recursos era concedido com uma palavra. Forneça uma API para o seu pool:

do frasco importar Flask, jsonify importar aleatório app = Flask(__name__) def get_proxies(): com open('working_proxies.txt') como f: retornar [line.strip() para linha em f] @app.route('/get_proxy') def get_proxy(): proxies = get_proxies() retornar jsonify({'proxy': random.choice(proxies)}) se __name__ == '__main__': app.run(porta=5000)

---

Segurança, Ética e Melhores Práticas

• Nunca use proxies para fins ilegais ou antiéticos.
• Gire os agentes de usuário e também os proxies (agente de usuário falso).
• Monitore as proibições de IP e atualize seu pool regularmente.
• Respeito robôs.txt e termos do site de destino.

---

Recursos Principais

• solicitações de biblioteca Python
• Estrutura micro web Flask
• lista-de-proxy-gratuita.net
• Dados brilhantes
• Oxilabs

---

Assim como os antigos guardavam seus segredos comerciais, você também deve guardar seu pool de proxy: mantê-lo, rotacioná-lo e utilizá-lo com sabedoria.