So erstellen Sie Ihren eigenen Proxy-Pool mit Python und Bash

“So wie der Nil ruhig fließt und doch die Geheimnisse des Landes in sich trägt, so müssen auch unsere Daten das Internet durchqueren, geschützt durch die Strömung der Anonymität.”

---

Der Zweck und die Leistungsfähigkeit von Proxy-Pools

In der Antike nutzten Händler versteckte Routen, um ihre Karawanen vor neugierigen Blicken zu schützen. Heute erfüllen Proxys eine ähnliche Funktion: Sie verbergen Ihre digitalen Schritte, verteilen Anfragen und entgehen dem ständigen Blick von Rate-Limitern und Firewalls.

Ein Proxy-Pool ist eine Sammlung von Proxy-Servern. Durch die Rotation von Anfragen über mehrere Proxys vermeiden Sie Erkennung, Sperren und Engpässe. Der Aufbau eines eigenen Proxy-Pools mit Python und Bash bietet Ihnen Souveränität, Flexibilität und Kontrolle – im Gegensatz zu teuren Drittanbieterlösungen.

---

Tabelle: Proxy-Pool-Ansätze

Ansatz	Pro	Nachteile	Beispiel-Anwendungsfälle
APIs von Drittanbietern	Einfache Einrichtung, verwaltete Wartung	Teuer, weniger Kontrolle, schwarze Liste	Schnelles Prototyping
DIY mit Python	Volle Kontrolle, kostengünstig	Erfordert Wartung, Zuverlässigkeit	Web Scraping, Automatisierung
Bash-Skripting	Leichtgewichtig, einfache Integration	Weniger skalierbar, manuelle Verwaltung	Schnelle Aufgaben, Gesundheitschecks

---

Sammeln von Proxy-Quellen

“Trinken Sie nicht aus einem Brunnen, den Sie nicht kennen”, sagte mir einmal ein Ältester – wählen Sie Ihre Ersatzquellen mit Bedacht.

Kostenlose öffentliche Proxys

• https://free-proxy-list.net/
• https://www.sslproxies.org/
• https://www.proxyscan.io/

Bash: Proxy-Liste abrufen und analysieren

curl -s https://www.sslproxies.org/ | grep -Eo '([0-9]{1,3}\.){3}[0-9]{1,3}:[0-9]+' > proxies.txt

Kostenpflichtige Proxy-Dienste

Für unternehmenskritische Aufgaben sollten Sie Anbieter wie https://brightdata.com/ oder https://www.oxylabs.io/. Sie bieten eine höhere Zuverlässigkeit und bessere Anonymität.

---

Validieren von Proxys

Alte Weisheit: “Prüfe den Stein, bevor du baust.”

Python: Proxy-Verfügbarkeit prüfen

Importanforderungen def is_proxy_working(proxy): Versuchen Sie: Antwort = Anfragen.get('https://httpbin.org/ip', Proxys={'http': Proxy, 'https': Proxy}, Timeout=5) geben Sie Antwort.Statuscode == 200 zurück, außer: geben Sie False # zurück. Lesen Sie Proxys aus der Datei mit open('proxies.txt') als f: Proxys = [line.strip() für Zeile in f] working_proxies = [p für p in Proxys, wenn is_proxy_working(p)] mit open('working_proxies.txt', 'w') als f: für p in working_proxies: f.write(f"{p}\n")

---

Rotierende Proxys mit Python

Das Geheimnis der Karawane: Nehmen Sie niemals zweimal dieselbe Route.

Einfacher Proxy-Rotator

importiere zufällige Importanfragen mit open('working_proxies.txt') als f: proxies = [line.strip() für Zeile in f] def get_random_proxy(): returniere random.choice(proxies) def fetch_with_proxy(url): proxy = get_random_proxy() versuche: resp = requests.get(url, proxies={'http': proxy, 'https': proxy}, timeout=10) print(f"Using {proxy}: {resp.status_code}") returniere resp.text außer Ausnahme als e: print(f"Proxy {proxy} failed: {e}") returniere None # Beispielverwendung html = fetch_with_proxy('https://httpbin.org/ip')

---

Bash: Schneller Proxy-Integritätscheck

Für diejenigen, die die Befehlszeile bevorzugen, so wie die Handwerker früherer Zeiten ihre Werkzeuge bevorzugten:

während Proxy gelesen wird; Timeout 5 ausführen curl -s --proxy $proxy https://httpbin.org/ip >/dev/null && echo "$proxy ist aktiv" fertig < proxies.txt

---

Automatisieren von Proxy-Pool-Updates

Wie die jährliche Nilflut kommen und gehen Proxys – Automatisierung ist der Schlüssel.

Bash: Geplantes Abrufen und Validieren

#!/bin/bash # Täglich neue Proxys abrufen curl -s https://free-proxy-list.net/ | grep -Eo '([0-9]{1,3}\.){3}[0-9]{1,3}:[0-9]+' > proxies.txt # Proxys validieren > working_proxies.txt beim Lesen des Proxys; Timeout 5 ausführen curl -s --proxy $proxy https://httpbin.org/ip >/dev/null && echo "$proxy" >> working_proxies.txt fertig < proxies.txt

Planen mit cron:

0 2 * * * /Pfad/zu/Ihrem/Skript.sh

---

Erweitert: Bereitstellen von Proxys über die API mit Flask

Am Hof des Pharaos wurde der Zugriff auf Ressourcen mit einem Wort gewährt. Stellen Sie eine API für Ihren Pool bereit:

von Flask importiere Flask, jsonify importiere zufällige App = Flask(__name__) def get_proxies(): mit open('working_proxies.txt') als f: returniere [line.strip() für Zeile in f] @app.route('/get_proxy') def get_proxy(): Proxies = get_proxies() returniere jsonify({'proxy': random.choice(proxies)}) wenn __name__ == '__main__': app.run(port=5000)

---

Sicherheit, Ethik und Best Practices

• Verwenden Sie Proxys niemals für illegale oder unethische Zwecke.
• Rotieren Sie Benutzeragenten und Proxys (Fake-Useragent).
• Achten Sie auf IP-Sperren und aktualisieren Sie Ihren Pool regelmäßig.
• Respektieren robots.txt und Zielsite-Begriffe.

---

Wichtige Ressourcen

• fordert die Python-Bibliothek an
• Flask-Mikro-Webframework
• kostenlose-proxy-liste.net
• Bright-Daten
• Oxylabs

---

So wie die Alten ihre Geschäftsgeheimnisse hüteten, sollten auch Sie Ihren Proxy-Pool hüten – pflegen Sie ihn, wechseln Sie ihn und nutzen Sie ihn mit Bedacht.