PythonとBashを使って独自のプロキシプールを作成する方法

“「ナイル川が静かに流れながらも土地の秘密を運ぶように、私たちのデータも匿名性の流れに守られながらウェブを横断しなければなりません。」”

---

プロキシプールの目的と力

古代の砂漠では、商人たちはキャラバンを詮索好きな目から守るために隠されたルートを使っていました。今日、プロキシは同様の役割を果たしています。つまり、デジタル上の足跡を隠し、リクエストを分散し、レートリミッターやファイアウォールの監視を逃れるのです。.

プロキシプールとは、プロキシサーバーの集合体です。複数のプロキシを経由してリクエストを循環させることで、検出、禁止、ボトルネックを回避できます。PythonとBashを使って独自のプロキシプールを構築することで、高価なサードパーティソリューションに頼るよりも、主権、柔軟性、そして賢明な制御が可能になります。.

---

表: プロキシプールアプローチ

アプローチ	長所	短所	使用例
サードパーティAPI	簡単なセットアップ、管理されたメンテナンス	高価、制御不足、ブラックリスト	クイックプロトタイピング
PythonでDIY	完全な制御、コスト効率	メンテナンスと信頼性が必要	ウェブスクレイピング、自動化
Bashスクリプト	軽量で簡単に統合	拡張性が低く、手動での管理が必要	クイックタスク、ヘルスチェック

---

プロキシソースの収集

“「知らない井戸の水を飲まないように」と、ある長老がかつて私に言いました。代理の情報源は賢く選びなさい、と。.

無料のパブリックプロキシ

• https://free-proxy-list.net/
• https://www.sslproxies.org/
• https://www.proxyscan.io/

Bash: プロキシリストの取得と解析

curl -s https://www.sslproxies.org/ | grep -Eo '([0-9]{1,3}\.){3}[0-9]{1,3}:[0-9]+' > proxies.txt

有料プロキシサービス

ミッションクリティカルなタスクの場合は、次のようなプロバイダーを検討してください。 https://brightdata.com/ または https://www.oxylabs.io/. より高い信頼性と優れた匿名性を提供します。.

---

プロキシの検証

古代の知恵：「建てる前に石をテストしなさい。」“

Python: プロキシの可用性を確認する

import requests def is_proxy_working(proxy): try: response = requests.get('https://httpbin.org/ip', proxies={'http': proxy, 'https': proxy}, timeout=5) return response.status_code == 200 except: return False # ファイルからプロキシを読み取ります with open('proxies.txt') as f: proxies = [line.strip() for line in f] working_proxies = [p for p in proxies if is_proxy_working(p)] with open('working_proxies.txt', 'w') as f: for p in working_proxies: f.write(f"{p}\n")

---

Pythonでプロキシをローテーションする

キャラバンの秘密: 同じルートを二度通らないこと。.

シンプルなプロキシローテーター

import random import requests with open('working_proxies.txt') as f: proxies = [line.strip() for line in f] def get_random_proxy(): return random.choice(proxies) def fetch_with_proxy(url): proxy = get_random_proxy() try: resp = requests.get(url, proxies={'http': proxy, 'https': proxy}, timeout=10) print(f"Using {proxy}: {resp.status_code}") return resp.text except Exception as e: print(f"Proxy {proxy} failed: {e}") return None # 使用例 html = fetch_with_proxy('https://httpbin.org/ip')

---

Bash: クイックプロキシヘルスチェック

昔の職人がツールを好んだように、コマンドラインを好む人々のために:

プロキシの読み取り中にタイムアウト 5 を実行します。curl -s --proxy $proxy https://httpbin.org/ip >/dev/null && echo "$proxy is alive" done < proxies.txt

---

プロキシプールの更新の自動化

ナイル川の毎年の洪水のように、プロキシは現れては消えていきます。鍵となるのは自動化です。.

Bash: スケジュールされたフェッチと検証

#!/bin/bash # 毎日新しいプロキシを取得します curl -s https://free-proxy-list.net/ | grep -Eo '([0-9]{1,3}\.){3}[0-9]{1,3}:[0-9]+' > proxies.txt # プロキシを検証します > working_proxies.txt while read proxy; do timeout 5 curl -s --proxy $proxy https://httpbin.org/ip >/dev/null && echo "$proxy" >> working_proxies.txt done < proxies.txt

スケジュール クローン:

0 2 * * * /path/to/your/script.sh

---

上級編: Flask で API 経由でプロキシを提供する

ファラオの宮廷では、資源へのアクセスは言葉によって許可されていました。プール用のAPIを提供してください。

Flask から Flask をインポートし、jsonify をインポートして random app = Flask(__name__) def get_proxies(): with open('working_proxies.txt') as f: return [line.strip() for line in f] @app.route('/get_proxy') def get_proxy(): proxies = get_proxies() return jsonify({'proxy': random.choice(proxies)}) if __name__ == '__main__': app.run(port=5000)

---

セキュリティ、倫理、ベストプラクティス

• 違法または非倫理的な目的でプロキシを使用しないでください。.
• ユーザーエージェントとプロキシをローテーションする（偽のユーザーエージェント).
• IP 禁止を監視し、プールを定期的に更新します。.
• 尊敬 ロボット およびターゲット サイトの用語。.

---

主要リソース

• Pythonライブラリをリクエストする
• Flask マイクロウェブフレームワーク
• 無料プロキシリスト
• ブライトデータ
• オキシラボ

---

古代人が企業秘密を守ったように、あなたもプロキシ プールを守り、維持し、循環させ、賢く活用する必要があります。.