大量の無料プロキシを管理するためのヒント

1000ストリームを管理する術：大規模プロキシリストを扱うための実践的な知恵

---

プロキシの性質を認識する：庭の小道に敷く石を選ぶように

禅庭の石のように、無料のプロキシは豊富にありますが、すべてが信頼できる道の基盤として適しているわけではありません。リストを整理する前に、識別力を養いましょう。

タイプ	匿名レベル	信頼性	スピード	ユースケース例
透明	低い	変数	高い	キャッシュのみ
匿名	中くらい	適度	適度	シンプルなデータスクレイピング
エリート（高）	高い	多くの場合、	変数	機密性の高い操作

ヒント： まず、プロキシを種類別に分類します。メタデータフィールドなどを使用します。 匿名, 国、 そして 稼働時間 保存形式で。

---

効率的な保管：石の配置

賢い庭師は、それぞれの石に適切な器を選びます。数万ものプロキシを扱う場合、フラットファイル（CSV、TXT）は扱いにくくなります。代わりに、以下の方法を検討してください。

• キーバリューストア: Redis、LevelDB - 素早いアクセス、簡単な更新。
• データベース: ローカルの場合は SQLite、分散設定の場合は PostgreSQL または MongoDB。

SQL のスキーマの例:

テーブルproxiesを作成します（id SERIAL PRIMARY KEY、ip VARCHAR(45)、port INTEGER、type VARCHAR(10)、anonymity VARCHAR(10)、country VARCHAR(2)、last_checked TIMESTAMP、status BOOLEAN）。

ヒント： インデックスオン 状態 そして 最後にチェックした 新しく動作しているプロキシのクエリを高速化します。

---

健康診断：砂利のかき集め

定期的な掻き集めによって庭の本当の姿が明らかになるのと同様に、頻繁な検査によってプロキシの本当の状態が明らかになります。

並列テスト

プロキシを順番にテストするのは、小石を一つずつ動かすようなものです。非同期リクエストを使用してください。

Pythonの例 aiohttp:

aiohttp をインポートします。 asyncio をインポートします。 def check_proxy(proxy): try: aiohttp.ClientSession() をセッションとして同期します。 async with session.get('http://httpbin.org/ip', proxy=f"http://{proxy}", timeout=5) を resp として同期します。 resp.status == 200 の場合: proxy, True を返します。 except: pass proxy, False を返します。 async def main(proxy_list): results = await asyncio.gather(*(check_proxy(p) for p in proxy_list)) return dict(results) proxy_list = ['8.8.8.8:8080', '1.2.3.4:3128'] results = asyncio.run(main(proxy_list))

ヒント： ネットワーク禁止を回避するために同時接続を制限する（例： asyncio.セマフォ).

チェック頻度	リストサイズ	ヘルスチェック時間（非同期、100ワーカー）
時間単位	10,000	約2分
毎日	100,000	約20分

---

ローテーションと課題：鶴の舞

プロキシを均等に割り当てることで、プロキシの寿命を延ばすことができます。ローテーションポリシーを実装します。

• ラウンドロビン: 茶道のように、順番にサイクリングし、各ゲストに順番にサービスを提供します。
• 加重: 稼働率の高いプロキシを優先します。
• ランダム: 予測不可能なため、フィンガープリンティングを削減します。

Python ラウンドロビンの例:

コレクションから deque をインポートします。proxies = deque(['8.8.8.8:8080', '1.2.3.4:3128']) def get_next_proxy(): proxy = proxies.popleft() proxies.append(proxy) return proxy

ヒント： 失敗したプロキシをサイクルから削除し、クールダウン後に戻ります。

---

ブラックリスト管理：精密なプルーニング

一部のプロキシは機能しないか、罠（ハニーポット）になります。病気の枝を剪定するのと同じように：

• 自動ブラックリスト N 回連続して失敗した後。
• 一時的な禁止 一時的な問題の場合; 永久禁止 再犯のため。

サンプルポリシーテーブル:

失敗回数	アクション	禁止期間
3	一時的な禁止	1時間
10	永久禁止	無限

---

地理とコンプライアンスフィルタリング：地形を知る

特定の道は禁止されており、特定の土壌でのみ咲く花もあります。

• ジオフィルター: IP ジオロケーション (例: MaxMind) を使用します。
• コンプライアンス： 制限された地域からプロキシを削除します。

例: RUとCNのフィルタリング

blocked_countries = {'RU', 'CN'} フィルタリング = [p.countryがblocked_countriesにない場合、プロキシ内のpのp]

---

伐採と監視：竹の音

継続的な認識が予期せぬ事態を防ぎます。ログ:

• 成功率/失敗率
• 平均レイテンシ
• ブラックリストに登録されたプロキシ

サンプルログ出力:

タイムスタンプ	プロキシ	状態	レイテンシー（ミリ秒）
2024-06-17 10:00:00	8.8.8.8:8080	わかりました	120
2024-06-17 10:00:05	1.2.3.4:3128	失敗	—

---

自動化とメンテナンス：流れの流れ

旅程を自動化しますが、システムを定期的に管理します。

• 定期健康診断 (cron ジョブ、systemd タイマー)
• 自動インポート/エクスポート プロキシソースを更新する
• 警告 プールサイズが小さい場合

シェルの例:

# 1時間ごとにヘルスチェックを実行する 0 * * * * /usr/bin/python3 /home/user/check_proxies.py

---

要約表：必須プラクティス

練習する	目的	ツール/例
分類	効率的な選択	メタデータフィールド
ストレージ	高速検索	Redis、PostgreSQL
ヘルスチェック	デッドプロキシを削除する	aiohttp、asyncio
回転	均等な負荷分散	deque、重み付き
ブラックリスト管理	罠を避ける	自動禁止ロジック
地域/コンプライアンスフィルター	法務と効率	MaxMind、IP2Location
ログ記録と監視	継続的な洞察	ログファイル、ダッシュボード
オートメーション	手作業の手間を省く	cron、systemd、スクリプト

---

静かな日本庭園の手入れのように慎重に行うと、無料プロキシ リストの管理によって混乱を秩序に変えることができ、デジタル ジャーニーのセキュリティと効率の両方を確保できます。