無料プロキシをWebクローラーに統合する方法

バザールを偵察する：デジタルスークにおける無料プロキシを理解する

アレッポの旧市場の迷路のような路地裏では、かつて商人たちが関税を回避して遠くの地へ至る秘密のルートを囁き合っていました。今日、ウェブクローラーは独自の経路、つまり無料プロキシを使ってデジタルメディナを巡り、現代のウェブサイトの厳重な監視を回避しています。無料プロキシをウェブクローラーに統合することは、技術的な巧妙さと文化的な適応の両方を必要とする行為であり、機知と他者が設定した境界への敬意のバランスを取る必要があります。

---

無料プロキシの種類：キャラバンのマッピング

プロキシタイプ	匿名レベル	スピード	信頼性	典型的な使用例
ウェブ	低い	高い	低い	基本的なサイトアクセス
翻訳	中くらい	中くらい	中くらい	安全なコンテンツスクレイピング
SOCKS4/5	高い	低い	低い	ファイアウォール、P2P経由のアクセス
透明	なし	高い	低い	クローリングには推奨されません

デジタル市場を巡回するウェブクローラーは、速度重視ならHTTPプロキシ、プライバシー重視ならHTTPS、柔軟性重視ならSOCKSなど、賢明な選択をしなければなりません。しかし、ベールをかぶった商人のように、無料プロキシはしばしば真意を隠しています。中にはハニーポットだったり、応答が遅かったりするものもあります。

---

無料プロキシの収集：デジタルスパイスを集める

私の故郷の語り部たちは、商人がスパイスを買う前にテストしていたことを思い出します。あなたもそうしなければなりません。

人気の無料プロキシソース:
– 無料プロキシリスト (free-proxy-list.net)
– プロキシスクレイプ
– スパイズワン

例: Pythonでプロキシリストを取得する

bs4からrequestsをインポートします。import BeautifulSoup def fetch_proxies(): url = 'https://free-proxy-list.net/' soup = BeautifulSoup(requests.get(url).text, 'html.parser') proxies = [] for row in soup.find('table', id='proxylisttable').tbody.find_all('tr'): tds = row.find_all('td') proxies.append(f"{tds[0].text}:{tds[1].text}") return proxies

サフランのサンプルを試してみるのと同じように、鍋に加える前に必ず品質をテストしてください。

---

ウェブクローラーとプロキシの統合

ステップ1: 基本的なプロキシローテーション

旧市街では、商人たちは盗賊から逃れるためにルートを変えていました。ウェブクローラーにとって、プロキシのローテーションは長生きの鍵となります。

import random proxies = fetch_proxies() def get_random_proxy(): return {'http': f'http://{random.choice(proxies)}', 'https': f'https://{random.choice(proxies)}'} # リクエストでの使用 response = request.get('https://example.com', proxies=get_random_proxy(), timeout=5)

ステップ2: プロキシ障害の処理

賢明な商人は、閉ざされた道には決して戻らない。同様に、悪質なプロキシを検出して破棄する。

def robust_request(url, proxies): for proxy in list(proxies): # 安全に反復処理するためにコピーを作成します try: response = requests.get(url, proxies={'http': proxy, 'https': proxy}, timeout=5) if response.status_code == 200: return response except Exception: proxies.remove(proxy) # 不正なプロキシを削除します raise Exception("No working proxies left.")

ステップ3: プロキシプールの管理

ルートが多い場合は整理が重要です。次のようなライブラリを使用してください。 リクエスト セッション アダプターを使用するか、カスタム プールを構築します。

プロキシプールテーブルの例

プロキシアドレス	最終確認日	成功回数	失敗回数	状態
192.168.1.1:8080	2024-06-10	12	2	アクティブ
10.10.10.2:3128	2024-06-09	0	5	非アクティブ

キャラバンのマスターが地図を更新するのと同じように、プールを継続的に更新します。

---

ホストを尊重する: スロットリングとヘッダー

祖母は私に、隣の家に長居してはいけないと教えてくれました。同様に、クローラーもリクエストをずらしたり、ヘッダーをローテーションさせて周囲に溶け込ませる必要があります。

import time headers_list = [ {'User-Agent': 'Mozilla/5.0 ...'}, {'User-Agent': 'Chrome/90.0 ...'}, # さらに追加 ] for url in url_list: headers = random.choice(headers_list) proxy = get_random_proxy() try: response = requests.get(url, headers=headers, proxies=proxy, timeout=5) time.sleep(random.uniform(1, 5)) # 例外を除き、敬意を持って遅延します。e: 続行します。# ブロックされている場合は次に進みましょう。

---

リスクとベストプラクティス

リスク	説明	緩和
IPブラックリスト	頻繁または攻撃的なリクエストは禁止の対象となります	プロキシをローテーションし、スロットル
データ傍受	悪意のあるプロキシがデータを盗聴する可能性がある	可能な場合はHTTPSを使用する
信頼できないプロキシ	多くの無料プロキシはすぐに消滅する	継続的に検証する
法的/倫理的懸念	一部のサイトではスクレイピングやプロキシの使用が禁止されています	robots.txtを確認し、遵守する

私の故郷では、信頼こそが通貨です。無料プロキシの寛大さやウェブサイトのおもてなしを悪用しないでください。

---

上級編：Scrapyとの統合

最新の Web スクレイピングのキャラバンである Scrapy は、プロキシをネイティブにサポートします。

設定.py

DOWNLOADER_MIDDLEWARES = { 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 1, 'myproject.middlewares.ProxyMiddleware': 100, }

ミドルウェア.py

ランダムクラス ProxyMiddleware(object): def __init__(self): self.proxies = fetch_proxies() def process_request(self, request, spider): request.meta['proxy'] = 'http://' + random.choice(self.proxies) をインポートします。

---

文化ノート：デジタルホスピタリティ

レヴァント地方では、客人は大切にされますが、ホストの慣習を尊重しなければなりません。無料プロキシを統合する際は、デジタルアダブを忘れないでください。スクレイピングは適度に行い、ヘッダーで意図を明確にし、デジタル環境は常に元の状態に戻してください。

---

このように、古いバザールの知恵はデジタルの世界で新たな命を吹き込まれ、Web クローラーで無料プロキシを適切に使用することをガイドします。