「パンを持つ者は多くの問題を抱え、パンを持たない者は一つの問題を抱える。」 ウェブスクレイピングの世界では、プロキシはまさに糧です。プロキシがなければ、スクレイピングへの意欲はレート制限や禁止措置の壁に阻まれ、たちまち打ち砕かれてしまいます。かつてアレクサンドリアでろうそくの明かりの下でコーディングをしていた時に、先生が言っていたように、「記憶に残りたくないなら、門番に本当の顔を決して見せてはいけない」のです。Redditでスクレイピングする際に無料プロキシを使うことは、まるで何千ものマスクを被るのと同じようなものです。

Redditのスクレイピングの現状を理解する

Reddit は、熟練したゲートキーパーのように、いくつかの防御策を採用しています。
– レート制限: IP ごとのリクエストが監視されます。
– CAPTCHA について: 自動リクエストによって検証がトリガーされる場合があります。
– IP禁止: 繰り返される、または疑わしいアクティビティはブロックされます。

これらを回避するために、プロキシ（特に無料のもの）が仲介役として機能します。しかし、これらのマスクは脆弱です。無料のプロキシは遅く、信頼性が低く、寿命が短いことがよくあります。それでも、軽いスクレイピングやプロトタイピングには非常に役立ちます。

適切な無料プロキシの選択

すべてのプロキシが同じように偽造されているわけではありません。簡単な比較を以下に示します。

最前線からの教訓: 完全なスクレイピングを行う前に、必ずプロキシをテストしてください。以前、悪名高いフォーラムのプロキシリストに頼ったのですが、IPアドレスの半分がハニーポットだったことが判明し、スクレイパーはデジタル砂嵐に巻き込まれてしまいました。

無料プロキシの収集

無料の HTTP プロキシのリストを取得するための簡単な Python スニペットを次に示します。

bs4からrequestsをインポートします。import BeautifulSoup def get_free_proxies(): url = "https://free-proxy-list.net/" soup = BeautifulSoup(requests.get(url).text, "html.parser") proxies = set() for row in soup.find("table", id="proxylisttable").tbody.find_all("tr"): if row.find_all("td")[6].text == "yes": # HTTPSサポート proxy = ":".join([row.find_all("td")[0].text, row.find_all("td")[1].text]) proxies.add(proxy) return list(proxies) proxies = get_free_proxies() print(proxies[:5])

知恵: プロキシをローテーションしましょう。Redditの監視人の怒りを招かないように、1つのIPアドレスに長期間依存しないようにしてください。

プロキシローテーションを使用したスクレーパーの設定

熟練した職人は常に道具をローテーションさせます。Redditスクレイピングにはプロキシローテーターを使いましょう。

ステップバイステップ：ローテーションする無料プロキシでRedditをスクレイピングする

1. 依存関係をインストールする:
   シュ
pip インストールリクエスト beautifulsoup4

2. プロキシローテーターロジック:
   「`python
   ランダムにインポート
   インポート時間

   def fetch_with_proxy(url, プロキシ):
   範囲(5)での試行の場合:
   proxy = random.choice(プロキシ)
   試す：
   レスポンス = リクエスト.get(
   URL、
   プロキシ={“http”: f”http://{プロキシ}”, “https”: f”http://{プロキシ}”},
   ヘッダー={“User-Agent”: “Mozilla/5.0″}
   )
   response.status_code == 200の場合:
   応答テキストを返す
   except 例外をeとして:
   print(f”プロキシ {proxy} が失敗しました: {e}”)
   時間.スリープ(1)
   例外を発生させる(“すべてのプロキシが失敗しました”)

   サブレディットURL = “https://www.reddit.com/r/Python/new.json?limit=5”
   html = fetch_with_proxy(subreddit_url, プロキシ)
   印刷(html)
   “`

3. レート制限を尊重する:

4. リクエスト間に 2 ～ 5 秒待機します。
5. 人間の行動を模倣するためにタイミングをランダム化します。

Redditのスクレイピング対策

Redditの ロボット ある程度のクロールは許可されますが、API とサイトは不正使用から保護されます。

話かつて、熱心なインターン生が500台のプロキシをロードし、毎分1,000件のリクエストを送信しました。数時間のうちにすべてのプロキシがブラックリストに登録され、Redditのシャドウバンが私たちのIPアドレス範囲にまで及んでしまいました。そこから学んだ教訓は、忍耐と繊細さが力ずくの攻撃に勝るということです。

例: r/Python からタイトルを抽出する

以下は、ローテーションする無料プロキシを使用して新しい投稿のタイトルをスクレイピングする簡潔なスクリプトです。

jsonをインポートします。def get_new_python_posts(proxies): url = "https://www.reddit.com/r/Python/new.json?limit=10" html = fetch_with_proxy(url, proxies) data = json.loads(html) titles = [post['data']['title'] for post in data['data']['children']] return titles print(get_new_python_posts(proxies))

ヒントRedditは認証されていないユーザーには異なるコンテンツを提供する場合があります。より深いアクセスを得るには、OAuth2を使用した認証済みスクレイピングを検討してください。ただし、プロキシはHTTPSとCookieをサポートしている必要があることに注意してください。

リスクと軽減策

最後の逸話かつて、カイロに拠点を置くフィンテック企業のペネトレーションテスト中に、スクレイピングプロジェクトが停止したことがありました。技術的なエラーではなく、法的措置によるものです。常にコンプライアンスと倫理的な使用を徹底してください。不正に得たパンは、飢餓をもたらすだけです。

重要なポイント表

「賢い人は両足で川の深さを測ったりはしない。」 プロキシをサンダルのように、軽く履いて頻繁に履き替えましょう。Reddit のデジタル ナイル川の変わりやすい砂の上では、プロキシが最良の保護手段となります。