“Ekmeği olanın çok derdi var, ekmeği olmayanın çok derdi var.” Web kazıma alanında, proxy'ler ekmeğinizdir; onlar olmadan, kazıma istekleriniz hız sınırları ve yasaklar duvarları tarafından hızla aç bırakılır. Öğretmenimin bir keresinde İskenderiye'de mum ışığında kodlarken söylediği gibi, "Hatırlanmak istemiyorsanız, kapıcıya asla gerçek yüzünüzü göstermeyin." Reddit'i kazırken ücretsiz proxy'leri kullanmak, dijital olarak binlerce maske takmaya eşdeğerdir.

Reddit'in Kazıma Manzarasını Anlamak

Reddit, deneyimli bir bekçi gibi, çeşitli savunmalar kullanıyor:
– Oran Sınırlaması: İstekler IP bazında izlenmektedir.
– CAPTCHA'lar:Otomatik istekler doğrulamayı tetikleyebilir.
– IP Yasakları: Tekrarlanan veya şüpheli aktivite bloklara neden olur.

Bunları aşmak için proxy'ler, özellikle de ücretsiz olanlar, aracı görevi görür. Yine de bu maskeler kırılgandır. Ücretsiz proxy'ler genellikle yavaş, güvenilmez ve kısa ömürlüdür. Yine de hafif kazıma veya prototipleme için paha biçilemezdirler.

Doğru Ücretsiz Proxy'leri Seçmek

Tüm proxy'ler eşit şekilde oluşturulmaz. İşte hızlı bir karşılaştırma:

Siperlerden alınan ders: Tam bir kazıma başlatmadan önce proxy'lerinizi her zaman test edin. Bir zamanlar kötü şöhretli bir forumdan bir proxy listesine güvenmiştim, ancak IP'lerin yarısının bal tuzağı olduğunu gördüm; kazıyıcım dijital bir kum fırtınasına sürüklendi.

Ücretsiz Proxy Toplama

İşte ücretsiz HTTP proxy'lerinin listesini almak için basit bir Python kodu:

bs4'ten istekleri içe aktar BeautifulSoup'u içe aktar def get_free_proxies(): url = "https://free-proxy-list.net/" soup = BeautifulSoup(requests.get(url).text, "html.parser") proxy'ler = set() soup.find("table", id="proxylisttable").tbody.find_all("tr") içindeki satır için: row.find_all("td")[6].text == "yes" ise: # HTTPS desteği proxy = ":".join([row.find_all("td")[0].text, row.find_all("td")[1].text]) proxy'ler.add(proxy) return list(proxies) proxy'ler = get_free_proxies() print(proxies[:5])

Bilgelik: Proxy'lerinizi döndürün. Reddit'in bekçilerinin gazabını davet etmemek için asla uzun süre aynı IP'ye güvenmeyin.

Kazıyıcınızı Proxy Rotasyonu ile Ayarlama

Deneyimli bir zanaatkar her zaman aletlerini döndürür. Reddit kazıma için bir proxy rotator kullanın.

Adım Adım: Reddit'i Dönen Ücretsiz Proxy'lerle Kazıma

1. Bağımlılıkları Yükle:
   ş
pip kurulum istekleri beautifulsoup4

2. Proxy Rotator Mantığı:
   “`piton
   rastgele içe aktar
   ithalat zamanı

   def fetch_with_proxy(url, proxy'ler):
   aralıktaki deneme için (5):
   proxy = random.choice(proxy'ler)
   denemek:
   yanıt = istekler.get(
   url,
   vekiller={“http”: f”http://{proxy}”, “https”: f”http://{proxy}”},
   başlıklar={“Kullanıcı Aracısı”: “Mozilla/5.0″}
   )
   eğer response.status_code == 200 ise:
   cevap.metinini döndür
   İstisna hariç:
   print(f”Proxy {proxy} başarısız oldu: {e}”)
   zaman.uyku(1)
   raise Exception(“Tüm proxy'ler başarısız oldu”)

   subreddit_url = “https://www.reddit.com/r/Python/new.json?limit=5”
   html = fetch_with_proxy(subreddit_url, proxy'ler)
   yazdır(html)
   “`

3. Saygı Oranı Sınırları:

4. İstekler arasında 2-5 saniye bekleyin.
5. İnsan davranışını taklit etmek için zamanlamayı rastgele ayarlayın.

Reddit'in Anti-Scraping Savunmalarının Ele Alınması

Reddit'in robotlar.txt biraz taramaya izin veriyor, ancak API'si ve sitesi kötüye kullanıma karşı koruma sağlıyor.

Hikaye: Bir keresinde, hevesli bir stajyer 500 proxy yükledi ve dakikada 1.000 istek gönderdi. Saatler içinde tüm proxy'ler kara listeye alındı ve Reddit'in gölge yasağı IP aralığımıza düştü. Ders: sabır ve incelik kaba kuvvetten daha iyidir.

Örnek: r/Python'dan Başlık Çıkarma

İşte dönen ücretsiz proxy'leri kullanarak yeni gönderi başlıklarını toplamak için kısa bir komut dosyası:

json'u içe aktar def get_new_python_posts(proxies): url = "https://www.reddit.com/r/Python/new.json?limit=10" html = fetch_with_proxy(url, proxies) data = json.loads(html) titles = [post['data']['title'] for post in data['data']['children']] return titles print(get_new_python_posts(proxies))

Uç: Reddit, kimliği doğrulanmamış kullanıcılara farklı içerikler sunabilir. Daha derin erişim için, OAuth2 ile kimliği doğrulanmış kazıma işlemini göz önünde bulundurun; ancak dikkatli olun, proxy'leriniz HTTPS ve çerezleri desteklemelidir.

Riskler ve Azaltma

Son Anekdot: Bir keresinde, Kahire merkezli bir fintech için kalem testi sırasında, kazıma projemiz teknik bir hatadan değil, yasal bir tepkiden dolayı durdu. Her zaman uyumluluğu ve etik kullanımı sağlayın. Dürüst olmayan bir şekilde kazanılan ekmek size sadece kıtlık getirir.

Önemli Noktalar Tablosu

"Akıllı adam nehrin derinliğini iki ayağıyla ölçmez." Proxy'lerinizin, hafif giyilen ve sık sık değiştirilen sandaletleriniz olmasına izin verin; onlar, Reddit'in dijital Nil'inin kaygan kumları üzerinde en iyi korumanızdır.