Yüksek Hacimli Veri Kazıyıcılar Tarafından Kullanılan Proxy Kurulumu

"Kad vuk ovcu čuva, ne valja se čuditi kad Nestane vune."
(Kurt koyunu korursa, yünün kaybolmasına şaşırmayın.) Yüksek hacimli veri toplama dünyasında, veri akışlarınızı tek bir proxy'ye emanet etmek, sürünüzü kurtların eline teslim etmek gibidir. Dijital çobanların (hız sınırlamaları, CAPTCHA'lar, IP yasakları) üstesinden gelmek için Saraybosnalı bir satranç ustası kadar kurnaz bir proxy kurulumuna ihtiyacınız var.

---

Yüksek Hacimli Kazıyıcı Proxy Kurulumlarının Anatomisi

Vekil Türleri: Askerlerinizi Seçme

Proxy Türü	Hız	Anonimlik	Maliyet	Güvenilirlik	Kullanım Durumu Örneği
Veri merkezi	Yüksek	Orta	Düşük	Yüksek	Toplu kazıma, hassas olmayan
yerleşim	Akdeniz	Yüksek	Yüksek	Orta	E-ticaret, spor ayakkabı
İSS (Statik Çözünürlük)	Yüksek	Yüksek	Çok Yüksek	Çok Yüksek	Bilet satışları, yüksek güven gerektiren siteler
Mobil	Düşük	Çok Yüksek	Çok Yüksek	Düşük	Sosyal medya, spam önleme

Boşnak Alımı:
Veri merkezi proxy'leri Yugoslav Zastava arabaları gibidir: ucuzdur ve her yerde bulunur, ancak kolayca fark edilir. Konut proxy'leri ise İstanbul'daki bir Saraybosnalı gibi uyum sağlar; yerliler fark etmez, ancak daha pahalıdırlar.

Ana Sağlayıcılar:
– Veri merkezi: Paket Akışı, ProxyRack
- Yerleşim: Oksilablar, Luminati
– İSS: Akıllıproxy
– Mobil: ProxyLTE

---

IP Rotasyonu: Kafana Karıştırma

Dönen proxy'ler Yüksek hacimli veri toplama için kritik öneme sahiptir. Rotasyon olmadan, yasakların Bosna şakasındaki bir politikacıdan daha hızlı gelmesini bekleyebilirsiniz. İki ana strateji vardır:

1. İstek Başına Rotasyon: Her istekte IP'yi değiştir.
2. En iyisi: Agresif sitelerdeki oran sınırlamalarından kaçınmak.

3. Dezavantajı: Bazı siteler oturum çerezlerini takip eder ve oturumları kesintiye uğratır.

4. Oturum Rotasyonu (Sabit): Bir oturum boyunca aynı IP'yi koru, X dakika/istek sonrasında değiştir.

5. En iyisi: Giriş, alışveriş sepeti veya çerezleri koruma gerektiren siteler.

Örnek: Python + İsteklerle Dönen Konut Proxy'lerini Kullanma

istekleri içe aktar proxy = { 'http': 'http://kullanıcı:[email protected]:10000', 'https': 'http://kullanıcı:[email protected]:10000', } oturum = istekler.Oturum() oturum.proxy'ler.güncelleme(proxy) yanıt = oturum.al('https://hedefsite.com', zaman aşımı=10) yazdır(yanıt.durum_kodu)

İsteğe bağlı olarak: Her döngü yinelemesinde proxy sözlüğünü değiştirin.

---

Proxy Yönetim Mimarisi

Bosnalı Mühendislerin Favorisi: Dağıtılmış Proxy Ara Yazılımı

Mimari genellikle şunlardan oluşur:

• Merkezi Proxy Yöneticisi:
  Proxy havuzunu, yasaklama oranlarını, başarı/başarısızlık istatistiklerini izler. Durum için Redis veya PostgreSQL kullanılır.
• Kazıyıcı İşçiler:
  Yöneticiden proxy bilgilerini al, sonuçları raporla.
• Döner Ağ Geçidi (Opsiyonel):
  ProxyMesh veya Kalamar yerel rotatör olarak.
• Sağlık Kontrolcüsü:
  Ping proxy'leri, kara listeler yavaş veya yasaklı IP'leri.

Proxy Havuzu için Örnek Redis Şeması:

Anahtar	Değer Türü	Tanım
proxy'ler:aktif	Ayarlamak	Şu anda aktif olan IP'lerin listesi
proxy'ler:yasaklandı	Ayarlamak	Son zamanlarda yasaklanan IP'ler
proxy'ler:istatistikler	Doğramak	IP başına başarı/başarısızlık sayıları

---

Yasaklamaların Ele Alınması: “Bolje spriječiti nego liječiti”

Boşnak atasözünde dendiği gibi, önlem almak tedavi etmekten daha iyidir.
Tespit Teknikleri:

• HTTP Durum İzleme:
  403, 429 veya captcha = büyük ihtimalle yasak.
• İçerik Karmalaştırması:
  Geçerli HTML olarak gizlenmiş blokları tespit etmek için karma yanıt gövdesi.
• Zamanlama Analizi:
  Ani yavaşlamalar = olası yumuşak yasak.

Otomatik Yasak İşleme:

[403, 429]'daki yanıt.durum_kodu: # Proxy'yi etkin setten kaldır redis.srem('proxies:active', current_proxy) redis.sadd('proxies:banned', current_proxy)

---

Ölçekleme: Balkan Kaosu Olmadan Paralellik

• İş Parçacığı/İşlem Havuzları:
  Scrapy, İsteklerde Eşzamanlılık
• Dağıtılmış Görev Kuyrukları:
  Kereviz, RQ
• Kubernetes Dağıtımları:
  Her pod, ortam değişkenleri aracılığıyla yönetilen kendi proxy atamasını alır.

Örnek: Kubernetes Pod'larında Proxy Atama

apiVersion: v1 tür: Pod meta veri: ad: scraper-pod özelliği: kapsayıcılar: - ad: scraper görüntüsü: scraper:latest ortam: - ad: PROXY_ADDRESS değerFrom: configMapKeyRef: ad: proxy havuzu anahtarı: proxy adresi

---

Proxy Kimlik Doğrulaması ve Güvenliği

• Kullanıcı adı/Şifre
  Çoğu sağlayıcı HTTP temel kimlik doğrulamasını kullanır.
• IP Beyaz Listeleme:
  Bazıları belirli IP'lerden erişime izin verir; bunu sağlayıcınızın panosundan ayarlayın.

Güvenlik İpucu:
Proxy kimlik bilgilerini asla kaynak koduna sabitlemeyin. Ortam değişkenlerini veya gizli bilgi yönetimini kullanın (HashiCorp Kasası, AWS Secrets Manager).

---

Vekalet Listesi Hijyeni: Ön ödemeli olarak

• Düzenli Olarak Doğrulayın:
  Her X dakikada bir proxy'lere ping atın.
• Ölü/Yasaklıları Kaldır:
  Havuzdan otomatik budama.
• Coğrafi Hedefleme:
  Daha iyi bir başarı için hedef sitenin kullanıcı tabanına uygun proxy'leri kullanın (örneğin, ABD e-ticareti için ABD proxy'leri).

Doğrulama Komut Dosyası Örneği (Python):

istekleri içe aktar def is_proxy_alive(proxy_url): dene: resp = requests.get('https://httpbin.org/ip', proxies={'http': proxy_url, 'https': proxy_url}, zaman aşımı=5) return resp.status_code == 200 except Exception: return False

---

Proxy Havuzu Boyutu: Kurdunuz İçin Kaç Koyun Gerekir?

Hedef Bölge Saldırganlığı	Dakika Başına Talepler	Önerilen Proxy Sayısı
Düşük (Haberler, Bloglar)	<60	10-20
Orta (E-ticaret)	60–300	50-200
Yüksek (Spor Ayakkabı, Bilet)	>300	300+

Pratik Kural:
Yasaklanmaları önlemek için istenilen RPM'i IP başına güvenli RPM'e bölün.

---

Araçlar ve Çerçeveler

• Dağınık: Dahili proxy desteği, ara yazılım özelleştirmesi.
• Sürüngen: Akıllı dönen proxy API'si.
• ProxyBroker: Açık kaynaklı proxy toplama.
• GRequests: Proxy desteği ile asenkron istekler.

---

Bosna Savaş Odası: Proxy Kurulum Örneği

Senaryo: Agresif bir anti-bot ile ABD'li bir perakendeciden 100.000 ürün sayfasının taranması.

1. Sağlayıcı: Oxylabs'ın 1.000 adet dönen IP'li konut proxy'leri.
2. Proxy Yöneticisi: Redis DB canlı/yasaklanmış proxy'leri takip edecek.
3. Kazıyıcı: Her biri oturum başına bir proxy kullanan 20 Dockerize Scrapy örümceği.
4. Yasak Algılama: 403/429 ve içerik parmak izi.
5. Ölçekleme: Kubernetes üzerinden düzenlenen her bir pod'a gizli anahtarlar aracılığıyla proxy kimlik bilgileri atandı.

Anahtar Komutu:

scrapy crawl products -s HTTP_PROXY=http://user:[email protected]:10000

Pazi dobro:
IP havuzlarını denemeden asla bir proxy sağlayıcısına güvenmeyin, çünkü bazıları otlakta gerçekte olduğundan daha fazla koyuna sahip olma vaadinde bulunabilir.

---

Diğer Kaynaklar:

• Scrapy Proxy Ara Yazılım Belgeleri
• İsteklerle Dönen Proxy'ler
• Oxylabs'ın Proxy Yönetimi Rehberi
• Luminati Proxy Rotator API
• GitHub: Proxy Havuzu Yönetimi Örnekleri

---

Mostar köprüsündeki eski muhafızlar gibi, iyi ayarlanmış bir vekil kurulumu sizin en iyi savunma ve saldırı hattınızdır; çevik, güçlü ve her zaman bir sonraki hamleye hazır.