01Çözüm 01 · Web scraping

Herkese açık veriyi ölçülü toplamak.

Bir scraping işinde proxy, isteklerin hangi ağdan çıktığını yönetmenizi sağlar; hedef sitenin kurallarını değiştirmez. Bu sayfa proxy türünü, istek hızını ve hata politikasını birlikte kurmayı anlatır.

Önerilen ürünler

Haftalık bir ilan raporu, tek ofis IP’si ve sabırsız bir hız sınırlayıcı.

Üç kişilik bir veri ekibi, iş ilanı yayımlayan herkese açık kariyer sayfalarından haftalık bir istihdam raporu hazırlıyor. Her pazartesi birkaç bin sayfa çekiliyor, ilan başlıkları ve şehir bilgisi ayrıştırılıyor, sonuç bir tabloya yazılıyor. İlk sürüm ofisin tek internet bağlantısından çalışıyordu.

Sorun verinin kendisinde değil, isteklerin tek bir adreste toplanmasındaydı: aynı IP’den gelen yoğun istek dalgaları sitelerin hız sınırlayıcılarına takıldı, bazı sayfalar 429 yanıtı döndürdü, birkaç site bölgeye göre farklı içerik gösterdi. Ekip istekleri bir residential havuza dağıttı, ana bilgisayar başına eşzamanlı bağlantıyı düşürdü ve hata durumunda geri çekilen bir kuyruk kurdu.

Proxy burada bir izin belgesi değildir. robots.txt dosyası ve sitenin kullanım koşulları hangi sayfaların toplanabileceğini belirlemeye devam eder; proxy yalnızca izin verilen işi daha dengeli bir ağ dağılımıyla yürütmeye yardım eder.

“Proxy isteğin nereden çıktığını değiştirir; hangi isteğin yapılmaya değer olduğuna siz karar verirsiniz.”

02Hangi proxy türü?

Bu senaryo için önerilen proxy türleri

Sıra, senaryoya uygunluğa göredir. Her ürünün neden uygun olduğu ve neye dikkat edilmesi gerektiği yan yana.

  1. 04Residential Proxyİlk öneri
    Neden uygun
    GB bazlı, 30 gün geçerli dönen havuz. Satıcı beyanına göre rotating ve sticky oturum ile ülke, eyalet ve şehir hedefleme sunar; birbirinden bağımsız çok sayıda sayfayı dağıtarak çekmeye uygundur.
    Dikkat edilecek
    Trafik GB üzerinden sayılır: görselleri, yazı tiplerini ve gereksiz betikleri indirmeyin. Ülke listesi yayımlanmamıştır; hedef ülkeyi satın almadan önce sorun.
    Satın Al
  2. 06Datacenter Proxy
    Neden uygun
    30, 100, 250 ve 1.000 IP’lik paketler 30 gün için satılır; satıcı beyanına göre trafik sınırsızdır. Veri merkezi adreslerine kısıt uygulamayan açık sayfa ve API’ler için ekonomik bir başlangıçtır.
    Dikkat edilecek
    Adresler barındırma ağı olarak sınıflandırılır ve bazı siteler bunlara farklı yanıt verir. Lokasyon sipariş sırasında seçilmez.
    Ürünü incele
  3. 03Rotating Mobil Proxy
    Neden uygun
    Mobil operatör havuzundan dönen çıkış adresleri. Bir sayfanın mobil ağdan nasıl göründüğünü doğrulamanız gerektiğinde kullanılır.
    Dikkat edilecek
    Türkiye GB paketleri tek seferlik satın alınır ve HTTP/HTTPS ile çalışır; SOCKS5 yalnız yurt dışı paketlerde belirtilir. Dönüş aralığı taahhüt edilmez.
    Ürünü incele

Satın alma ve ödeme saglamproxy.com üzerinden yapılır. Ayrıntılı paket ve fiyat tabloları için fiyatlandırma sayfasına bakın. Fiyatlar TRY cinsindendir ve vergiler hariçtir.

03Adım adım yaklaşım

Kurulumdan kayda kadar

  1. Kapsamı ve izni yazılı hâle getirin

    Her hedef için robots.txt dosyasını (RFC 9309) ve kullanım koşullarını okuyun; resmi bir API veya veri dışa aktarma seçeneği varsa onu tercih edin. Toplayacağınız alanları baştan listeleyin.

    User-agent: * · Disallow: /hesap/

  2. İstemcinizi dürüstçe tanıtın

    Ekibinizi ve iletişim adresinizi içeren açıklayıcı bir User-Agent kullanın. Site sahibi sizinle konuşabilmeli; rastgele tarayıcı kimliği üretmek sorunları gizler, çözmez.

    User-Agent: ilan-raporu/1.4 (+https://ornek.com/bot)

  3. Hızı ana bilgisayar başına sınırlayın

    Eşzamanlı bağlantıyı her alan adı için ayrı sınırlayın ve istekler arasına bekleme koyun. Proxy havuzu büyük olsa bile hedef sitenin kapasitesi aynıdır; yükü IP sayısıyla değil hedefe göre planlayın.

  4. 429 ve 503’te geri çekilin

    Yanıtta Retry-After başlığı varsa ona uyun; yoksa üstel bekleme ve küçük bir rastgele sapma kullanın, deneme sayısına üst sınır koyun. 401 ve 403 yanıtlarında durun: bunlar yeni bir IP ile tekrar denenecek hatalar değildir.

    HTTP/1.1 429 Too Many Requests · Retry-After: 120

  5. Rotating ile sticky oturumu işe göre seçin

    Birbirinden bağımsız sayfalar dönen adreslerle çekilebilir. Sayfalama veya çerez gerektiren adımlar aynı oturumda kalmalıdır; residential pakette sticky oturum satıcı beyanıdır, oturum süresi belirtilmez.

  6. Proxy hatasını hedef hatasından ayırın

    407 Proxy Authentication Required, proxy’ye bağlanamama ve proxy zaman aşımı sizin yapılandırmanızla ilgilidir; hedefin 4xx/5xx yanıtları ise siteyle. Yalnızca GET gibi tekrarı güvenli istekleri yeniden deneyin.

  7. Kaydı kimlik bilgisi olmadan tutun

    URL, durum kodu, süre ve proxy uç noktasının etiketi yeterlidir. KULLANICI:PAROLA içeren proxy adresini log satırına, hata raporuna veya depoya yazmayın; kimlik bilgilerini ortam değişkeninde saklayın.

FİG. 01 — Scraping hattı: iş kuyruğundan depoya

04Sorumlu kullanım

Sınırlar, senaryonun parçasıdır

Yapın

  • robots.txt ve kullanım koşullarında izin verilen sayfalarla sınırlı kalın.
  • Yalnızca işinize gereken alanları toplayın; kişisel veri içeren alanları ayıklayın.
  • Hedefin hız sınırlarına ve Retry-After başlığına uyun.
  • Site sahibi durmanızı istediğinde toplamayı durdurun.

Yapmayın

  • Giriş gerektiren veya erişimi kısıtlanmış içeriği izinsiz toplamayın.
  • Engelleme, hız sınırı veya insan doğrulama ekranlarını IP değiştirerek etkisiz kılmaya çalışmayın.
  • Telif hakkıyla korunan içeriği yeniden yayımlamak için kopyalamayın.
  • Hedef sunucuyu yavaşlatacak yoğunlukta istek göndermeyin.

Toplanan veride kişisel veri bulunuyorsa kişisel veri mevzuatı kapsamındaki yükümlülükler size aittir. Güvenlik ve sorumlu kullanım ilkelerinin tamamı

05Araçlar ve rehberler

Kurulumu doğrulayın, konuyu derinleştirin

Ücretsiz araçlar

Bilgi merkezinden

06Sık sorulan sorular

Web Scraping hakkında sorular

Hayır. Bir sayfanın toplanıp toplanamayacağını robots.txt, sitenin kullanım koşulları ve ilgili mevzuat belirler. Proxy yalnızca isteklerin hangi ağdan çıktığını değiştirir.

Bağımsız sayfaları çekerken dönen adresler yükü dağıtır. Sayfalama, çerez veya oturum gerektiren akışlarda aynı adreste kalmak gerekir. Residential pakette iki mod da satıcı beyanıdır; oturum süresi belirtilmez.

Hedef veri merkezi adreslerine kısıt uygulamıyorsa datacenter paketi daha ekonomiktir. Hedef ağ türüne göre farklı içerik gösteriyorsa veya bölgesel görünüm önemliyse residential havuz daha uygundur.

Hayır. 429, hedefin sizden yavaşlamanızı istediği anlamına gelir. Retry-After başlığına uyun, eşzamanlılığı düşürün ve bekleyin; aynı hızı yeni bir adresle sürdürmek hız sınırını etkisiz kılmaya çalışmaktır.