06Çözüm 06 · Veri toplama

Veri hattınız için öngörülebilir bir çıkış.

Otomasyon ve API tabanlı veri hatlarında proxy çoğu zaman bir dağıtım aracı değil, bir sabitleme aracıdır: iş ortağınızın izin listesine yazılacak tek bir adres, doğru protokol ve ölçülü bir yeniden deneme politikası.

Önerilen ürünler

Bulutta her gece değişen adres, iş ortağının izin listesinde tek bir satır.

Bir lojistik şirketi, iş ortaklarının sunduğu sevkiyat API’lerinden ve kamuya açık veri portallarından her gece veri çekip kendi veri ambarına yüklüyor. İşler bulutta zamanlanmış görevler olarak çalışıyor ve her çalıştırmada farklı bir çıkış adresi alıyor.

İş ortaklarından biri API erişimini yalnızca izin listesindeki IP adreslerine açıyor. Değişen bulut adresleri her hafta yeni bir destek talebine yol açıyordu. Ekip, veri hattının dış isteklerini sabit adresli bir datacenter proxy üzerinden geçirdi; iş ortağının listesine tek bir adres yazıldı. Kendi uygulamaları SOCKS5 destekleyen bir istemci kullandığı için bağlantıyı SOCKS5 ile kurdular; datacenter paketlerinde SOCKS5 desteği satıcı beyanıdır.

Hattın güvenilirliği proxy’den çok hata politikasına bağlıdır: zaman aşımları, sınırlı yeniden deneme, yinelenen kayıtların ayıklanması ve kimlik bilgisi içermeyen loglar.

“İyi bir veri hattında proxy görünmezdir; hata politikası görünür.”

02Hangi proxy türü?

Bu senaryo için önerilen proxy türleri

Sıra, senaryoya uygunluğa göredir. Her ürünün neden uygun olduğu ve neye dikkat edilmesi gerektiği yan yana.

  1. 06Datacenter Proxyİlk öneri
    Neden uygun
    30, 100, 250 ve 1.000 IP’lik paketler 30 gün için satılır; satıcı beyanına göre HTTP(S) ve SOCKS5 destekler ve trafik sınırsızdır. Sabit bir çıkış adresi gerektiren sunucudan sunucuya işler için doğal seçimdir.
    Dikkat edilecek
    Lokasyon sipariş sırasında seçilmez. Adresler barındırma ağı olarak sınıflandırılır; tüketici odaklı sitelerde farklı yanıt alınabilir.
    Satın Al
  2. 08HTTP & SOCKS5 Proxy
    Neden uygun
    İstemciniz yalnızca SOCKS5 veya yalnızca HTTP proxy destekliyorsa protokolü Türkiye ISP paketlerinde sipariş sırasında seçersiniz. SOCKS5 ile alan adı çözümlemesini proxy tarafına bırakabilirsiniz.
    Dikkat edilecek
    Ayrı bir ürün değil, bir protokol seçimidir; satın alma ISP Proxy sayfasından yapılır.
    Ürünü incele
  3. 07IPv6 Proxy
    Neden uygun
    Hedef servisler IPv6 destekliyorsa /64 alt ağlarından 100 ile 15.000 arası adres paketleri aylık satılır; çok sayıda ayrı istemci adresi gereken testlerde kullanılır.
    Dikkat edilecek
    Yalnızca HTTP(S) ile çalışır, SOCKS5 belirtilmemiştir. Hedefin AAAA kaydı yoksa bağlantı kurulamaz; önce DNS ile kontrol edin.
    Ürünü incele

Satın alma ve ödeme saglamproxy.com üzerinden yapılır. Ayrıntılı paket ve fiyat tabloları için fiyatlandırma sayfasına bakın. Fiyatlar TRY cinsindendir ve vergiler hariçtir.

03Adım adım yaklaşım

Kurulumdan kayda kadar

  1. Kaynağın erişim kuralını öğrenin

    API anahtarı, OAuth, IP izin listesi veya hepsi birden mi gerekiyor? Kaynağın belgelenmiş istek sınırlarını ve kullanım koşullarını hattın tasarımına baştan yazın.

  2. Çıkış adresini sabitleyin ve bildirin

    İzin listesi kullanan kaynaklar için sabit adresli bir proxy seçin ve adresi iş ortağına bildirin. Proxy sağlayıcısının kendi kimlik doğrulamasını (kullanıcı adı ve parola) kaynak API’nin kimlik doğrulamasıyla karıştırmayın.

  3. Protokolü istemciye göre seçin

    HTTP proxy, HTTPS istekleri CONNECT ile tüneller; SOCKS5 ise TCP bağlantısını iletir ve alan adı çözümlemesini proxy’ye bırakabilir. Kullandığınız kütüphanenin hangisini desteklediğine bakın.

    curl -x socks5h://KULLANICI:PAROLA@PROXY_ADRESI:PORT "https://api.ipify.org?format=json"

  4. Zaman aşımlarını ayrı ayrı tanımlayın

    Bağlantı kurma ve yanıt okuma için ayrı zaman aşımları belirleyin. Sınırsız bekleyen bir istek, gece çalışan bir hattın tamamını kilitleyebilir.

  5. Yeniden denemeyi sınırlayın ve geri çekilin

    Yalnızca geçici hatalarda (bağlantı kopması, 429, 502, 503, 504) üstel bekleme ile ve üst sınırlı sayıda yeniden deneyin. Retry-After başlığı varsa ona uyun; 4xx kimlik hatalarında hemen durun.

    bekleme: 1 sn → 2 sn → 4 sn → dur

  6. Yinelemeyi yükleme aşamasında çözün

    Yeniden denenen istekler aynı kaydı iki kez getirebilir. Kayıtları doğal anahtarla birleştirin (upsert) ve her çalıştırmaya bir kimlik verin.

  7. Logları temiz tutun

    Kaynak, durum kodu, süre ve çalıştırma kimliği yeterlidir. Proxy URL’sindeki KULLANICI:PAROLA kısmını ve API anahtarlarını loglara, hata izlerine veya bildirimlere yazmayın.

FİG. 06 — API / ETL hattı ve yeniden deneme döngüsü

04Sorumlu kullanım

Sınırlar, senaryonun parçasıdır

Yapın

  • Kaynağın kullanım koşullarına, istek sınırlarına ve lisansına uyun.
  • Erişim için verilen API anahtarlarını ve izin listesi adreslerini yalnızca o hat için kullanın.
  • Yalnızca işinize gereken alanları saklayın; kişisel veriyi en aza indirin.

Yapmayın

  • İzin listesi veya kimlik doğrulama gibi erişim kontrollerini dolaşmak için proxy kullanmayın.
  • Size verilmemiş API anahtarlarını veya oturum bilgilerini kullanmayın.
  • Kaynağın istek sınırını birden fazla adrese bölerek aşmaya çalışmayın.

Veri hattınız kişisel veri işliyorsa kişisel veri mevzuatı kapsamındaki yükümlülükler veri sorumlusuna aittir. Güvenlik ve sorumlu kullanım ilkelerinin tamamı

05Araçlar ve rehberler

Kurulumu doğrulayın, konuyu derinleştirin

Ücretsiz araçlar

Bilgi merkezinden

06Sık sorulan sorular

Veri Toplama hakkında sorular

Adres sabit kaldığı ve proxy kimlik bilgileri yalnızca sizin ekibinizde olduğu sürece makul bir düzendir. Kaynağın kendi kimlik doğrulamasını (API anahtarı, OAuth) yine de kullanın; izin listesi tek başına bir kimlik doğrulama değildir.

HTTP ve HTTPS istekleri yapan kütüphanelerin çoğu HTTP proxy destekler. SOCKS5, HTTP dışı TCP bağlantılarında ve alan adı çözümlemesini proxy tarafına bırakmak istediğinizde işe yarar. Hiçbiri trafiğe kendi başına şifreleme eklemez; HTTPS şifrelemesi uçtan uca devam eder.

Hayır. IPv6 üzerinden erişilebilen, yani AAAA kaydı olan hedeflerde çalışır ve yalnızca HTTP(S) ile kullanılır. Hedefi önce DNS sorgulama aracıyla kontrol edin.