Bir API’ye rate limit eklemek genellikle tek satırlık bir gereksinim olarak gelir:
Kullanıcı başına dakikada 100 istek.
Kulağa net geliyor.
Ama uygulamaya başladığınızda sorular çoğalır. Dakika nerede başlıyor? Kullanıcı kim? Birden fazla instance varsa sayaç nerede tutuluyor? Limit aşıldığında ne dönülüyor?
Fixed window
En basit yöntem her dakika için bir sayaç tutmaktır:
key: rate:user:42:202610021948
INCR → 37
EXPIRE 60
Sayaç 100’ü geçerse istek reddedilir.
Problemi pencere sınırlarında ortaya çıkar. Kullanıcı 19:48:59’da 100 istek, 19:49:00’da tekrar 100 istek gönderebilir. İki saniye içinde 200 istek. Limit kağıt üzerinde korunmuş ama backend iki katı yük almıştır.
Sliding window
Bu sınır problemini azaltmak için son 60 saniyeye bakılır.
Her isteğin zaman damgasını bir sorted set içinde tutmak en doğru sonucu verir ama yüksek trafikte bellek maliyeti ciddi olur.
Pratikte daha çok kullanılan yöntem iki pencereyi ağırlıklandırmaktır:
estimate = current_count
+ previous_count × (1 - elapsed_ratio)
Önceki dakikada 80 istek, mevcut dakikanın %25’i geçmiş ve şu ana kadar 30 istek varsa tahmini değer 30 + 80 × 0.75 = 90 olur.
Kesin değildir ama yeterince iyidir. Cloudflare da kendi rate limiting yaklaşımını anlatırken bu tür bir yaklaşımın gerçek trafikte çok düşük hata oranıyla çalıştığından bahsediyor.
Token bucket
Benim en sık tercih ettiğim model bu.
Bir kova düşünün. Belirli bir hızla token ile dolar, belirli bir kapasitesi vardır. Her istek bir token harcar. Token yoksa istek reddedilir.
capacity = 20
refill = 10 token / saniye
Bu model iki şeyi ayrı ayrı ifade edebiliyor: ortalama hız ve izin verilen ani artış.
Kullanıcı bir süre sessiz kaldıysa kova dolar ve kısa bir burst’e izin verilir. Sürekli yüksek hızda istek gönderirse refill hızına sabitlenir.
Gerçek kullanıcı davranışı da genellikle böyledir. Sayfa açıldığında birkaç istek aynı anda gider, sonra sessizlik olur.
Sayaç nerede tutulacak?
Tek instance’ta memory yeterli.
Birden fazla instance varsa her biri kendi sayacını tutarsa limit fiilen instance sayısıyla çarpılır. Bu yüzden sayaç genellikle Redis gibi paylaşılan bir yerde tutulur.
Burada atomiklik önemlidir. Önce okuyup sonra yazmak race condition oluşturur. Token bucket mantığını tek bir Lua script içinde çalıştırmak bu problemi ortadan kaldırır:
local tokens = redis.call('HGET', key, 'tokens')
-- refill hesapla, token düş, kaydet
Bir de şu karar verilmeli: Redis erişilemez olduğunda ne olacak? Fail-open mı, fail-closed mı?
Çoğu public API için rate limiter’ın çökmesi tüm API’yi durdurmamalı. Ama login veya OTP gibi brute force’a açık endpoint’lerde fail-closed daha doğru bir tercih olabilir.
Kime limit uyguluyoruz?
“Kullanıcı başına” ifadesi her endpoint için aynı anlama gelmez.
Login endpoint’inde kullanıcı henüz belli değildir. IP adresi kullanılabilir ama aynı ofisten veya mobil operatör NAT’ı arkasından gelen yüzlerce kullanıcı aynı IP’yi paylaşabilir. Bu durumda IP ve hedef hesap kombinasyonu daha anlamlıdır.
Bazı endpoint’ler diğerlerinden çok daha pahalıdır. Rapor üreten bir endpoint ile profil okuyan endpoint aynı maliyeti taşımaz. İstek sayısı yerine maliyet ağırlığı kullanmak burada işe yarar.
Reddederken iyi davranmak
Limit aşıldığında 429 Too Many Requests dönmek standarttır.
Ama client’a ne zaman tekrar deneyebileceğini söylemek de önemlidir:
HTTP/1.1 429 Too Many Requests
Retry-After: 12
RateLimit-Limit: 100
RateLimit-Remaining: 0
Retry-After olmadan client ne yapacağını bilmez ve genellikle hemen tekrar dener. Bu da rate limiter’ın engellemeye çalıştığı yükü yeniden üretir.
Rate limiting bir koruma mekanizması.
Ama iyi tasarlandığında aynı zamanda API’nin client’larla yaptığı bir sözleşme.
