Bir sistemin kapasitesi saniyede 1000 istek.
Bir gün saniyede 1600 istek geliyor.
Sezgisel beklenti, 1000 isteğin başarılı, 600’ünün başarısız olması.
Gerçekte olan genellikle çok daha kötü. Bütün istekler yavaşlar. Yanıt süreleri timeout sınırını geçer. Client’lar tekrar dener. Yük daha da artar.
Birkaç dakika içinde başarılı istek sayısı 1000’den neredeyse sıfıra iner.
Aşırı yükün doğası
Kapasitenin üzerindeki her istek, sisteme bir bedel ödetir. Bir thread alır, bellek kullanır, veritabanı connection’ı için bekler.
Bu istekler zaten timeout’a uğrayacaksa, harcanan bütün kaynaklar boşa gider. Üstelik bu kaynaklar, başarıyla tamamlanabilecek isteklerden çalınmıştır.
Kapasite aşıldığında sistemin verimi düşer. Daha fazla iş, daha az sonuç demektir.
Erken reddetmek
Load shedding, sistem kapasitesine yaklaştığında yeni istekleri işlemeye başlamadan reddetmektir.
Reddetmek ucuzdur. Bir 503 Service Unavailable cevabı birkaç mikrosaniye sürer, veritabanına gitmez, thread tutmaz.
Kabul edilen istekler ise normal hızda işlenir.
Sonuç: 1600 isteğin 1000’i başarılı ve hızlı, 600’ü hızlıca reddedilmiş. Reddedilen kullanıcılar birkaç saniye sonra tekrar dener ve büyük ihtimalle başarılı olur.
Neye göre karar verilir?
En basit yöntem, eşzamanlı istek sayısını sınırlamaktır. Aynı anda işlenen istek sayısı belirli bir eşiği geçerse yenileri reddedilir.
Daha akıllı yöntemler, sabit bir eşik yerine sistemin anlık durumuna bakar. Netflix’in concurrency-limits kütüphanesi, TCP’nin tıkanıklık kontrolünden esinlenerek, yanıt süresi arttıkça eşzamanlılık limitini otomatik olarak düşürür.
Kuyruk süresi de iyi bir sinyal. Bir istek işlenmeye başlamadan önce kuyrukta 2 saniye beklediyse ve client’ın timeout’u 3 saniyeyse, o isteği işlemenin muhtemelen bir anlamı yoktur. Kuyrukta çok bekleyen istekleri işlemeden atmak, kaynakları hâlâ zamanında yanıt verilebilecek isteklere ayırır.
Öncelik
Her istek aynı değerde değildir.
Bir e-ticaret sitesinde ödeme isteği, öneri widget’ının isteğinden çok daha önemlidir. Aşırı yük altında öneriler kapatılıp ödemeler korunabilir.
Bunun için isteklerin önceliğine göre sınıflandırılması gerekir:
critical: checkout, payment, login
default: product, search, cart
sheddable: recommendations, analytics, prefetch
Kapasite sınırına yaklaşıldığında önce en düşük öncelikli istekler reddedilir.
Google’ın SRE kitabı, aşırı yük yönetimini anlatırken isteklerin kritiklik seviyesine göre etiketlenmesini ve bu bilginin servisler arasında taşınmasını öneriyor. Bir isteğin kritikliği, çağrı zinciri boyunca korunmalı.
Client’lar da işin parçası
Reddedilen istekler hemen tekrar denenirse, load shedding’in faydası kaybolur.
Bu yüzden 503 cevabıyla birlikte Retry-After header’ı göndermek ve client’ların exponential backoff ve jitter ile tekrar denemesi önemli.
Client tarafında retry budget kavramı da faydalı. Bir client, toplam isteklerinin örneğin yüzde 10’undan fazlasını retry olarak gönderemez. Sistem zorlandığında retry’lar yükü katlamaz.
Test edilmeli
Load shedding mekanizması, ancak gerçek bir aşırı yük anında devreye girer. Test edilmemiş bir mekanizmanın o anda doğru çalışacağına güvenmek zordur.
Yük testlerinde sistemi kapasitesinin üzerine çıkarmak ve davranışını gözlemlemek gerekir. Kapasite aşıldığında başarılı istek sayısı sabit kalıyor mu, yoksa düşüyor mu?
İyi tasarlanmış bir sistemin aşırı yük altındaki grafiği bir plato çizer. Kötü tasarlanmış bir sistemin grafiği ise bir uçurum.
Her isteği karşılamaya çalışmak cömert görünüyor.
Ama kapasitenin üzerindeki yükte, bazı isteklere hayır diyebilmek, geri kalanlara evet diyebilmenin tek yolu.
