Dağıtık sistemlerde ilginç bir gerçek var.

Tamamen çöken bir servis, yavaş çalışan bir servisten daha az zarar verir.

Çöken servise yapılan çağrı hızlıca hata alır. Çağıran taraf bunu yakalar ve devam eder.

Yavaş servise yapılan çağrı ise bekler.

Thread bekler. Connection bekler. Request bekler.

Cascading failure

Bir öneri servisinin yanıt süresinin 50 ms’den 10 saniyeye çıktığını düşünün.

Ürün sayfası her istekte bu servisi çağırıyor. Ürün servisinin 200 thread’i var.

Saniyede 50 istek geliyorsa, birkaç saniye içinde 200 thread’in tamamı öneri servisinden cevap beklemeye başlar.

Artık ürün servisi yeni istekleri kabul edemez. Sepet, ödeme, arama gibi öneri servisiyle hiçbir ilgisi olmayan endpoint’ler de cevap veremez hale gelir.

Ürün servisini çağıran gateway de aynı şekilde tıkanır.

Sistemin en önemsiz parçası, en önemli parçalarını aşağı çeker.

Önce timeout

Circuit breaker’dan önce konuşulması gereken şey timeout’tur.

Timeout tanımlanmamış bir HTTP client çağrısı, dağıtık sistemdeki en tehlikeli satırlardan biridir. Bazı client’ların varsayılan timeout değeri sonsuzdur.

Her dış çağrının bir üst süre sınırı olmalı. Bu sınır da tahmin edilerek değil, gerçek latency dağılımına bakılarak belirlenmeli. Normalde p99’u 120 ms olan bir servis için 10 saniyelik timeout koruma sağlamaz.

Circuit breaker

Timeout tek bir çağrıyı korur. Circuit breaker ise bir bağımlılığın genel durumunu takip eder.

Üç durumu vardır:

Closed: Çağrılar normal şekilde geçer. Hata oranı izlenir.

Open: Hata veya yavaş çağrı oranı eşiği geçmiştir. Çağrılar bağımlılığa hiç gönderilmeden anında reddedilir.

Half-open: Bekleme süresi dolduktan sonra sınırlı sayıda deneme çağrısı geçirilir. Başarılı olurlarsa devre kapanır, olmazlarsa tekrar açılır.

Resilience4j ile tipik bir konfigürasyon:

resilience4j.circuitbreaker.instances.recommendation:
  slidingWindowSize: 50
  failureRateThreshold: 50
  slowCallDurationThreshold: 500ms
  slowCallRateThreshold: 50
  waitDurationInOpenState: 30s

Buradaki slowCallRateThreshold değeri genellikle gözden kaçar. Breaker sadece hatalara değil, yavaş cevaplara da tepki verebilmelidir. Yukarıdaki senaryoda servis hata vermiyor, sadece yavaş.

Devre açık olduğunda iki şey kazanılır. Çağıran taraf thread’lerini korur. Zorlanan servis de üzerine gelen yükten kurtulur ve toparlanma fırsatı bulur.

Fallback

Devre açıkken ne döneceğiz?

Bu teknik bir karar değil, ürün kararıdır.

Öneri servisi için boş bir liste veya önceden cache’lenmiş popüler ürünler dönmek gayet kabul edilebilir. Kullanıcı muhtemelen farkı bile görmez.

Ödeme servisi için ise sahte bir başarılı cevap dönmek kabul edilemez. Burada açık bir hata göstermek doğru davranıştır.

Her bağımlılık için şu soru sorulmalı: bu servis yokken uygulama hangi deneyimi sunabilir?

Bulkhead

Gemilerde gövde bölmelere ayrılır. Bir bölme su alırsa diğerleri etkilenmez.

Yazılımda aynı fikir kaynakları bağımlılıklara göre ayırmaktır. Öneri servisi çağrıları için ayrı ve sınırlı bir thread pool veya eşzamanlı çağrı limiti tanımlanır:

recommendation: max 20 concurrent calls
payment:        max 50 concurrent calls

Öneri servisi kilitlense bile en fazla 20 kaynağı tüketebilir. Ödeme akışı çalışmaya devam eder.

Circuit breaker’ın devreye girmesi için bir süre hata biriktirmesi gerekir. Bulkhead ise o süre içinde verilecek zararı sınırlar. İkisi birlikte kullanıldığında anlamlıdır.

Retry ile birlikte dikkat

Retry, circuit breaker ve timeout’un birbirine göre konumu önemlidir.

Retry breaker’ın dışında olursa, açık devreye karşı boşuna tekrar denemeler yapılır. Toplam timeout da retry sayısıyla birlikte düşünülmelidir. Üç deneme ve 2 saniyelik timeout, kullanıcının 6 saniye beklemesi demektir.

Dayanıklılık kütüphaneleri bu araçları hazır sunuyor.

Ama hangi bağımlılığın kritik olduğunu, hangisinin olmadan yaşanabileceğini kütüphane bilemez. Bu kararı sistemin sahibi vermeli.