Bir uygulama gelen işleri bir thread pool’a gönderiyor:

ExecutorService executor = Executors.newFixedThreadPool(20);
executor.submit(task);

Normal yükte sorun yok.

Bir kampanya günü trafik beş katına çıkıyor. 20 thread yetişemiyor.

Uygulama bir süre çalışıyor gibi görünüyor. Sonra yanıt süreleri dakikalara çıkıyor. Sonra OutOfMemoryError.

Görünmeyen sınırsız kuyruk

newFixedThreadPool, arka planda sınırsız bir LinkedBlockingQueue kullanır.

Thread’ler meşgulken gelen her iş bu kuyruğa eklenir. Kuyruğun bir sınırı yoktur.

Saniyede 1000 iş geliyor ve sadece 200’ü işlenebiliyorsa, kuyruk her saniye 800 iş büyür. Bir dakika sonra 48 bin iş bekliyordur. Kuyruğun sonundaki işin işlenmesi dakikalar sürecektir.

O iş bir kullanıcı isteğine aitse, kullanıcı çoktan sayfayı kapatmıştır. Sistem, artık kimsenin beklemediği işleri işlemekle meşguldür.

Sınırsız kuyruk yükü emmez. Sadece gecikmeyi ve bellek kullanımını büyütür.

Little’s Law

Kuyruk teorisinin temel formüllerinden biri burada işe yarar:

L = λ × W

Sistemdeki ortalama iş sayısı, geliş hızı ile ortalama bekleme süresinin çarpımına eşittir.

Geliş hızı işleme kapasitesini aştığında, kuyruk sınırsız büyür ve bekleme süresi de onunla birlikte artar. Bu durumda sistemin dengeye gelmesinin tek yolu, gelen işlerin bir kısmının reddedilmesi veya yavaşlatılmasıdır.

Bounded queue

Kuyruğa bir sınır koymak, bu kararı açık hale getirir:

new ThreadPoolExecutor(
    20, 20, 0L, TimeUnit.MILLISECONDS,
    new ArrayBlockingQueue<>(500),
    new ThreadPoolExecutor.CallerRunsPolicy()
);

Kuyruk dolduğunda ne olacağını RejectedExecutionHandler belirler.

AbortPolicy işi reddeder ve exception fırlatır. Çağıran taraf hızlıca hata alır.

CallerRunsPolicy işi çağıran thread’in kendisinde çalıştırır. Bu, doğal bir geri basınç oluşturur. İş gönderen taraf yavaşlar, çünkü artık işi kendisi yapmaktadır.

Hangisinin doğru olduğu bağlama bağlı. Ama her iki durumda da sistem belleği tüketip çökmek yerine, kontrollü şekilde davranır.

Backpressure

Backpressure, tüketicinin üreticiye “yavaşla” diyebilmesidir.

Reactive Streams bu kavramı protokolün merkezine koyar. Tüketici kaç öğe işleyebileceğini talep eder, üretici en fazla o kadar gönderir. Project Reactor ve RxJava bu modeli uygular.

Mesaj kuyruklarında da benzer mekanizmalar var. RabbitMQ’da consumer prefetch değeri, tüketiciye aynı anda kaç onaylanmamış mesaj gönderileceğini sınırlar. Kafka’da consumer zaten pull modeliyle çalıştığı için kendi hızında okur.

HTTP katmanında ise backpressure’ın en açık hali 429 Too Many Requests veya 503 Service Unavailable cevaplarıdır.

Kuyruk uzunluğu bir metrik

Kuyruk boyutu ve kuyrukta bekleme süresi izlenmesi gereken en önemli metriklerden biri.

İşlem süresi normal görünse bile, kuyrukta bekleme süresi artıyorsa sistem kapasitesinin sınırına geliyor demektir. CPU yüzde 60’ta olsa bile.

Bir kuyruğun sürekli dolu olması, ya tüketici kapasitesinin artırılması ya da gelen yükün sınırlanması gerektiğini gösterir. Kuyruğu büyütmek bu ikisinden hiçbiri değildir.

Her sistemin bir kapasitesi var.

Sınırsız kuyruk bu kapasiteyi ortadan kaldırmaz. Sadece sistemin kapasitesini aştığı anı daha geç ve daha sert bir şekilde fark etmenize neden olur.