Bazı işler cluster içinde sadece bir instance tarafından yapılmalıdır.

Bir kuyruğu sıralı olarak tüketmek. Dış bir sistemle tek bağlantı üzerinden senkronizasyon yapmak. Belirli bir kaynağı periyodik olarak taramak.

Üç instance aynı işi aynı anda yaparsa sonuç ya tekrarlanan işlem ya da çakışma olur.

Instance’lardan birinin “lider” olması ve işi sadece onun yapması gerekir.

Ama lider çökerse, bir başkasının devralması da gerekir.

Neden zor?

Lider seçimi basit görünür. İlk açılan instance lider olsun.

Ama dağıtık sistemlerde “lider çöktü” bilgisi kesin değildir. Lider gerçekten çökmüş olabilir. Ya da sadece ağ bağlantısı geçici olarak kopmuş veya uzun bir garbage collection pause’unda kalmış olabilir.

Diğer instance’lar liderin öldüğünü düşünüp yeni bir lider seçer. Eski lider kendine geldiğinde hâlâ lider olduğunu sanır.

Artık iki lider vardır. Buna split brain deniyor ve lider seçiminin asıl zorluğu bu durumu yönetmek.

Lease

En yaygın yaklaşım süreli bir kiralama, yani lease kullanmaktır.

Lider, paylaşılan bir kaynakta, örneğin bir veritabanı satırında veya bir koordinasyon servisinde, liderliğini belirli bir süre için kaydeder:

leader: instance-a
expires_at: 10:00:15

Lider bu süreyi düzenli olarak yeniler. Örneğin 15 saniyelik bir lease’i her 5 saniyede bir.

Lider çökerse yenileme durur. Süre dolduğunda diğer instance’lardan biri lease’i alır ve yeni lider olur.

Eski lider, lease’ini yenileyemediğini fark ettiğinde liderlik işini durdurmalıdır. Lease süresi dolmadan önce kendi işini bırakması, iki liderin aynı anda çalışma ihtimalini azaltır.

Kubernetes Lease

Kubernetes ortamında bu mekanizma hazır geliyor. coordination.k8s.io API grubundaki Lease kaynağı tam olarak bu amaçla tasarlanmış. Kubernetes’in kendi controller’ları da lider seçimini bu şekilde yapıyor.

Spring Cloud Kubernetes ve client-go kütüphaneleri bu Lease kaynağını kullanarak uygulama seviyesinde lider seçimi sağlıyor.

Veritabanı ile

Ayrı bir koordinasyon servisi yoksa, uygulamanın zaten kullandığı veritabanı da bu iş için kullanılabilir.

PostgreSQL’de session seviyesindeki advisory lock’lar basit bir yöntem:

SELECT pg_try_advisory_lock(42);

Lock’u alan instance liderdir. Bağlantısı koptuğunda lock otomatik olarak serbest kalır ve başka bir instance alabilir.

Dikkat edilmesi gereken nokta, lock’un belirli bir connection’a bağlı olması. Connection pool kullanılıyorsa, lider olan instance’ın bu lock’u tutan connection’ı havuza geri vermemesi gerekir.

Fencing

Lease, iki liderin aynı anda çalışmasını tamamen engellemez. Duraklayan bir eski lider, lease’inin dolduğunu fark edemeden bir işlem yapabilir.

Kritik işlemlerde, her liderlik dönemine artan bir numara vermek ve bu numarayı yapılan yazma işlemlerinde kontrol etmek bu riski ortadan kaldırır. Kaynak, daha eski bir dönem numarasıyla gelen yazmaları reddeder.

Gerçekten lider gerekiyor mu?

Lider seçimi sisteme ek bir hareketli parça ekler. Liderlik geçişleri sırasında kısa bir kesinti de olabilir.

Bazı durumlarda iş parçalara bölünerek her instance’a bir parça verilebilir. Kafka consumer group’larının partition dağıtımı buna bir örnek. Veritabanında SKIP LOCKED ile işleri dağıtmak bir diğeri.

İşin gerçekten tek bir noktadan yapılması gerekiyorsa lider seçimi doğru araç.

Ama “aynı iş iki kez yapılmasın” ihtiyacı çoğu zaman lider seçimi olmadan, işin kendisini tekrar edilebilir hale getirerek de çözülebiliyor.