SLO (Service Level Objective), bir servisin belirli bir süre boyunca ulaşması hedeflenen güvenilirlik seviyesidir. “Son 30 günde başarılı isteklerin oranı en az yüzde 99,9 olmalı” gibi ölçülebilir bir cümleyle ifade edilir. “Sistem hızlı ve güvenilir olsun” gibi belirsiz hedeflerin yerine, ekiplerin üzerinde anlaşabileceği somut bir sayı koyar.
Google’ın Site Reliability Engineering yaklaşımıyla yaygınlaşan bu kavram, bence sadece büyük şirketler için değil. Birkaç servisi olan küçük bir ekip için de “ne zaman yeni özellik geliştirmeli, ne zaman güvenilirliğe odaklanmalı?” sorusuna net bir cevap veriyor.
SLI, SLO ve SLA arasındaki fark nedir?
Bu üç kavram sık karıştırılıyor.
| Kavram | Ne | Örnek |
|---|---|---|
| SLI | Ölçülen gösterge | Başarılı isteklerin toplam isteklere oranı |
| SLO | Gösterge için iç hedef | 30 günde yüzde 99,9 |
| SLA | Müşteriyle yapılan sözleşme | Yüzde 99,5’in altında iade |
SLI (Service Level Indicator) ölçtüğünüz şeydir. Bir oran olarak ifade edilmesi en kullanışlı halidir: iyi olayların toplam olaylara oranı.
SLO bu göstergeye koyduğunuz hedeftir. Ekibin kendi iç hedefidir.
SLA ise müşteriye verilen, ihlali halinde yaptırımı olan bir sözdür. SLA her zaman SLO’dan daha gevşek olmalı. İç hedefinizi kaçırdığınızda müşteriye verdiğiniz sözü hâlâ tutabiliyor olmanız gerekir.
İyi bir SLI nasıl seçilir?
SLI, kullanıcının deneyimini yansıtmalı. Sunucunun CPU kullanımı bir SLI değildir. Kullanıcı CPU’yu görmez, sayfanın açılıp açılmadığını görür.
En sık kullanılan SLI türleri:
- Erişilebilirlik: başarılı cevapların oranı.
5xxdönmeyen isteklerin toplam isteklere oranı gibi. - Gecikme: belirli bir sürenin altında tamamlanan isteklerin oranı. “İsteklerin yüzde 95’i 300 ms’nin altında.”
- Doğruluk: doğru sonuç üreten işlemlerin oranı. Bir veri işleme hattı için önemli.
- Tazelik: belirli bir süreden daha eski olmayan verinin oranı. Bir raporun veya arama index’inin güncelliği için.
Gecikme SLI’ını ortalama yerine eşik altındaki isteklerin oranı olarak tanımlamak önemli. Ortalama, yavaş isteklerin varlığını gizler. Bu konuyu yanıt süresi yüzdelikleri yazısında anlatmıştım.
SLI’ın nerede ölçüldüğü de önemli. Uygulama sunucusunda ölçülen başarı oranı, load balancer’da reddedilen veya hiç sunucuya ulaşamayan istekleri göremez. Load balancer veya API gateway seviyesinde ölçmek, kullanıcının gördüğüne daha yakındır.
SLO hedefi nasıl belirlenir?
İlk refleks yüzde 100 hedeflemektir. Ama yüzde 100 güvenilirlik hem imkansız hem de istenmeyen bir hedeftir.
İmkansızdır, çünkü kullanıcı ile servis arasındaki ağ, kullanıcının cihazı ve bağlantısı sizin kontrolünüzde değildir. Kullanıcı mobil bağlantısında zaten yüzde 99,5 erişilebilirlik yaşıyorsa, servisinizin yüzde 99,99 olması deneyimini fark edilir şekilde değiştirmez.
İstenmeyen bir hedeftir, çünkü her ek dokuz, katlanarak artan bir maliyet getirir.
| SLO | 30 günde izin verilen kesinti |
|---|---|
| %99 | 7 saat 12 dakika |
| %99,5 | 3 saat 36 dakika |
| %99,9 | 43 dakika 12 saniye |
| %99,95 | 21 dakika 36 saniye |
| %99,99 | 4 dakika 19 saniye |
Yüzde 99,99 hedefi, ayda 4 dakikalık bir kesinti bütçesi demek. Tek bir hatalı deploy’u fark edip geri almak bile bu süreyi aşabilir. Bu seviye, otomatik geri alma, çoklu bölge ve sürekli nöbet gerektirir.
Ben hedefi belirlerken geçmiş veriden başlamayı öneriyorum. Son üç ayda servis gerçekte ne kadar güvenilirdi? Kullanıcılar bu seviyeden şikayet ediyor muydu? Eğer etmiyorsa, hedefi mevcut seviyenin biraz altına koymak gerçekçi bir başlangıçtır.
Error budget nedir?
Error budget, SLO’nun izin verdiği hata miktarıdır. Yüzde 99,9 SLO, isteklerin yüzde 0,1’inin başarısız olabileceği anlamına gelir. Ayda 10 milyon istek alan bir servis için bu, 10.000 başarısız istek demektir.
Bu bütçe kavramı, SLO’yu sadece bir ölçüm olmaktan çıkarıp bir karar aracına dönüştürüyor.
Bütçe varsa, ekip risk alabilir. Yeni özellikler hızlıca deploy edilir, deneyler yapılır, büyük refactoring’ler production’a çıkar.
Bütçe tükendiyse, öncelik değişir. Yeni özellik deploy’ları yavaşlar veya durur. Ekip güvenilirliği artıracak işlere, testlere ve otomasyona odaklanır.
Bu mekanizmanın en değerli yanı, geliştirme hızı ile güvenilirlik arasındaki klasik tartışmayı veriye dayalı hale getirmesi. “Bu hafta deploy yapabilir miyiz?” sorusu artık bir görüş meselesi değil, kalan bütçeye bakılarak cevaplanan bir soru.
Error budget politikası
Bütçenin ne zaman ve nasıl uygulanacağı önceden yazılı olarak kararlaştırılmalı. Aksi halde bütçe tükendiğinde ilk deadline baskısında görmezden gelinir.
Basit bir politika şöyle olabilir:
- Bütçenin yüzde 50’si harcandığında ekip uyarılır ve son olaylar gözden geçirilir.
- Bütçe tükendiğinde, güvenlik düzeltmeleri ve güvenilirlik iyileştirmeleri dışında deploy yapılmaz.
- Tek bir olay bütçenin yüzde 20’sinden fazlasını tükettiyse, bir postmortem yazılır.
Bu politikanın ürün yönetimi tarafından da kabul edilmesi şart. Aksi halde mühendislik ekibinin tek taraflı kararı olarak kalır ve uygulanmaz. Güvenilirlik yatırımının iş tarafına nasıl anlatılabileceğini teknik borcu ürün ekibine anlatmak yazısında ele almıştım.
Örnek: bir ödeme API’si için SLO
Soyut kalmasın diye bir örnek üzerinden gideyim. Bir ödeme API’si ayda yaklaşık 6 milyon istek alıyor.
İki SLI tanımlıyoruz. Erişilebilirlik için, load balancer’da ölçülen ve 5xx ile sonuçlanmayan isteklerin oranı. Gecikme için, 800 ms’nin altında tamamlanan isteklerin oranı. Ödeme sağlayıcısına yapılan dış çağrı dahil olduğu için gecikme eşiği bilerek cömert tutuldu.
Son üç ayın verisi erişilebilirliğin yüzde 99,93, gecikme hedefinin ise yüzde 99,4 civarında gerçekleştiğini gösteriyor. Buna göre hedefleri şöyle koyuyoruz:
| SLI | SLO | 30 günlük bütçe |
|---|---|---|
| Erişilebilirlik | %99,9 | ~6.000 başarısız istek |
| Gecikme (< 800 ms) | %99 | ~60.000 yavaş istek |
Ayın ortasında hatalı bir deploy, 25 dakika boyunca isteklerin neredeyse tamamında hata üretiyor. Dakikada ortalama 140 istekle bu, kabaca 3.500 başarısız istek ve erişilebilirlik bütçesinin yüzde 58’i demek. Politika gereği olay için bir postmortem yazılıyor ve ayın geri kalanında büyük değişiklikler, daha dikkatli bir canary süreciyle çıkarılıyor.
Burada önemli olan, kararın kimsenin hissiyatına dayanmaması. Bütçenin ne kadarının harcandığı herkesin görebildiği bir sayı. Deploy hızının ne zaman düşürüleceği de önceden yazılmış.
SLO dashboard’unda neler olmalı?
Bir SLO’nun etkili olması için görünür olması gerekir. İyi bir dashboard birkaç soruyu tek bakışta cevaplar:
- Mevcut dönemde SLI’ın değeri ne ve hedefin neresinde?
- Bütçenin ne kadarı harcandı, ne kadarı kaldı?
- Bütçe hangi hızla tükeniyor? Bu hızla dönem sonuna ulaşabilecek mi?
- Bütçeyi en çok hangi olaylar veya hangi zaman aralıkları tüketti?
Son madde özellikle faydalı. Bütçenin büyük kısmı her gece aynı saatte çalışan bir toplu işlem sırasında tükeniyorsa, problem rastgele değil, sistematiktir.
Burn rate ile alarm kurmak
SLO’ların en pratik faydalarından biri, alarmları daha anlamlı hale getirmeleri.
Klasik alarmlar eşik bazlıdır: hata oranı yüzde 1’i geçerse alarm çal. Bu yaklaşım iki yönde hata yapar. Kısa ve zararsız sıçramalarda gereksiz yere uyandırır, uzun süren düşük seviyeli problemleri ise hiç fark etmez.
Burn rate, bütçenin hangi hızla tükendiğini ölçer. Burn rate 1, bütçenin tam dönem sonunda biteceği hızdır. Burn rate 14,4 ise, 30 günlük bütçe yaklaşık 2 günde biter.
Google’ın SRE çalışma kitabı, farklı pencereler ve burn rate eşikleriyle kurulan çok pencereli alarmları öneriyor. Örneğin son 1 saatte burn rate 14,4’ü geçerse sayfa gönder, son 6 saatte 6’yı geçerse yine sayfa gönder, son 3 günde 1’i geçerse bilet aç. Bu yaklaşımın ayrıntıları SLO tabanlı alarm rehberinde anlatılıyor.
Sonuç, kullanıcıları gerçekten etkileyen problemlerde hızlı, zararsız dalgalanmalarda sessiz bir alarm sistemi.
Küçük bir ekip SLO’ya nereden başlamalı?
Bütün servisler için kapsamlı SLO’lar tanımlamaya çalışmak, genellikle hiç başlamamakla sonuçlanıyor. Benim önerdiğim sıra şu:
- Kullanıcılar için en kritik bir veya iki akışı seç. Örneğin giriş ve ödeme.
- Her biri için bir erişilebilirlik ve bir gecikme SLI’ı tanımla.
- Son üç ayın verisine bakarak gerçekçi bir hedef koy.
- Bir dashboard ile SLO’yu ve kalan bütçeyi görünür yap.
- Burn rate tabanlı tek bir alarm kur.
- Bir ay sonra hedefi ve SLI tanımını gözden geçir.
SLI’ları ölçmek için ayrı bir altyapıya gerek yok. Prometheus’ta HTTP istek sayaçları ve histogramları zaten varsa, SLO hesabı birkaç sorgudan ibaret. Bu metriklerin nasıl toplandığını log, metric ve trace yazısında anlatmıştım.
Sık yapılan hatalar
- Çok fazla SLO tanımlamak. Her servis için onlarca hedef, hiçbirinin takip edilmemesiyle sonuçlanır.
- Kullanıcıyı yansıtmayan SLI’lar seçmek. Veritabanı CPU’su veya pod sayısı gibi.
- Hedefi bir kez koyup hiç gözden geçirmemek.
- Bütçe tükendiğinde hiçbir şeyin değişmemesi. Politika uygulanmıyorsa SLO sadece bir rapordur.
- SLO’yu ekibi cezalandırmak için kullanmak. Amaç suçlu bulmak değil, risk hakkında ortak bir dil oluşturmak.
Kavramların orijinal ve en kapsamlı anlatımı Google’ın ücretsiz yayınladığı Site Reliability Engineering kitabının SLO bölümünde yer alıyor.
Güvenilirlik her zaman daha fazlası istenebilecek bir şey. SLO’nun asıl değeri, “yeterince güvenilir” seviyesini açıkça tanımlayarak, ekibin geri kalan zamanını kullanıcılar için değer üreten işlere ayırabilmesini sağlamasında.
