Şu kod ilk bakışta masum görünür:
orderRepository.save(order);
eventPublisher.publish(new OrderCreated(order.getId()));
Önce siparişi kaydediyoruz.
Sonra diğer servislere haber veriyoruz.
Peki save başarılı olduktan sonra uygulama publish çağrısından önce kapanırsa ne olur?
Sipariş veritabanında vardır.
Ama stok servisi, fatura servisi ve bildirim servisi bu siparişten hiç haberdar olmaz.
Sırayı ters çevirmek de çözüm değildir. Bu sefer event gider ama transaction rollback olabilir. Diğer servisler var olmayan bir sipariş için iş yapmaya başlar.
Bu probleme dual write deniyor. İki farklı sisteme yazıyoruz ve ikisini aynı atomik işlem içinde tutamıyoruz.
Neden distributed transaction kullanmıyoruz?
Teoride XA veya two-phase commit ile veritabanı ve broker aynı transaction’a sokulabilir.
Pratikte çoğu modern broker bunu desteklemiyor. Destekleyenlerde de coordinator’ın kendisi yeni bir arıza noktası haline geliyor. Lock süreleri uzuyor, throughput düşüyor, operasyon zorlaşıyor.
Bu yüzden çoğu sistem başka bir yol seçer: atomikliği tek bir yere, yani veritabanına bırakmak.
Outbox tablosu
Fikir basit.
Event’i doğrudan broker’a göndermek yerine aynı transaction içinde bir tabloya yazarız:
BEGIN;
INSERT INTO orders (id, customer_id, total)
VALUES (...);
INSERT INTO outbox (id, aggregate_id, type, payload, created_at)
VALUES (...);
COMMIT;
Ya ikisi birden yazılır ya da hiçbiri.
Artık “sipariş var ama event yok” durumu mümkün değildir. Event henüz gönderilmemiş olabilir ama kaybolmamıştır.
Relay
Outbox tablosundaki kayıtları broker’a taşıyan ayrı bir süreç gerekir.
İki yaygın yaklaşım var.
Birincisi polling:
SELECT * FROM outbox
WHERE published_at IS NULL
ORDER BY created_at
LIMIT 100
FOR UPDATE SKIP LOCKED;
Basit, anlaşılır, çoğu proje için yeterli. SKIP LOCKED sayesinde birden fazla relay instance’ı aynı satırları kapışmadan çalışabilir.
İkincisi change data capture. Debezium gibi bir araç veritabanının transaction log’unu okur ve outbox’a eklenen satırları event’e dönüştürür. Polling yükü yoktur, gecikme düşüktür. Ama operasyonel olarak daha ağır bir parçadır.
Ben genellikle polling ile başlamayı öneriyorum. Gecikme veya veritabanı yükü gerçekten problem olduğunda CDC’ye geçmek zor değil.
At-least-once kaçınılmazdır
Relay mesajı broker’a gönderdi.
published_at alanını güncellemeden önce kapandı.
Yeniden başladığında aynı mesajı tekrar gönderecek.
Outbox pattern exactly-once delivery sağlamaz. At-least-once sağlar.
Bu yüzden tüketici tarafı idempotent olmalıdır. En pratik yöntem event ID’yi bir processed_events tablosunda tutmak:
INSERT INTO processed_events (event_id)
VALUES (:id)
ON CONFLICT DO NOTHING;
Satır eklenmediyse event daha önce işlenmiştir. Tüketici işi atlar.
Burada önemli olan, bu kontrolün de tüketicinin kendi iş transaction’ı içinde yapılmasıdır. Aksi halde aynı problemi bu sefer karşı tarafta yaşarız.
Sıralama
Outbox kayıtları created_at ile okunur ama birden fazla relay varsa sıralama garantisi zayıflar.
Çoğu durumda global sıralamaya ihtiyaç yoktur. Önemli olan aynı aggregate’e ait event’lerin sırasıdır. OrderCreated event’inin OrderCancelled event’inden sonra işlenmesi gerçek bir problemdir.
Kafka kullanıyorsanız mesaj key’i olarak aggregate_id vermek bu sırayı partition seviyesinde korur. Relay tarafında da aynı aggregate’e ait kayıtların tek bir worker tarafından işlenmesi gerekir.
Tablo büyür
Unutulan bir detay: outbox tablosu sürekli büyür.
Gönderilmiş kayıtları belirli bir süre sonra silen veya arşivleyen bir job gerekir. Aksi halde birkaç ay sonra relay sorgusunun yavaşladığını fark edersiniz. published_at IS NULL koşuluna uygun bir partial index de işleri ciddi şekilde hızlandırır.
Outbox pattern parlak bir teknoloji değil.
Bir tablo, bir sorgu ve biraz disiplin.
Ama “veritabanına yazdım, event’i gönderemedim” cümlesini production loglarında görmemenin en sade yolu bu.
