Kullanıcılar ürün listelerini CSV olarak yükleyebiliyor.
İlk implementasyon:
List<Product> products = csvReader.readAll(file);
productRepository.saveAll(products);
Test dosyası 500 satır. Her şey çalışıyor.
Bir müşteri 2 milyon satırlık bir dosya yüklüyor.
Uygulama birkaç dakika boyunca yanıt vermiyor. Sonra OutOfMemoryError ile çöküyor. Aynı pod’daki diğer kullanıcıların istekleri de etkileniyor.
Bütün dosyayı belleğe almamak
2 milyon satırın her biri için bir nesne oluşturmak, birkaç GB bellek demek. Üstüne JPA’nın persistence context’i her entity’yi takip ediyor.
İlk adım dosyayı akış halinde, satır satır okumak:
try (var reader = Files.newBufferedReader(path);
var parser = CSVFormat.DEFAULT.parse(reader)) {
for (CSVRecord record : parser) {
// satırı işle
}
}
Bellekte aynı anda sadece birkaç satır bulunur. Dosya boyutu ne olursa olsun bellek kullanımı sabit kalır.
Parça parça yazmak
Her satırı ayrı bir INSERT ve ayrı bir transaction ile yazmak çok yavaş. Bütün dosyayı tek transaction’da yazmak ise saatlerce açık kalan bir transaction ve dev bir rollback riski demek.
Orta yol, satırları gruplar halinde işlemek. Örneğin 1000 satırlık parçalar:
read 1000 rows → validate → batch insert → commit → clear
JDBC batch insert, 1000 satırı tek bir round-trip’te gönderir. Hibernate kullanılıyorsa hibernate.jdbc.batch_size ayarlanmalı ve her parçadan sonra persistence context temizlenmeli. Aksi halde bellek yine dolar.
Çok büyük hacimlerde PostgreSQL’in COPY komutu, batch insert’ten de belirgin şekilde hızlı. Veriyi önce geçici bir staging tablosuna COPY ile yüklemek ve sonra SQL ile doğrulayıp ana tabloya aktarmak, en hızlı yöntemlerden biri.
Hatalı satırlar
2 milyon satırın 312’si hatalı. Fiyat alanı boş, kategori kodu tanımsız, tarih formatı yanlış.
Bütün import’u ilk hatada durdurmak, kullanıcıyı dosyayı tekrar tekrar düzeltip yüklemeye zorlar. Her denemede sadece bir sonraki hatayı öğrenir.
Daha iyi bir deneyim, hatalı satırları atlayıp devam etmek ve sonunda bir hata raporu sunmak:
satır 1842: price boş
satır 9921: category 'ELK-99' bulunamadı
Hata raporu indirilebilir bir dosya olarak sunulursa, kullanıcı sadece hatalı satırları düzeltip tekrar yükleyebilir.
Tabii bazı durumlarda kısmi import kabul edilemez. Bu kararın kullanıcıya veya iş kuralına göre verilmesi gerekir.
Asenkron işleme
2 milyon satırlık bir import’un bir HTTP isteği içinde yapılmaması gerekir.
Dosya yüklenir, bir import işi oluşturulur ve kullanıcıya hemen cevap dönülür. İş arka planda işlenir. Kullanıcı ilerlemeyi görebilir:
Import #4412: 1,240,000 / 2,000,000 satır işlendi
Bu iş web isteklerini karşılayan pod’larda değil, ayrı worker’larda çalıştırılırsa, büyük bir import diğer kullanıcıların deneyimini etkilemez.
Kaldığı yerden devam
Import 1,2 milyonuncu satırda yarıda kesildi. Deploy oldu veya pod yeniden başladı.
Baştan başlamak hem zaman kaybı hem de kopya kayıt riski.
İşlenen son parçanın konumunu kalıcı olarak kaydetmek, işin kaldığı yerden devam etmesini sağlar. Ayrıca her satırın benzersiz bir anahtarla yazılması, örneğin ürün kodu ile upsert yapılması, aynı parçanın iki kez işlenmesini zararsız hale getirir.
Spring Batch bu desenleri, yani chunk tabanlı işleme, hata atlama, yeniden başlatma ve ilerleme takibini hazır olarak sunuyor. Basit import’lar için ağır gelebilir ama karmaşık ve kritik veri aktarımlarında tekerleği yeniden icat etmemeyi sağlıyor.
Dosya import’u bir özelliğin küçük bir parçası gibi görünür.
Ama test edilen dosya ile müşterinin yüklediği dosya arasındaki boyut farkı, genellikle production’daki ilk büyük sürpriz oluyor.
