Bir şirketin destek ekibi, ürün belgelerinde sık sık aynı bilgiyi aramak zorunda kalabilir. Dil modeline yalnızca soru sormak, kurumun güncel iç belgelerine erişimi yoksa eksik veya eski yanıtlar üretebilir. Retrieval-Augmented Generation (RAG), yanıt üretmeden önce ilgili kaynak parçalarını arayıp modele bağlam olarak verme yaklaşımıdır.

Akışı iki parçaya ayırın

Basit bir RAG sisteminde önce kaynaklar hazırlanır: izinli belgeler alınır, metin çıkarılır, parçalara ayrılır ve arama yapılabilecek biçimde indekslenir. Soru geldiğinde uygulama ilgili parçaları arar; ardından soruyla birlikte bu parçaları modele göndererek yanıt üretir. Vektör benzerliği aramalardan biridir; anahtar kelime araması veya ikisinin birleşimi de ihtiyaca göre kullanılabilir.

KOD
Belge → metin çıkarma → parçalara ayırma → indeks
Soru → yetkili kaynaklarda arama → ilgili parçalar → yanıt

Bu çizim kavramsaldır; belirli bir ürüne veya servise bağlı değildir. Metin çıkarma aşamasındaki eksikler sonraki bütün adımları etkiler. Taratılmış bir PDF için uygun OCR gerekebilir; tablo veya başlık yapısı kaybolursa arama doğru parçayı bulsa bile model gerekli ilişkiyi anlayamayabilir.

Kaynakların yetkisini belirleyin

Kullanıcının kendi organizasyonuna ait olmayan belgeleri aramada görmemesi gerekir. Yetki filtresini yalnızca modelin “başka kullanıcı verisini gösterme” talimatına bırakmayın. Kaynak araması, kimliği doğrulanmış kullanıcının erişebildiği belge kümesiyle sunucu tarafında sınırlandırılmalıdır. Önbellek, arama sonuçları ve loglar için de aynı veri sınırlarını değerlendirin.

Belgelere kimlik, bölüm, sürüm, güncellenme tarihi ve yetki kapsamı gibi metadata eklemek hem filtrelemeyi hem kaynak izlemeyi kolaylaştırabilir. Bu metadata’nın doğruluğu da yönetilmelidir; yanlış etiketlenmiş hassas bir belge yetkisiz arama sonucuna girebilir.

Arama kalitesi yanıt kalitesini etkiler

İlgili bilgi hiç bulunmamışsa modele “yalnızca bu kaynaklardan cevapla” demek yeterli olmayabilir. Arama sonucunun alakası düşükse kullanıcıya bilginin bulunamadığını söyleyen bir yol tasarlayın. Modelin alakasız parçalardan makul görünen cevap üretmesi, eksik cevaptan daha yanıltıcı olabilir.

Parça boyutu bir denge meselesidir: çok küçük parçalar gerekli bağlamı kaybedebilir, çok büyük parçalar ise alakasız metni artırabilir ve bağlam bütçesini tüketebilir. Başlıklarla paragraf sınırlarını dikkate alarak farklı seçenekleri test edin. Sadece aynı metni parçalara bölme stratejisini değiştirmeniz bile hangi parçaların bulunduğunu etkileyebilir.

Kaynak gösterimi ve güvenlik

Yanıtta gösterilen kaynakların gerçekten getirilen belgelere ait olup olmadığını uygulama tarafında kontrol edin. Bir bağlantının varlığı, kaynak metnin modelin her iddiasını desteklediği anlamına gelmez; önemli cevaplarda kaynak-paragraf ilişkisini de inceleyin.

Dış belgeler veya kullanıcıların yüklediği içerikler güvenilmeyen veri olarak ele alınmalıdır. Bir belgenin içinde uygulamaya talimat vermeye çalışan metinler bulunabilir. RAG tek başına prompt injection saldırılarını ortadan kaldırmaz; araç izinleri, kullanıcı yetkisi ve yan etki oluşturabilen işlemler model dışında kontrol edilmelidir.

Başlangıçta küçük ve bakımı kolay bir belge kümesiyle birkaç gerçekçi soru hazırlayın. Doğru parçanın bulunma oranını, kaynakların uygunluğunu ve kullanıcının cevabı doğrulayabilmesini inceleyin. Ardından belge güncellendiğinde veya silindiğinde indeksin nasıl güncelleneceğini test edin. İyi bir RAG deneyimi model kadar belge yönetimine de bağlıdır.

Kaynak: OWASP RAG Security.