Yapay Zekâ Çıktıları Nasıl Test Edilir? Prompt Evaluation ve LLM Evals Rehberi

Bir yapay zekâ sisteminden bir kez iyi cevap almak, o sistemin güvenilir olduğu anlamına gelmez. Aynı prompt farklı girdilerde, farklı kullanıcı senaryolarında veya model güncellendiğinde beklenmedik sonuçlar üretebilir.

Bu nedenle yapay zekâ ile gerçek bir ürün veya iş süreci geliştirirken yalnızca “iyi bir prompt yazmak” yeterli değildir. Prompt'un farklı koşullarda ne kadar tutarlı çalıştığını ölçmek, hatalarını görünür hale getirmek ve yapılan değişikliklerin sonucu gerçekten iyileştirip iyileştirmediğini test etmek gerekir.

Bu süreç genellikle prompt evaluation, kısaca eval olarak adlandırılır.

OpenAI, eval yaklaşımını iş dünyası açısından “Specify → Measure → Improve”, yani beklenen sonucu tanımla, ölç ve iyileştir döngüsüyle açıklıyor. Anthropic de eval'leri yapay zekâ sistemine belirli girdiler verip çıktının başarı kriterlerine göre ölçülmesi olarak tanımlıyor.

Başka bir ifadeyle:

Prompt engineering, yalnızca prompt yazmak değil; çıktıyı ölçmek ve sistemi sistematik biçimde geliştirmektir.

Bu ayrımın neden önemli olduğunu Serkan Arıkuşu'nun “Prompt Mühendisliği: Nedir ve Ne Değildir?” yazısında daha detaylı inceleyebilirsiniz.

Prompt Evaluation Nedir?

Prompt evaluation, bir yapay zekâ modeline verilen prompt'un belirli görevleri ne kadar başarılı, tutarlı ve güvenilir biçimde yerine getirdiğini sistematik olarak ölçme sürecidir.

En basit haliyle üç parçadan oluşur:

Girdi → Yapay zekâ çıktısı → Başarı kriteri

Örneğin müşteri e-postalarını sınıflandıran bir AI sistemi düşünelim.

Prompt:

Gelen müşteri talebini “Teknik Sorun”, “Fatura”, “İptal” veya “Diğer” kategorilerinden birine sınıflandır.

Bu prompt beş örnekte doğru çalıştı diye üretime hazır kabul edilmemelidir.

Gerçek test setinde:

• kısa ve belirsiz mesajlar,

• birden fazla problemi aynı anda içeren talepler,

• yazım hataları,

• farklı diller,

• beklenmeyen kullanıcı ifadeleri

gibi durumlar da bulunmalıdır.

Ardından sistemin verdiği cevaplar beklenen sonuçlarla karşılaştırılır.

Prompt evaluation'ın amacı tam olarak budur:

“Bu prompt bana iyi görünüyor.”

yerine:

“Bu prompt test setimizde yüzde kaç başarı gösteriyor ve hangi durumlarda hata yapıyor?”

diyebilmek.

Prompt Evaluation Neden Önemlidir?

Bir prompt'u gözle değerlendirirken genellikle birkaç örnek üzerinde çalışırız. Prompt'u yazarız, modele göndeririz, sonucu beğenmezsek birkaç kelime değiştiririz ve tekrar deneriz. Bu yaklaşım bireysel kullanımda çoğu zaman yeterlidir.

Ancak bir prompt:

• müşteri hizmetleri sisteminde,

• kurumsal bilgi asistanında,

• belge sınıflandırmada,

• yazılım geliştirme sürecinde,

• finansal analizde,

• içerik üretim sisteminde

yüzlerce veya binlerce kez kullanılacaksa durum değişir.

Bir değişiklik bazı örnekleri iyileştirirken başka örnekleri bozabilir. Örneğin modelin daha kısa cevap vermesi için prompt'a yeni bir talimat eklediğinizde çıktılar daha okunabilir hale gelebilir fakat önemli ayrıntılar kaybolabilir.

Bunu yalnızca birkaç manuel denemeyle fark etmek zordur. Bu nedenle profesyonel prompt geliştirmede şu döngü çok daha sağlıklıdır:

Prompt oluştur → test et → hataları incele → değiştir → tekrar test et

OpenAI'nin güncel model geliştirme rehberlerinde de prompt değişikliklerinden önce bir eval baseline oluşturulması ve değişikliklerin ölçülebilir testler üzerinden karşılaştırılması öneriliyor.

Başarı Kriterlerinin Belirlenmesi

Bir AI çıktısını test edebilmek için önce “iyi çıktı”nın ne olduğunu tanımlamak gerekir. Bu adım beklenenden daha zordur.

Örneğin:

“İyi bir müşteri yanıtı üret.”

ölçülebilir bir başarı kriteri değildir.

Bunun yerine iyi bir yanıt şu şekilde tanımlanabilir: Yanıt doğru bilgi içermeli, müşteri sorusunu doğrudan cevaplamalı, şirket politikasına aykırı taahhütte bulunmamalı, 150 kelimeyi geçmemeli ve profesyonel bir ton kullanmalıdır.

Artık ölçebileceğimiz bir yapı ortaya çıkar. Yapay zekâ sistemlerinde kalite çoğu zaman tek boyutlu değildir. Aynı çıktıyı şu açılardan ayrı ayrı değerlendirmek gerekebilir:

• Doğruluk: Verilen bilgi doğru mu?

• Tamlık: Sorunun gerekli bütün parçalarını yanıtlıyor mu?

• Talimat uyumu: Prompt'taki kuralları izliyor mu?

• Format: Beklenen JSON, tablo veya metin yapısını koruyor mu?

• Ton: İstenen iletişim biçimine uygun mu?

• Güvenlik: Paylaşılmaması gereken bilgi veya riskli içerik üretiyor mu?

Bu nedenle “iyi cevap” için tek bir puan yerine bir değerlendirme rubriği oluşturmak daha sağlıklı olabilir.

Eval Seti Oluşturma

Bir prompt'u test etmek için kullanılacak örnekler bütününe eval seti veya test seti denilebilir. İyi bir eval seti yalnızca sistemin kolayca çözebildiği örneklerden oluşmamalıdır. Gerçek kullanım dünyasını temsil etmelidir.

Bir insan kaynakları AI asistanı için örneğin yalnızca düzgün yazılmış standart çalışan sorularını kullanmak gerçekçi olmayacaktır. Test setine normal senaryoların yanında zor durumlar ve edge case'ler de eklenmelidir.

Örneğin:

“Yıllık izin hakkım kaç gün?”

normal bir senaryo olabilir.

Ancak:

“Geçen seneden kalan iznim var, bu sene doğum izninden döndüm ve yarı zamanlı çalışıyorum. Kaç gün kullanabilirim?”

daha karmaşık bir edge case'dir.

Sistem gerçek hayatta ikisiyle de karşılaşacaktır.

Anthropic de evaluation yaklaşımında farklı konu türleri, uç durumlar ve kullanıcı profillerini içeren testlerin birlikte kullanılmasını öneriyor. İyi bir eval seti zaman içinde büyür. Üretimde yeni bir hata keşfedildiğinde bu örnek test setine eklenir. Böylece aynı problem gelecekte tekrar ortaya çıkarsa sistem otomatik olarak bunu yakalayabilir. Bu yaklaşım yazılım geliştirmedeki regression testing mantığına oldukça benzer.

Yapay Zekâ Çıktılarını Değerlendirme Yöntemleri

Her AI görevi aynı şekilde ölçülemez. Bazı çıktılarda doğru veya yanlış sonucu kolayca belirlemek mümkündür. Bazılarında ise insan yorumuna ihtiyaç vardır. Bu nedenle farklı evaluation yöntemleri birlikte kullanılabilir.

Deterministik kontroller

Sonucun objektif olarak ölçülebildiği durumlarda en güvenilir yöntemlerden biridir.

Örneğin sistemden JSON formatında cevap bekliyorsanız çıktının gerçekten geçerli JSON olup olmadığını otomatik kontrol edebilirsiniz.

Benzer şekilde:

• belirli alanların bulunup bulunmadığı,

• kelime sınırı,

• doğru kategori seçimi,

• matematiksel sonuç,

• API sonucunun beklenen değerle eşleşmesi

kod ile kontrol edilebilir.

Mümkün olduğunda deterministik değerlendirmeler tercih edilmelidir çünkü sonuçları tekrar üretilebilir ve yoruma açık değildir.

İnsan değerlendirmesi

Bazı görevlerde kaliteyi yalnızca kurallarla ölçmek mümkün değildir.

Örneğin:

“Bu metin ikna edici mi?”

“Bu özet önemli noktaları doğru biçimde öne çıkarıyor mu?”

“Bu cevap müşteriye uygun bir tonda mı?”

gibi sorular insan değerlendirmesine ihtiyaç duyabilir.

İnsan değerlendirmesi özellikle eval setini ilk oluştururken ve ölçüm kriterlerinin gerçekten doğru şeyi değerlendirip değerlendirmediğini kontrol ederken değerlidir. Ancak yüz binlerce çıktıyı insanlar üzerinden kontrol etmek pahalı ve yavaştır. Bu noktada başka bir yöntem devreye girer.

LLM-as-a-Judge

Bir yapay zekâ modelinin başka bir AI çıktısını belirli kriterlere göre değerlendirmesine LLM-as-a-Judge yaklaşımı denir.

Örneğin evaluator modele şöyle bir görev verilebilir:

Aşağıdaki müşteri yanıtını doğruluk, açıklık ve profesyonel ton açısından 1–5 arasında değerlendir. Her kriter için kısa bir gerekçe sun.

Böylece yüzlerce veya binlerce çıktı otomatik olarak puanlanabilir. Bu yaklaşım oldukça kullanışlıdır ancak değerlendirici modelin kendisinin de hata yapabileceği unutulmamalıdır.

Bu nedenle kritik sistemlerde LLM değerlendirmelerinin belirli aralıklarla insan değerlendirmeleriyle karşılaştırılması gerekir. OpenAI'nin güncel eval çalışmalarında da rubrik tabanlı LLM değerlendiricilerinin ve otomatik grading yöntemlerinin çeşitli benchmark'larda kullanıldığı görülüyor.

Prompt Evaluation Örneği

Bir e-ticaret şirketinin müşteri yorumlarını analiz etmek istediğini düşünelim.

Amaç, gelen yorumları üç kategoriye ayırmak:

Pozitif / Negatif / Nötr

İlk prompt şöyle olabilir:

Aşağıdaki müşteri yorumunu pozitif, negatif veya nötr olarak sınıflandır.

İlk birkaç test başarılı olabilir.

Ancak eval seti genişlediğinde şu örnek ortaya çıkabilir:

“Ürün güzel ama iki hafta geç geldi.”

Model bunu “pozitif” olarak sınıflandırabilir. Oysa şirket açısından bu yorum hem ürün memnuniyeti hem teslimat sorunu içeriyor. Bu noktada problem modelden önce görev tanımında olabilir.

Belki kategoriler:

Pozitif / Ürün Sorunu / Teslimat Sorunu / Karma

şeklinde değiştirilmelidir.

Bu küçük örnek eval'lerin önemli bir faydasını gösterir: Evaluation yalnızca prompt'taki hataları değil, problemi yanlış tanımladığımız durumları da ortaya çıkarabilir.

Prompt Versiyonlarının Karşılaştırılması

Prompt geliştirme sürecinde sık yapılan hatalardan biri aynı anda çok fazla şeyi değiştirmektir.

• Rol değişir.

• Talimat değişir.

• Örnekler eklenir.

• Format değiştirilir.

Sonra çıktı daha iyi görünür ama hangi değişikliğin sonucu iyileştirdiğini bilemeyiz. Daha sağlıklı yaklaşım bir baseline prompt oluşturmaktır.

Örneğin:

Prompt A: Mevcut versiyon

Prompt B: Yeni versiyon

İki prompt aynı eval setinde çalıştırılır.

Ardından:

Metrik	Prompt A	Prompt B
Doğruluk	%84	%91
Format uyumu	%97	%99
Ortalama yanıt uzunluğu	310 kelime	185 kelime
Güvenlik ihlali	%1,8	%0,7

gibi bir sonuç elde edilebilir. Artık karar hissiyata değil veriye dayanır.

Yeni prompt yalnızca “daha iyi göründüğü” için değil, tanımlanan başarı kriterlerinde daha iyi sonuç verdiği için tercih edilir.

Model Değişikliklerinde Yeniden Test

Prompt evaluation'ın en önemli kullanım alanlarından biri model güncellemeleridir. Bir prompt belirli bir modelde mükemmel çalışabilir ancak farklı bir model veya yeni model sürümünde aynı davranışı göstermeyebilir.

Modelin:

• talimat takip etme biçimi,

• çıktının uzunluğu,

• reasoning davranışı,

• format hassasiyeti,

• araç kullanımı

değişebilir.

Bu nedenle bir kurum yeni modele geçerken yalnızca birkaç örneği manuel olarak denemek yerine mevcut eval setini yeni model üzerinde tekrar çalıştırabilir. Sonuç karşılaştırıldığında:

• Yeni model gerçekten daha iyi mi?

• Hangi görevlerde gerileme var?

• Prompt'ların değiştirilmesi gerekiyor mu?

• Kalite artışına karşı maliyet nasıl değişiyor?

gibi sorular ölçülebilir hale gelir.

Bu yaklaşım özellikle kurumsal AI sistemlerinde model bağımlılığını azaltır.

Structured Output ve Test Edilebilirlik

Yapay zekâdan serbest metin çıktısı almak değerlendirmeyi zorlaştırabilir. Mümkün olan kullanım senaryolarında çıktıyı yapılandırmak test edilebilirliği ciddi biçimde artırır.

Örneğin:

Müşteri talebini analiz et.

yerine:

category:
priority:
sentiment:
requires_human_review:

gibi belirli alanlar istenebilir.

Böylece çıktıların:

• doğru alanları içerip içermediği,

• beklenen veri tiplerini kullanıp kullanmadığı,

• kategori değerlerinin geçerli olup olmadığı

otomatik olarak kontrol edilebilir.

Bu yalnızca yazılım entegrasyonlarını kolaylaştırmaz. Prompt evaluation sürecini de daha objektif hale getirir.

Guardrails ve Eval Arasındaki Fark

Yapay zekâ sistemlerinde guardrail ve evaluation kavramları bazen birbirine karıştırılır. Guardrail, sistemin belirli sınırlar içerisinde hareket etmesini sağlamaya çalışan kontrol mekanizmasıdır. Evaluation ise bu sistemin istenen şekilde çalışıp çalışmadığını ölçer.

Örneğin bir şirket:

Guardrail: Kişisel verileri AI çıktısında gösterme.

şeklinde bir kural tanımlayabilir.

Eval ise sisteme farklı kişisel veri senaryoları gönderip bu kuralın gerçekten uygulanıp uygulanmadığını test eder.

Yani Guardrail davranışı sınırlar. Eval davranışın gerçekten sınırlar içinde kalıp kalmadığını ölçer. İkisine de ihtiyaç vardır.

Prompt Evaluation Ne Zaman Gereklidir?

• 
  

ChatGPT ile tek seferlik bir e-posta yazdırırken kapsamlı bir eval sistemi kurmaya gerek yoktur. Evaluation ihtiyacı AI'ın organizasyondaki rolü büyüdükçe artar.

Özellikle aynı prompt tekrar tekrar kullanılıyorsa, çıktının müşteriye ulaştığı bir sistem söz konusuysa, AI iş kararlarını etkiliyorsa veya model bir uygulamanın parçası haline geldiyse ölçüm yaklaşımı kritik hale gelir.

Burada basit bir ayrım yapılabilir:

Kişisel AI kullanımı → gözle kontrol çoğu zaman yeterli

Tekrarlanan iş akışı → test setleri gerekli

Üretim sistemi → sistematik eval + monitoring gerekli

Agentic sistem → görev ve süreç seviyesinde daha kapsamlı eval gerekli

Agent sistemlerinin araç kullanabilmesi, birden fazla adımda karar vermesi ve çevre üzerinde değişiklik yapabilmesi değerlendirmeyi daha da zorlaştırıyor. Anthropic'in 2026 agent eval rehberi de bu nedenle tek cevap ölçümünden çok görev başarısı ve çok adımlı davranış değerlendirmelerine dikkat çekiyor.

Prompt Mühendisliğinde Ölçüm ve Sürekli İyileştirme

Prompt geliştirme ilk bakışta dil ile yapılan bir tasarım işi gibi görünebilir. Ancak sistem gerçek kullanıcılarla çalışmaya başladığında mesele yalnızca daha güzel talimat yazmaktan çıkar.

• Başarının tanımlanması gerekir.

• Test örnekleri hazırlanır.

• Başarısız senaryolar incelenir.

• Yeni prompt versiyonları karşılaştırılır.

• Model güncellemeleri test edilir.

• Üretimde ortaya çıkan hatalar eval setine eklenir.

Böylece prompt tek sefer yazılıp unutulan bir metin olmaktan çıkar ve ölçülen, test edilen ve sürekli iyileştirilen bir sistem bileşenine dönüşür.

Prompt mühendisliği ile yalnızca etkili prompt yazma arasındaki önemli farklardan biri de tam olarak burada ortaya çıkar.

Prompt mühendisliğinin neden yalnızca “AI'a iyi soru sormak” anlamına gelmediğini daha ayrıntılı görmek için Serkan Arıkuşu'nun Prompt Mühendisliği: Nedir ve Ne Değildir? yazısını okuyabilirsiniz.

Yapay Zekâ Sistemlerinde Kalite Yönetimi

Bir yapay zekâ uygulamasının demosunun etkileyici olması kolaydır.

Gerçek zorluk aynı kalitenin farklı kullanıcılar, farklı girdiler ve binlerce işlem boyunca sürdürülebilmesidir.

Prompt evaluation bu nedenle yapay zekâ projelerinde yalnızca teknik ekiplerin ilgilendiği bir test pratiği değildir.

Aynı zamanda şu iş sorusunun cevabıdır:

“Bu AI sisteminin beklediğimiz kalitede çalıştığını nasıl biliyoruz?”

Ölçüm sistemi yoksa cevap genellikle:

“Denediğimizde iyi çalışıyordu.” olur.

Eval yaklaşımı ise bunu:

“Gerçek kullanım senaryolarından oluşan test setimizde tanımladığımız kalite kriterlerini şu oranda karşılıyor.” seviyesine taşır.

Yapay zekâyı kurumsal ölçekte güvenilir biçimde kullanabilmek için ihtiyaç duyulan fark da budur.

Sharpware'ın ChatGPT ve Etkili Prompt Yazımı eğitiminde katılımcılar yalnızca daha iyi prompt oluşturmayı değil, AI çıktısını eleştirel biçimde değerlendirmeyi ve kullanım senaryolarına göre daha kontrollü çalışma yöntemleri geliştirmeyi de öğrenirler.

Sık Sorulan Sorular

Eval ile benchmark arasındaki fark nedir?

Benchmark genellikle farklı model veya sistemleri standart bir veri seti üzerinden karşılaştırmak için kullanılır. Eval ise kurumun kendi kullanım senaryosuna özel başarı kriterleri ve test örnekleri içerebilir. Bu nedenle kurumsal AI uygulamalarında genel benchmark sonuçlarının yanında kullanım senaryosuna özgü eval'ler de önemlidir.

Bir eval setinde kaç örnek olmalıdır?

Tek bir doğru sayı yoktur. Test setinin boyutu kullanım senaryosunun çeşitliliğine ve riskine bağlıdır. Başlangıçta onlarca iyi seçilmiş örnek kullanılabilir; sistem geliştikçe üretimde karşılaşılan yeni durumların eklenmesiyle eval seti büyütülmelidir.

Eval seti ne sıklıkla güncellenmelidir?

Eval seti sabit bir test dosyası olarak düşünülmemelidir. Üretimde yeni hata türleri, edge case'ler veya yeni kullanıcı davranışları ortaya çıktıkça test setine yeni örnekler eklenmelidir. Böylece sistem zaman içinde gerçek kullanım koşullarını daha iyi temsil eder.

Prompt evaluation ile yazılım testi aynı şey midir?

Benzer bir mantığa sahip olsalar da tamamen aynı değildir. Klasik yazılım testlerinde beklenen sonuç çoğu zaman kesin olarak tanımlanabilirken, yapay zekâ çıktılarında doğruluk, ton veya açıklık gibi kısmen öznel kriterler de bulunabilir. Bu nedenle AI eval'lerinde deterministik testlerin yanında rubrikler, insan değerlendirmesi veya model tabanlı değerlendirmeler de kullanılabilir.

Yapay zekâ çıktısının doğruluğu yüzde 100 ölçülebilir mi?

Her zaman değil. Bazı görevlerde doğru cevap objektif olarak belirlenebilirken yaratıcı yazım, özetleme veya danışmanlık gibi görevlerde kalite daha öznel olabilir. Bu durumlarda birden fazla kriter, rubrik ve değerlendirme yöntemi birlikte kullanılabilir.