Kalite

Sonuçları nasıl test ediyoruz

Bir sonuç gösterilmeden önce ve her çalıştırmadan sonra neyi kontrol ettiğimiz, kodumuzun bugün yaptığı haliyle. Bu sayfadaki rakamlar, sayfa yüklendiğinde test verilerimizden okunur.

Örnek sonuçlar, iki kez kontrol edilir

Birçok araç sayfası bir “Örnek sonuç” sunar: aracın kendi isteminin örnek bir girdi için verdiği gerçek çıktı, bir kez üretilip saklanır. Yayımlanmadan önce iki kontrolden geçer.

  • Otomatik bir kontrol; çok kısa olan, reddeden veya daha fazla girdi isteyen, yanlış dilde olan, yarıda kesilmiş görünen, istemi sızdıran ya da şablon yer tutucuları bırakan çıktıları reddeder.
  • Ardından bir yapay zekâ değerlendiricisi kalanları yararlılık, dil, bütünlük ve güvenlik açısından puanlar ve düşük puanlılar elenir.

18 dilde 4169 örnek sonuç yayımlanmıştır. Son kontrollerde 3795 yeni çıktı değerlendirildi ve bunlardan 568 tanesi reddedildi.

Her çalıştırmadan sonra kontrol edilir

  • Bir yazma aracı yanıt verdiğinde, ikinci bir yapay zekâ çağrısı olmadan çalışan sabit bir kontrol “Certainly! Here is your post:” gibi asistan dolgu cümlelerini ve kapanış ifadelerini kaldırır, İngilizce metinde kalan 15 listelenmiş yapay zekâ klişesinden her birini kaydeder.
  • “Kaynaklarla doğrula” anahtarı olan yazma araçları konunuzu web’de bir kez arar, kullandıklarını [1], [2] olarak alıntılar ve kaynakları sonda listeler. Kaynağı olmayan bir iddia “(doğrulanmadı)” olarak işaretlenir ve hiçbir bağlantı uydurulamaz.

Her araç için doğru model

Conductor her aracı 6 model ailesinden birine (Claude, GPT, Gemini, Cerebras, Grok, Mistral) gönderir ve bir sağlayıcı başarısız olduğunda başka birine geçer. Her sonuç onu yazan aileyi belirtir.

Her değişiklik yayına çıkmadan önce test edilir

Bir değişiklik siteye yalnızca otomatik bir kapıdan geçen bir pull request ile ulaşır: kod kontrolleri, sözleşme testleri, 18 dilin tamamında çeviri kapsamı ve gizli anahtar taraması. Her sürümden sonra tarayıcı test paketleri canlı siteye karşı çalışır.

Testlerin vaat edemeyecekleri

Yapay zekâ yine de yanılabilir. Güvenmeden önce olguları, rakamları ve hukuki, tıbbi ya da finansal ifadeleri kontrol edin.