Kvalitet

Så testar vi resultaten

Vad vi kontrollerar innan ett resultat visas och efter varje körning, så som vår kod gör det i dag. Siffrorna på den här sidan läses från våra testdata när sidan laddas.

Exempelresultat, kontrollerade två gånger

Många verktygssidor erbjuder ett ”Exempelresultat”: den verkliga utdatan från verktygets egen prompt för en exempelinmatning, skapad en gång och sparad. Innan ett publiceras klarar det två kontroller.

  • En automatisk kontroll avvisar utdata som är för korta, vägrar eller ber om mer information, är på fel språk, ser avklippta ut, läcker prompten eller lämnar kvar platshållare från mallen.
  • Sedan betygsätter en AI-granskare resten efter nytta, språk, fullständighet och säkerhet, och låga betyg sorteras bort.

4169 exempelresultat är publicerade på 18 språk. Vid de senaste kontrollerna granskades 3795 nya utdata och 568 av dem avvisades.

Kontrollerat efter varje körning

  • När ett skrivverktyg svarar tar en fast kontroll utan ett andra AI-anrop bort assistentfloskler som “Certainly! Here is your post:” och avslutningsfraser, och registrerar varje kvarvarande av 15 listade AI-klichéer i engelsk text.
  • Skrivverktyg med reglaget ”Faktakolla med källor” söker ditt ämne på webben en gång, citerar det de använder som [1], [2] och listar källorna i slutet. Ett påstående utan källa märks ”(ej verifierat)”, och ingen länk får hittas på.

Rätt modell för varje verktyg

Conductor skickar varje verktyg till en av 6 modellfamiljer (Claude, GPT, Gemini, Cerebras, Grok, Mistral) och byter till en annan när en leverantör fallerar. Varje resultat anger familjen som skrev det.

Varje ändring testas innan den släpps

En ändring når webbplatsen bara via en pull request som klarar en automatisk spärr: kodkontroller, kontraktstester, översättningstäckning på alla 18 språk och en sökning efter hemligheter. Efter varje release körs testsviter i webbläsaren mot den publicerade webbplatsen.

Vad tester inte kan lova

AI kan fortfarande ha fel. Kontrollera fakta, siffror och juridiska, medicinska eller ekonomiska påståenden innan du förlitar dig på dem.