Qualität

So testen wir die Ergebnisse

Was wir prüfen, bevor ein Ergebnis angezeigt wird, und nach jedem Durchlauf, so wie unser Code es heute tut. Die Zahlen auf dieser Seite werden beim Laden aus unseren Testdaten gelesen.

Beispielergebnisse, zweimal geprüft

Viele Tool-Seiten bieten ein „Beispielergebnis“: die echte Ausgabe des eigenen Prompts des Tools für eine Beispieleingabe, einmal erzeugt und gespeichert. Bevor eines veröffentlicht wird, durchläuft es zwei Prüfungen.

  • Eine automatische Prüfung verwirft Ausgaben, die zu kurz sind, ablehnen oder nach mehr Eingaben fragen, in der falschen Sprache sind, abgeschnitten wirken, den Prompt preisgeben oder Platzhalter der Vorlage enthalten.
  • Ein KI-Prüfer bewertet den Rest dann nach Nutzen, Sprache, Vollständigkeit und Sicherheit, und niedrig bewertete Ausgaben fallen heraus.

4169 Beispielergebnisse sind in 18 Sprachen veröffentlicht. Bei den letzten Prüfungen wurden 3795 neue Ausgaben bewertet und 568 davon verworfen.

Geprüft nach jedem Durchlauf

  • Wenn ein Schreib-Tool antwortet, entfernt eine feste Prüfung ohne zweiten KI-Aufruf Assistenten-Floskeln wie “Certainly! Here is your post:” und Schlussformeln und protokolliert jedes der 15 gelisteten KI-Klischees, das in englischem Text übrig bleibt.
  • Schreib-Tools mit dem Schalter „Faktencheck mit Quellen“ suchen Ihr Thema einmal im Web, zitieren, was sie verwenden, als [1], [2] und listen die Quellen am Ende auf. Eine Aussage ohne Quelle wird als „(nicht verifiziert)“ markiert, und kein Link darf erfunden werden.

Das richtige Modell für jedes Tool

Conductor schickt jedes Tool an eine von 6 Modellfamilien (Claude, GPT, Gemini, Cerebras, Grok, Mistral) und wechselt zu einer anderen, wenn ein Anbieter ausfällt. Jedes Ergebnis nennt die Familie, die es geschrieben hat.

Jede Änderung wird vor der Veröffentlichung getestet

Eine Änderung gelangt nur über einen Pull Request auf die Website, der ein automatisches Gate besteht: Code-Prüfungen, Vertragstests, Übersetzungsabdeckung in allen 18 Sprachen und eine Suche nach Geheimnissen. Nach jedem Release laufen Browser-Testsuiten gegen die Live-Website.

Was Tests nicht versprechen können

KI kann trotzdem irren. Prüfen Sie Fakten, Zahlen sowie rechtliche, medizinische oder finanzielle Aussagen, bevor Sie sich darauf verlassen.