Kvalita

Jak testujeme výsledky

Co kontrolujeme, než se výsledek zobrazí, a po každém spuštění, tak jak to dnes dělá náš kód. Čísla na této stránce se při jejím načtení čtou z našich testovacích dat.

Ukázkové výsledky, kontrolované dvakrát

Mnoho stránek nástrojů nabízí „Ukázkový výsledek“: skutečný výstup vlastního promptu nástroje pro ukázkový vstup, vytvořený jednou a uložený. Než je zveřejněn, projde dvěma kontrolami.

  • Automatická kontrola vyřadí výstupy, které jsou příliš krátké, odmítají úkol nebo žádají další vstup, jsou ve špatném jazyce, vypadají useknuté, prozrazují prompt nebo v nich zůstaly zástupné symboly šablony.
  • Zbytek pak ohodnotí AI recenzent podle užitečnosti, jazyka, úplnosti a bezpečnosti a výstupy s nízkým hodnocením vyřadí.

Zveřejněno je 4169 ukázkových výsledků v 18 jazycích. Při posledních kontrolách bylo posouzeno 3795 nových výstupů a 568 z nich bylo vyřazeno.

Kontrola po každém spuštění

  • Když nástroj na psaní odpoví, pevná kontrola bez dalšího volání AI odstraní výplň asistenta jako “Certainly! Here is your post:” a závěrečné zdvořilosti a zaznamená každé z 15 sledovaných AI klišé, které v anglickém textu zůstalo.
  • Nástroje na psaní s přepínačem „Ověřit fakta a uvést zdroje“ jednou vyhledají vaše téma na webu, použité zdroje citují jako [1], [2] a na konci je vypíšou. Tvrzení bez zdroje je označeno „(neověřeno)“ a žádný odkaz nesmí být vymyšlený.

Správný model pro každý nástroj

Conductor posílá každý nástroj jedné z 6 rodin modelů (Claude, GPT, Gemini, Cerebras, Grok, Mistral) a při selhání poskytovatele přepne na jinou. U každého výsledku je uvedena rodina, která ho napsala.

Každá změna se před nasazením testuje

Změna se na web dostane jen přes pull request, který projde automatickou bránou: kontrolami kódu, kontraktními testy, pokrytím překladů ve všech 18 jazycích a hledáním tajných klíčů. Po každém vydání běží proti živému webu sady testů v prohlížeči.

Co testování slíbit nemůže

AI se pořád může mýlit. Fakta, čísla a právní, zdravotní či finanční tvrzení si před použitím ověřte.