Jakość
Jak testujemy wyniki
Co sprawdzamy, zanim wynik się pojawi, i po każdym uruchomieniu, tak jak dziś robi to nasz kod. Liczby na tej stronie są odczytywane z naszych danych testowych przy jej wczytaniu.
Przykładowe wyniki, sprawdzane dwa razy
Wiele stron narzędzi oferuje „Przykładowy wynik”: prawdziwy wynik własnego promptu narzędzia dla przykładowych danych, wygenerowany raz i zapisany. Zanim zostanie opublikowany, przechodzi dwie kontrole.
- Automatyczna kontrola odrzuca wyniki zbyt krótkie, odmawiające lub proszące o więcej danych, w złym języku, wyglądające na ucięte, ujawniające prompt lub zostawiające symbole zastępcze szablonu.
- Następnie recenzent AI ocenia resztę pod kątem przydatności, języka, kompletności i bezpieczeństwa, a nisko ocenione wyniki odpadają.
Opublikowano 4169 przykładowych wyników w 18 językach. W ostatnich kontrolach oceniono 3795 nowych wyników, z czego 568 odrzucono.
Sprawdzane po każdym uruchomieniu
- Gdy narzędzie do pisania odpowie, stała kontrola bez drugiego wywołania AI usuwa wypełniacze asystenta, takie jak “Certainly! Here is your post:”, oraz formułki na pożegnanie i zapisuje każdy z 15 wymienionych frazesów AI, który został w tekście po angielsku.
- Narzędzia do pisania z przełącznikiem „Sprawdź fakty ze źródłami” raz wyszukują twój temat w sieci, cytują to, z czego korzystają, jako [1], [2] i wymieniają źródła na końcu. Twierdzenie bez źródła jest oznaczane jako „(niezweryfikowane)”, a żaden link nie może być zmyślony.
Właściwy model dla każdego narzędzia
Conductor wysyła każde narzędzie do jednej z 6 rodzin modeli (Claude, GPT, Gemini, Cerebras, Grok, Mistral) i przełącza się na inną, gdy dostawca zawiedzie. Przy każdym wyniku podana jest rodzina, która go napisała.
Każda zmiana jest testowana przed wdrożeniem
Zmiana trafia na stronę tylko przez pull request, który przejdzie automatyczną bramkę: kontrole kodu, testy kontraktowe, pokrycie tłumaczeń we wszystkich 18 językach i skan w poszukiwaniu sekretów. Po każdym wydaniu zestawy testów w przeglądarce działają na żywej stronie.
Czego testy nie mogą obiecać
AI nadal może się mylić. Sprawdź fakty, liczby oraz twierdzenia prawne, medyczne lub finansowe, zanim na nich polegasz.