Качество

Как мы тестируем результаты

Что мы проверяем до показа результата и после каждого запуска — так, как это сегодня делает наш код. Цифры на этой странице считываются из наших тестовых данных при её загрузке.

Примеры результатов, проверенные дважды

На многих страницах инструментов есть «Пример результата»: реальный ответ собственного промпта инструмента на пример запроса, созданный один раз и сохранённый. Перед публикацией он проходит две проверки.

  • Автоматическая проверка отсеивает ответы, которые слишком короткие, содержат отказ или просьбу уточнить, написаны не на том языке, выглядят оборванными, раскрывают промпт или содержат заполнители шаблона.
  • Затем ИИ-рецензент оценивает остальное по полезности, языку, полноте и безопасности, и ответы с низкой оценкой отбрасываются.

Опубликовано примеров результатов: 4169, языков: 18. В последних проверках оценено новых ответов: 3795, отклонено из них: 568.

Проверка после каждого запуска

  • Когда инструмент для текстов отвечает, фиксированная проверка без второго обращения к ИИ удаляет «воду» ассистента вроде “Certainly! Here is your post:” и прощальные фразы, а также записывает любое из перечисленных ИИ-клише (всего 15), оставшееся в английском тексте.
  • Инструменты для текстов с переключателем «Проверка фактов с источниками» один раз ищут вашу тему в интернете, цитируют использованное как [1], [2] и перечисляют источники в конце. Утверждение без источника помечается «(не проверено)», и ни одна ссылка не может быть выдумана.

Подходящая модель для каждого инструмента

Conductor отправляет каждый инструмент в одно из семейств моделей (всего 6: Claude, GPT, Gemini, Cerebras, Grok, Mistral) и переключается на другое при сбое провайдера. У каждого результата указано семейство, которое его написало.

Каждое изменение тестируется до выпуска

Изменение попадает на сайт только через pull request, прошедший автоматический контроль: проверки кода, контрактные тесты, покрытие переводов на всех языках (18) и поиск секретов. После каждого релиза наборы браузерных тестов запускаются на рабочем сайте.

Чего тестирование не может обещать

ИИ всё равно может ошибаться. Проверяйте факты, цифры, а также юридические, медицинские и финансовые утверждения, прежде чем на них полагаться.