Qualidade

Como testamos os resultados

O que verificamos antes de mostrar um resultado e depois de cada execução, do jeito que nosso código faz hoje. Os números desta página são lidos dos nossos dados de teste quando ela carrega.

Resultados de exemplo, verificados duas vezes

Muitas páginas de ferramentas oferecem um “Resultado de exemplo”: a saída real do próprio prompt da ferramenta para uma entrada de exemplo, gerada uma vez e armazenada. Antes de ser publicada, ela passa por duas verificações.

  • Uma verificação automática rejeita saídas curtas demais, que recusam ou pedem mais informações, no idioma errado, que parecem cortadas, que vazam o prompt ou que deixam marcadores do modelo.
  • Depois, um revisor de IA avalia o restante quanto a utilidade, idioma, completude e segurança, e as notas baixas são descartadas.

Há 4169 resultados de exemplo publicados em 18 idiomas. Nas últimas verificações, 3795 novas saídas foram avaliadas e 568 delas foram rejeitadas.

Verificado depois de cada execução

  • Quando uma ferramenta de escrita responde, uma verificação fixa, sem uma segunda chamada à IA, remove frases de preenchimento do assistente como “Certainly! Here is your post:” e despedidas, e registra qualquer um dos 15 clichês de IA listados que reste em um texto em inglês.
  • Ferramentas de escrita com a opção “Checar fatos com fontes” pesquisam seu tema na web uma vez, citam o que usam como [1], [2] e listam as fontes no final. Uma afirmação sem fonte é marcada como “(não verificado)”, e nenhum link pode ser inventado.

O modelo certo para cada ferramenta

O Conductor envia cada ferramenta para uma de 6 famílias de modelos (Claude, GPT, Gemini, Cerebras, Grok, Mistral) e troca para outra quando um provedor falha. Cada resultado informa a família que o escreveu.

Toda mudança é testada antes de ir ao ar

Uma mudança só chega ao site por um pull request que passa por uma verificação automática: checagens de código, testes de contrato, cobertura de tradução em todos os 18 idiomas e uma busca por segredos. Depois de cada versão, suítes de testes no navegador rodam no site em produção.

O que os testes não podem prometer

A IA ainda pode errar. Confira fatos, números e afirmações jurídicas, médicas ou financeiras antes de confiar nelas.