Qualidade

Como testamos os resultados

O que verificamos antes de mostrar um resultado e depois de cada execução, tal como o nosso código o faz hoje. Os números desta página são lidos dos nossos dados de teste quando a página carrega.

Resultados de exemplo, verificados duas vezes

Muitas páginas de ferramentas oferecem um «Resultado de exemplo»: o resultado real do próprio prompt da ferramenta para uma entrada de exemplo, gerado uma vez e guardado. Antes de ser publicado, passa por duas verificações.

  • Uma verificação automática rejeita resultados demasiado curtos, que recusam ou pedem mais informação, no idioma errado, que parecem cortados, que revelam o prompt ou que deixam marcadores do modelo.
  • Depois, um revisor de IA classifica os restantes quanto a utilidade, idioma, integridade e segurança, e as classificações baixas são descartadas.

Estão publicados 4169 resultados de exemplo em 18 idiomas. Nas últimas verificações foram avaliados 3795 novos resultados e 568 deles foram rejeitados.

Verificado depois de cada execução

  • Quando uma ferramenta de escrita responde, uma verificação fixa, sem uma segunda chamada à IA, remove expressões de enchimento do assistente como “Certainly! Here is your post:” e despedidas finais, e regista cada um dos 15 clichés de IA catalogados que reste num texto em inglês.
  • As ferramentas de escrita com o interruptor «Verificar factos com fontes» pesquisam o seu tema na web uma vez, citam o que utilizam como [1], [2] e listam as fontes no final. Uma afirmação sem fonte é assinalada como «(não verificado)», e nenhuma ligação pode ser inventada.

O modelo certo para cada ferramenta

O Conductor envia cada ferramenta para uma de 6 famílias de modelos (Claude, GPT, Gemini, Cerebras, Grok, Mistral) e muda para outra quando um fornecedor falha. Cada resultado indica a família que o escreveu.

Cada alteração é testada antes de ser publicada

Uma alteração só chega ao site através de um pull request que passa uma verificação automática: verificações de código, testes de contrato, cobertura de tradução nos 18 idiomas e uma pesquisa de segredos. Depois de cada versão, conjuntos de testes no navegador correm sobre o site em produção.

O que os testes não podem prometer

A IA ainda se pode enganar. Confirme factos, números e afirmações jurídicas, médicas ou financeiras antes de confiar nelas.