Qualidade
Como testamos os resultados
O que verificamos antes de mostrar um resultado e depois de cada execução, tal como o nosso código o faz hoje. Os números desta página são lidos dos nossos dados de teste quando a página carrega.
Resultados de exemplo, verificados duas vezes
Muitas páginas de ferramentas oferecem um «Resultado de exemplo»: o resultado real do próprio prompt da ferramenta para uma entrada de exemplo, gerado uma vez e guardado. Antes de ser publicado, passa por duas verificações.
- Uma verificação automática rejeita resultados demasiado curtos, que recusam ou pedem mais informação, no idioma errado, que parecem cortados, que revelam o prompt ou que deixam marcadores do modelo.
- Depois, um revisor de IA classifica os restantes quanto a utilidade, idioma, integridade e segurança, e as classificações baixas são descartadas.
Estão publicados 4169 resultados de exemplo em 18 idiomas. Nas últimas verificações foram avaliados 3795 novos resultados e 568 deles foram rejeitados.
Verificado depois de cada execução
- Quando uma ferramenta de escrita responde, uma verificação fixa, sem uma segunda chamada à IA, remove expressões de enchimento do assistente como “Certainly! Here is your post:” e despedidas finais, e regista cada um dos 15 clichés de IA catalogados que reste num texto em inglês.
- As ferramentas de escrita com o interruptor «Verificar factos com fontes» pesquisam o seu tema na web uma vez, citam o que utilizam como [1], [2] e listam as fontes no final. Uma afirmação sem fonte é assinalada como «(não verificado)», e nenhuma ligação pode ser inventada.
O modelo certo para cada ferramenta
O Conductor envia cada ferramenta para uma de 6 famílias de modelos (Claude, GPT, Gemini, Cerebras, Grok, Mistral) e muda para outra quando um fornecedor falha. Cada resultado indica a família que o escreveu.
Cada alteração é testada antes de ser publicada
Uma alteração só chega ao site através de um pull request que passa uma verificação automática: verificações de código, testes de contrato, cobertura de tradução nos 18 idiomas e uma pesquisa de segredos. Depois de cada versão, conjuntos de testes no navegador correm sobre o site em produção.
O que os testes não podem prometer
A IA ainda se pode enganar. Confirme factos, números e afirmações jurídicas, médicas ou financeiras antes de confiar nelas.