Saltar para o conteúdo
Última atualização:
Blog técnico

Pesquisa empresarial, pesquisa de texto integral e IA na empresa

Enterprise Search

Agentes de IA nas empresas: teste de aceitação que mede separadamente erros, pedidos de esclarecimento e retrabalho

Na fase piloto, um agente de IA parece muitas vezes bom. Se, em operação, poupa mais trabalho do que custam o controlo e a manutenção, uma taxa de sucesso por si só não o mostra. Para isso, tem de registar separadamente os erros, os pedidos de esclarecimento e o retrabalho. Este artigo descreve um teste de aceitação para o escritório que pode realizar com os seus próprios casos.

por Sebastian @searchit · · 11 min de leitura

Partilhar
Tapete rolante com cartas, uma folha de calendário e uma pasta de proposta que passa por um portão de controlo de vidro; atrás, quatro tabuleiros de triagem azuis em tons graduadosGerado por IA

Responder a e-mails, marcar compromissos, preparar propostas – são exemplos típicos de agentes de inteligência artificial (IA) no escritório, e cada um deles utiliza várias ferramentas, umas a seguir às outras. Na fase piloto, normalmente só conta uma coisa: no fim, saiu o resultado certo? Para decidir sobre a entrada em operação, isso não me chega. Um agente que executa corretamente nove em cada dez tarefas pode, ainda assim, dar mais trabalho do que poupa – porque está sempre a perguntar, porque alguém tem de verificar cada resultado ou porque o único erro foi um e-mail errado enviado a um cliente.

Uma nota prévia: somos o fabricante do searchit. O teste de aceitação abaixo é um esboço de método que resulta do nosso próprio trabalho, inspirado nas Evaluation best practices da OpenAI. Não é uma norma. O meu conselho para a introdução da IA na empresa: adapte o teste aos seus fluxos de trabalho e verifique cada resultado com os seus próprios dados – em qualquer fornecedor.

Em resumo

  • Uma taxa esconde demasiado. Conte separadamente os erros, os pedidos de esclarecimento, o retrabalho e o esforço de controlo.
  • Os erros têm classes. Uma frase errada num rascunho é diferente de um e-mail enviado ao destinatário errado. Um erro com efeito para o exterior nunca entra na média.
  • O resultado esperado é definido antes do teste – por alguém que conhece o fluxo de trabalho, não pelo agente e não depois da execução.
  • O teste corre sem efeito para o exterior: como rascunho, em execução de teste ou com uma conta de teste com permissões realistas.
  • O balanço compara o tempo poupado com o esforço de verificação, retrabalho e manutenção – e volta a ser feito após cada alteração.

Porque é que uma taxa de sucesso não chega

«O agente resolve corretamente 90 por cento dos casos» parece uma resposta clara. Para a operação, ficam em aberto as perguntas decisivas:

  • Como chegou ao fim? Sozinho, depois de dois pedidos de esclarecimento ou só depois de alguém ter revisto o resultado?
  • Quanto custa o controlo? É preciso verificar cada resultado ou bastam amostras?
  • O que aconteceu nos restantes casos? O agente interrompeu e comunicou-o – ou entregou um resultado errado que ninguém notou?
  • Quanto custa a manutenção? Instruções, permissões e ferramentas mudam; um novo modelo de linguagem comporta-se de forma diferente do anterior.

Num fluxo de trabalho de IA com várias ferramentas, os erros surgem muitas vezes nas passagens. O agente escolhe a ferramenta errada, passa um valor correto de forma errada ou continua a trabalhar apesar de uma ferramenta ter comunicado um erro. No resultado final vê-se pouco disso – no registo da execução, pelo contrário, vê-se.

Quatro contagens em vez de uma nota

Registe separadamente, para cada caso de teste, quatro áreas. Só em conjunto dão uma imagem significativa.

1. Erros – por classes

Um erro é um resultado que se desvia do resultado esperado definido previamente. Atribua cada erro a uma classe:

ClasseExemploComo conta
críticoe-mail para o destinatário errado, compromisso no cliente errado, registo sobrescrito, informação confidencial divulgadaindividualmente, nunca na média – basta um caso para «não aceite»
de conteúdoprazo errado, montante errado, pessoa de contacto errada no rascunhocomo taxa, com limiar
formalsaudação, formatação, tomcomo taxa, com limiar próprio

Registe também se o erro foi notado. Um agente que comunica «Não encontro nenhum contrato deste cliente» não executou a tarefa, mas revelou a lacuna. Um agente que, em vez disso, cita um contrato inventado é mais perigoso – mesmo que ambos os casos contem como «não executado». Distinga estes casos nos seus registos.

2. Pedidos de esclarecimento – justificados ou evitáveis

Os pedidos de esclarecimento não são, por princípio, maus. Um agente que pergunta antes de um e-mail com efeito para o exterior faz exatamente o que deve. Por isso, distinga:

  • pedidos de esclarecimento justificados: a informação faltava realmente ou a ação precisa de uma aprovação.
  • pedidos de esclarecimento evitáveis: a informação estava na tarefa, no documento ou na caixa de correio, e o agente não a encontrou.

Os pedidos de esclarecimento evitáveis apontam para falta de conhecimento ou para uma instrução pouco clara – e este problema é muitas vezes o mais barato de resolver.

3. Retrabalho – em minutos

Retrabalho é tudo o que uma pessoa altera no resultado antes de ele seguir. Meça-o em minutos em vez de sim ou não. Um rascunho em que só há duas palavras a corrigir poupa quase todo o tempo; um que tem de reescrever não poupa nada.

4. Controlo e manutenção

Registe o tempo de verificação também quando o resultado estava certo. A isto junta-se a manutenção contínua: afinar instruções, ajustar permissões, voltar a testar após uma mudança de modelo. Quem deixa isto de fora faz contas demasiado otimistas ao agente – e meio ano depois pergunta-se porque é que, afinal, a poupança nunca chegou.

O teste de aceitação em oito passos

O procedimento é um esboço para o escritório. Não exige programação, mas sim algumas horas de alguém que conhece o fluxo de trabalho. Antes da primeira execução, defina tanto os resultados esperados como os limiares do passo 6.

  1. Delimitar bem uma tarefa. Não «o agente ajuda nas vendas», mas «o agente responde, a partir da caixa de correio, a pedidos sobre prazos de entrega e cria um lembrete de acompanhamento».
  2. Montar uma pasta de testes com casos reais. Mais vale poucos casos reais do que muitos inventados. Inclua deliberadamente os difíceis: pedidos incompletos, informações contraditórias e casos em que o agente não deve fazer nada.
  3. Definir previamente o resultado esperado. Para cada caso, alguém que conhece o fluxo de trabalho escreve o que seria correto – antes de o agente correr. Caso contrário, o resultado esperado é inconscientemente ajustado ao resultado obtido.
  4. Executar sem efeito para o exterior. E-mails como rascunho, fluxos em execução de teste, uma conta de teste com as permissões de uma função real. Uma conta de teste com acesso total mede outra coisa que não a operação.
  5. Preencher as quatro contagens para cada caso – na folha de registo abaixo. Para isso, leia o registo da execução, não apenas o resultado.
  6. Definir previamente os limiares. Por exemplo: nenhum erro crítico, erros de conteúdo abaixo de um limite que o próprio define. Avalie a execução com base nestes limiares definidos de antemão. Um erro crítico encerra a aceitação, por melhor que o resto pareça.
  7. Fazer o balanço. Compare o tempo de tratamento manual até agora com o tempo de verificação, o retrabalho e o esforço de manutenção estimado. Se sobrar demasiado pouco, isso é um resultado – não um fracasso.
  8. Repetir após cada alteração. Novo modelo de linguagem, nova instrução, nova ferramenta, permissões alteradas: a mesma pasta de testes, os mesmos resultados esperados, comparação com a última execução.

A folha de registo

CasoResultado esperado atingido?Classe de erroNotado?Pedidos de esclarecimento (justificados / evitáveis)Retrabalho (min.)Tempo de verificação (min.)
1
2
…

No fim, os resultados das quatro áreas ficam lado a lado, em vez de desaparecerem numa nota. Também nas nossas execuções de medição sobre o enriquecimento de documentos por modelos de linguagem trabalhamos com uma versão esperada definida previamente. Registamos separadamente o que o modelo encontrou corretamente, o que lhe escapou e o que inventou.

O que um agente deve trazer para a aceitação

A facilidade com que um agente pode ser submetido a aceitação depende também do software em que corre. Pergunte a cada fornecedor:

  • Existe uma execução de teste? É possível simular um fluxo sem que nada saia?
  • Quem aprova? A conceção de um fluxo está separada da sua aprovação?
  • O que mostra o pedido de confirmação? O utilizador vê, antes do envio, o que realmente sai – destinatários, anexos, texto?
  • A que estão ligadas as permissões? Ao agente ou ao utilizador para quem ele trabalha?
  • É rastreável que modelo gerou o quê? Só assim se compara de forma limpa uma mudança de modelo com a execução anterior.
  • As correções ficam registadas? Retrabalho que não fica escrito em lado nenhum não aparece em nenhum balanço.

Como o searchit apoia a aceitação

O searchit é a memória por baixo dos seus agentes de IA e traz um agente próprio, o searchit AI Agent. Para o teste de aceitação, isto significa:

  • Simular fluxos em modo acelerado. Desde a versão 8.0, um utilizador descreve um fluxo por palavras suas e o agente transforma-o num rascunho. O searchit verifica-o face aos blocos permitidos e simula-o em modo acelerado: que mensagem iria para quem e quando – sem que nada seja enviado. O fluxo só fica ativo depois da aprovação. Conceber e aprovar são funções próprias.
  • Versões em vez de surpresas. Os fluxos têm versões. Se alterar um fluxo depois do teste, um processo em curso mantém-se na sua versão – a execução de teste seguinte compara de forma limpa o antigo com o novo.
  • Pedido de confirmação antes do envio. Antes de o searchit AI Agent enviar um e-mail ou uma mensagem curta (SMS) ou apagar e-mails, uma caixa de diálogo no posto de trabalho mostra destinatários, assunto, anexos e texto. «Não enviar» está pré-selecionado.
  • Permissões ligadas ao utilizador. O que um agente pode fazer através da interface depende das funções do utilizador com sessão iniciada. Se faltar uma função, o servidor recusa e indica-a. Uma conta de teste com uma função real verifica, por isso, as mesmas funções que valem em operação.
  • Origem de cada campo de IA. Cada campo que um modelo de linguagem gera durante a indexação contém o modelo, a versão do modelo, a data e hora e o identificador do prompt. Após uma mudança de modelo, vê quais os resultados que vêm da execução antiga e quais da nova.
  • As correções a processos reconhecidos ficam visíveis. Se o searchit reconheceu mal um processo, o utilizador corrige-o com um clique e vê as suas correções, com o respetivo efeito, numa lista. Para os agentes de serviço, a gestão de agentes mostra as últimas tarefas e os últimos erros.

Como fluxos, agentes e memória se encaixam, mostra-o o diapositivo «Uma roda engrena na outra» em searchit-agent.ai.

Perguntas frequentes

Quantos casos de teste são precisos para uma aceitação?

Não há um número fixo. Mais importante do que a quantidade é a combinação: casos reais, incluindo os difíceis e aqueles em que o agente não deve fazer nada. Se, em operação, surgirem novos tipos de erro, esses casos passam a fazer parte da pasta de testes.

Quem define o resultado esperado?

Alguém que hoje executa o fluxo de trabalho à mão – antes da execução e sem conhecer o resultado do agente. Nos casos duvidosos, ajuda uma segunda pessoa.

O que é um erro crítico?

Qualquer erro que tenha efeito fora do agente ou que seja difícil de reverter: uma mensagem errada para o exterior, uma informação alterada ou apagada por engano, uma informação confidencial divulgada sem autorização. Que ações fazem parte disto no seu caso, define-o antes do teste.

Quando tenho de voltar a testar?

Após cada alteração que influencie o comportamento: outro modelo de linguagem, instrução ou competência alterada, nova ferramenta, outras permissões. Com a mesma pasta de testes, a comparação faz-se em pouco tempo.

Basta que o agente peça confirmação antes de cada ação?

Não. Um pedido de confirmação protege contra efeitos para o exterior, mas custa tempo. Quem confirma dezenas de pedidos por dia, a certa altura deixa de ler com atenção. Por isso, o teste também regista os pedidos de esclarecimento.

Conclusão

Para mim, a automação com IA para empresas inclui um balanço que também contabiliza o esforço de controlo. Segundo este esboço de método, um agente de IA na empresa está aceite quando não comete nenhum erro crítico, cumpre os limiares definidos e, feitas as contas, poupa mais tempo do que custam o controlo, o retrabalho e a manutenção. Uma taxa de sucesso por si só não mostra isso. Para isso, precisa da folha de registo com as suas quatro áreas e de uma pasta de testes com os seus próprios casos.

Como um fluxo nasce no searchit, é simulado em modo acelerado e é aprovado, mostramos-lhe com gosto com os seus próprios dados – numa demonstração.

Artigos relacionados: Melhores software de pesquisa empresarial 2026 · Hardware para LLM locais

Fonte do método: OpenAI, «Evaluation best practices», consultado em novembro de 2026. O teste de aceitação deste artigo é um esboço próprio e não uma recomendação da OpenAI. Os nomes de produtos e empresas mencionados são marcas dos respetivos titulares.

Também lhe pode interessar