Ir al contenido
Última actualización:
Blog técnico

Búsqueda empresarial, búsqueda de texto completo e IA en la empresa

Enterprise Search

Evaluar agentes de IA en la empresa: medir por separado errores, consultas y retrabajo

En la fase piloto, un agente de IA suele dar buena impresión. Si en producción ahorra más trabajo del que cuestan el control y el mantenimiento, no lo muestra una tasa de éxito por sí sola. Para eso hay que registrar por separado los errores, las consultas y el retrabajo. Este artículo describe una prueba de aceptación para la oficina que puede realizar con sus propios casos.

por Sebastian @searchit · · 11 min de lectura

Compartir
Cinta transportadora con cartas, una hoja de calendario y una carpeta de oferta que pasa por una puerta de control de cristal; detrás, cuatro bandejas de clasificación azules en tonos graduadosGenerado con IA

Responder correos, anotar citas, preparar ofertas: son ejemplos típicos de agentes de IA en la oficina, y cada uno utiliza varias herramientas una tras otra. En la fase piloto suele contar una sola cosa: ¿salió al final lo correcto? Para decidir sobre la puesta en producción, a mí eso no me basta. Un agente que resuelve bien nueve de cada diez encargos puede generar más trabajo del que ahorra, porque pregunta continuamente, porque alguien tiene que revisar cada resultado o porque ese único error fue un correo erróneo a un cliente.

Una advertencia previa: somos el fabricante de searchit. La prueba de aceptación que sigue es un borrador de método surgido de nuestro propio trabajo, inspirado en las Evaluation best practices de OpenAI. No es una norma. Mi consejo para introducir la IA en la empresa: adapte la prueba a sus procesos y compruebe cada resultado con su propio fondo documental, con cualquier proveedor.

En resumen

  • Una tasa oculta demasiado. Cuente por separado los errores, las consultas, el retrabajo y el esfuerzo de control.
  • Los errores tienen clases. Una frase incorrecta en un borrador no es lo mismo que un correo al destinatario equivocado. Un error con efecto hacia fuera nunca entra en la media.
  • El resultado esperado se fija antes de la prueba: lo establece alguien que conoce el proceso, no el agente y no después de la ejecución.
  • Se prueba sin efecto hacia fuera: como borrador, en una ejecución de prueba o con una cuenta de prueba que tenga permisos realistas.
  • El balance contrapone el tiempo ahorrado al esfuerzo de revisión, retrabajo y mantenimiento, y se vuelve a calcular después de cada cambio.

Por qué no basta una tasa de éxito

“El agente resuelve bien el 90 por ciento de los casos” suena a respuesta clara. Para la producción, sin embargo, deja abiertas las preguntas decisivas:

  • ¿Cómo llegó al final? ¿Solo, tras dos consultas o únicamente después de que alguien reelaborara el resultado?
  • ¿Cuánto cuesta el control? ¿Hay que revisar cada resultado o bastan muestras aleatorias?
  • ¿Qué pasó en los demás casos? ¿El agente se detuvo y lo comunicó, o entregó un resultado erróneo que nadie notó?
  • ¿Cuánto cuesta el mantenimiento? Las instrucciones, los permisos y las herramientas cambian; un nuevo modelo de lenguaje se comporta de forma distinta al anterior.

En un flujo de trabajo de IA con varias herramientas, los errores suelen surgir en los traspasos. El agente elige la herramienta equivocada, transmite mal un valor correcto o sigue trabajando aunque una herramienta haya notificado un error. En el resultado final se ve poco de eso; en el registro de la ejecución, en cambio, sí.

Cuatro recuentos en lugar de una nota

Registre por separado cuatro ámbitos para cada caso de prueba. Solo juntos ofrecen una imagen significativa.

1. Errores, por clases

Un error es un resultado que se aparta del resultado esperado fijado de antemano. Asigne cada error a una clase:

ClaseEjemploCómo cuenta
críticocorreo al destinatario equivocado, cita con el cliente equivocado, registro sobrescrito, dato confidencial transmitidouno a uno, nunca en la media: un solo caso basta para “no aceptado”
de contenidoplazo erróneo, importe erróneo, persona de contacto errónea en el borradorcomo tasa, con umbral
formalsaludo, formato, tonocomo tasa, con umbral propio

Anote además si el error se hizo visible. Un agente que comunica “No encuentro ningún contrato de este cliente” no ha cumplido su encargo, pero ha dejado a la vista el hueco. Un agente que en su lugar cita un contrato inventado es más peligroso, aunque ambos casos cuenten como “no resuelto”. Distinga estos casos en sus registros.

2. Consultas: justificadas o evitables

Las consultas no son malas por principio. Un agente que pregunta antes de un correo con efecto hacia fuera hace exactamente lo correcto. Por eso, distinga:

  • consultas justificadas: el dato faltaba de verdad o la acción necesita una aprobación.
  • consultas evitables: el dato estaba en el encargo, en el documento o en el buzón, y el agente no lo encontró.

Las consultas evitables apuntan a conocimiento que falta o a una instrucción poco clara; a menudo es el problema más barato de resolver.

3. Retrabajo, en minutos

El retrabajo es todo lo que una persona cambia en el resultado antes de que siga adelante. Mídalo en minutos en lugar de con un sí o un no. Un borrador en el que solo hay que corregir dos palabras ahorra casi todo el tiempo; uno que hay que reescribir no ahorra nada.

4. Control y mantenimiento

Registre el tiempo de revisión también cuando el resultado era correcto. A ello se suma el mantenimiento continuo: afinar instrucciones, ajustar permisos, volver a probar tras un cambio de modelo. Quien lo omite se maquilla las cuentas del agente y medio año después se pregunta por qué el ahorro, en el fondo, nunca llegó.

La prueba de aceptación en ocho pasos

El procedimiento es un borrador para la oficina. No exige programar, pero sí unas horas de alguien que conozca el proceso. Antes de la primera ejecución, fije tanto los resultados esperados como los umbrales del paso 6.

  1. Acotar una tarea. No “el agente ayuda en ventas”, sino “el agente responde desde el buzón a consultas sobre plazos de entrega y crea un recordatorio de seguimiento”.
  2. Reunir una carpeta de pruebas con casos reales. Mejor pocos casos reales que muchos inventados. Incluya a propósito los difíciles: solicitudes incompletas, datos contradictorios y casos en los que el agente no debe hacer nada.
  3. Fijar de antemano el resultado esperado. Para cada caso, alguien que conoce el proceso anota qué sería lo correcto, antes de que se ejecute el agente. De lo contrario, el resultado esperado se ajusta inconscientemente al resultado obtenido.
  4. Ejecutar sin efecto hacia fuera. Correos como borrador, procesos en ejecución de prueba, una cuenta de prueba con los permisos de un rol real. Una cuenta de prueba con acceso total mide algo distinto de la producción.
  5. Rellenar los cuatro recuentos para cada caso, en la hoja de medición de abajo. Para ello, lea el registro de la ejecución, no solo el resultado.
  6. Fijar los umbrales de antemano. Por ejemplo: ningún error crítico y errores de contenido por debajo de un límite que usted mismo determine. Evalúe la ejecución con estos umbrales fijados de antemano. Un error crítico pone fin a la aceptación, por bien que se vea el resto.
  7. Hacer el balance. Compare el tiempo de tramitación manual que se invertía hasta ahora con el tiempo de revisión, el retrabajo y el esfuerzo de mantenimiento estimado. Si queda demasiado poco, eso es un resultado, no un fracaso.
  8. Repetir tras cada cambio. Nuevo modelo de lenguaje, nueva instrucción, nueva herramienta, permisos modificados: la misma carpeta de pruebas, los mismos resultados esperados, comparación con la última ejecución.

La hoja de medición

Caso¿Resultado esperado alcanzado?Clase de error¿Visible?Consultas (justificadas / evitables)Retrabajo (min)Tiempo de revisión (min)
1
2
…

Al final, los resultados de los cuatro ámbitos quedan uno al lado del otro, en lugar de desaparecer en una nota. También en nuestras propias mediciones del enriquecimiento de documentos mediante modelos de lenguaje trabajamos con una versión de referencia fijada de antemano. En ellas registramos por separado lo que el modelo encontró correctamente, lo que pasó por alto y lo que inventó.

Lo que un agente debería traer para la aceptación

Lo bien que se puede evaluar un agente depende también del software en el que funciona. Pregunte a cada proveedor:

  • ¿Hay una ejecución de prueba? ¿Se puede simular un proceso sin que salga nada?
  • ¿Quién aprueba? ¿Está separado el diseño de un proceso de su aprobación?
  • ¿Qué muestra la consulta? ¿Ve el usuario antes del envío lo que realmente sale: destinatarios, adjuntos, texto?
  • ¿De qué dependen los permisos? ¿Del agente o del usuario para el que trabaja?
  • ¿Se puede rastrear qué modelo generó qué? Solo así se puede comparar limpiamente un cambio de modelo con la ejecución anterior.
  • ¿Se registran las correcciones? El retrabajo que no consta en ninguna parte no aparece en ningún balance.

Cómo apoya searchit la aceptación

searchit es la memoria bajo sus agentes de IA y trae un agente propio, el searchit AI Agent. Para la prueba de aceptación, eso significa:

  • Simular procesos a cámara rápida. Desde la versión 8.0, un usuario describe un proceso con sus propias palabras y el agente lo convierte en un borrador. searchit lo comprueba frente a los componentes permitidos y lo simula a cámara rápida: qué mensaje iría cuándo y a quién, sin que se envíe nada. El proceso solo se activa tras la aprobación. Diseñar y aprobar son roles propios.
  • Versiones en lugar de sorpresas. Los procesos están versionados. Si modifica un proceso después de la prueba, un caso en curso se mantiene en su versión, y la siguiente ejecución de prueba compara limpiamente lo antiguo con lo nuevo.
  • Consulta antes del envío. Antes de que el searchit AI Agent envíe un correo o un mensaje corto (SMS) o borre correos, un diálogo en el puesto de trabajo muestra destinatarios, línea de asunto, adjuntos y texto. “No enviar” está preseleccionado.
  • Permisos del usuario. Lo que un agente puede hacer a través de la interfaz depende de los roles del usuario que ha iniciado sesión. Si falta un rol, el servidor rechaza la acción y lo indica. Por eso, una cuenta de prueba con un rol real comprueba los mismos roles que rigen en producción.
  • Origen de cada campo de IA. Cada campo que un modelo de lenguaje genera al indexar lleva modelo, versión del modelo, fecha y hora e identificador del prompt. Tras un cambio de modelo, usted ve qué resultados proceden de la ejecución antigua y cuáles de la nueva.
  • Las correcciones de asuntos pendientes reconocidos quedan a la vista. Si searchit ha reconocido mal un asunto pendiente, el usuario lo corrige con un clic y ve sus correcciones, junto con su efecto, en una lista. Para los agentes de servicio, la administración de agentes muestra los últimos encargos y errores.

Cómo encajan procesos, agentes y memoria lo muestra la diapositiva “Una rueda engrana con la otra” en searchit-agent.ai.

Preguntas frecuentes

¿Cuántos casos de prueba necesita una aceptación?

No hay una cifra fija. Más importante que la cantidad es la mezcla: casos reales, entre ellos los difíciles y aquellos en los que el agente no debe hacer nada. Si en producción aparecen nuevos tipos de error, esos casos pasan a la carpeta de pruebas.

¿Quién fija el resultado esperado?

Alguien que hoy realiza el proceso a mano, antes de la ejecución y sin conocer el resultado del agente. En los casos dudosos ayuda una segunda persona.

¿Qué es un error crítico?

Todo error que tiene efecto fuera del agente o que es difícil de deshacer: un mensaje erróneo hacia fuera, una información modificada o borrada por error, un dato confidencial transmitido sin autorización. Qué acciones entran en esta categoría en su caso lo decide usted antes de la prueba.

¿Cuándo tengo que volver a probar?

Tras cada cambio que influya en el comportamiento: otro modelo de lenguaje, una instrucción o habilidad modificada, una nueva herramienta, otros permisos. Con la misma carpeta de pruebas, la comparación se hace en poco tiempo.

¿Basta con que el agente pregunte antes de cada acción?

No. Una consulta protege del efecto hacia fuera, pero cuesta tiempo. Quien confirma decenas de consultas al día acaba por no leer con atención. Por eso la prueba registra también las consultas.

Conclusión

Para mí, la automatización con IA en la empresa incluye un balance que recoja también el esfuerzo de control. Según este borrador de método, un agente de IA en la empresa está aceptado cuando no comete ningún error crítico, respeta los umbrales fijados y, en resumidas cuentas, ahorra más tiempo del que cuestan el control, el retrabajo y el mantenimiento. Eso no lo muestra una tasa de éxito por sí sola. Para ello necesita la hoja de medición con sus cuatro ámbitos y una carpeta de pruebas con sus propios casos.

Cómo nace un proceso en searchit, cómo se simula a cámara rápida y cómo se aprueba se lo mostramos con mucho gusto con su propio fondo documental, en una demostración.

Artículos relacionados: Mejores buscadores empresariales 2026 · Hardware para LLM locales

Fuente del método: OpenAI, “Evaluation best practices”, consultado en noviembre de 2026. La prueba de aceptación de este artículo es un borrador propio y no una recomendación de OpenAI. Los nombres de productos y empresas mencionados son marcas de sus respectivos titulares.

También le puede interesar