Cómo probar un agente de IA antes de que hable con tus clientes

Probarlo a ojo es hacerle unas preguntas y juzgar por intuición. Ponerlo a prueba es escribir antes qué es una buena respuesta para cada caso y comprobarlo después de cada cambio. Importa por tres motivos.

• Los clientes desconfían de los bots. En una encuesta de Gartner a 5.728 clientes, el 64% dijo que preferiría que las empresas no usaran IA en la atención al cliente; su mayor temor era que fuera más difícil hablar con una persona (Gartner, julio de 2024, en inglés).
• Lo que dice el agente lo dice tu empresa. En febrero de 2024, un tribunal canadiense condenó a Air Canada a pagar a un pasajero 650,88 dólares canadienses de indemnización: el asistente automático de su web le dio a entender que podía pedir la tarifa por duelo con carácter retroactivo, algo que la aerolínea no permitía. Según el tribunal, la aerolínea responde de toda la información de su web, venga de una página fija o de un “chatbot” (Moffatt v. Air Canada, 2024 BCCRT 149, en inglés).
• La misma pregunta no siempre recibe la misma respuesta. Los ingenieros de Anthropic repiten cada prueba varias veces porque las respuestas del modelo varían de una ejecución a otra (Anthropic, enero de 2026, en inglés).

No hacen falta cientos de casos. La guía de ingeniería de Anthropic sobre cómo evaluar agentes dice que 20 a 50 tareas sencillas sacadas de fallos reales son un gran comienzo. Nosotros trabajamos igual: unas 20 conversaciones reales para aprender cómo escribe tu equipo, convertidas en unos 50 casos, y más cuando aparece una situación sin cubrir. Sácalas de tu WhatsApp, tu correo o tus notas de llamadas:

• Las que se repiten. Horario, documentos, precios publicados, cómo va un pedido.
• Las que salieron mal. Un cliente que entendió otra cosa, un documento que hubo que pedir tres veces.
• Las que decidió una persona. Una excepción, un descuento, un criterio técnico.
• Las incómodas. Un cliente enfadado, una foto ilegible, una nota de voz, otro idioma, algo que no ofreces.

Quita antes nombres, teléfonos y cualquier dato personal. Necesitas la situación, no a la persona.

Para cada caso, escribe tres cosas antes de ver qué contesta el agente: lo que escribe el cliente, lo que debe hacer una buena respuesta y lo que no debe hacer nunca. Juzga el resultado, no la redacción: la guía de Anthropic aconseja evaluar lo que el agente consiguió, no el camino que siguió.

Ayuda clasificar cada caso en una de tres zonas:

• Responde. Datos de tus fuentes que puede dar con seguridad: horarios, requisitos, documentos.
• Informa, pero no decide. Explica cómo suele funcionar algo y deja claro que lo confirma una persona.
• Pasa a una persona. Precios fuera de tus reglas, criterios técnicos, quejas: pasa la conversación a alguien del equipo, con el historial.

• Datos solo de tus fuentes. Si la respuesta no está en tu información, lo dice y pasa a una persona. Nunca se la inventa.
• La petición correcta. Pide el documento o la foto que exige el trámite, de uno en uno, y lo vuelve a pedir cuando no se lee.
• Su zona. Responde, informa o pasa a una persona, según diga el caso.
• Que es una IA. Desde el 2 de agosto de 2026, el Reglamento europeo de IA exige a los proveedores que los sistemas que hablan con personas estén diseñados para que estas sepan que tratan con una IA, salvo que sea evidente (artículo 50).
• Un camino hacia una persona. La política de mensajería de WhatsApp Business, actualizada el 23 de septiembre de 2026, permite respuestas automáticas en la ventana de 24 horas, pero exige vías claras, directas e inmediatas para llegar a una persona (WhatsApp, en inglés).
• Tu forma de hablar. Frases cortas, el idioma del cliente, sin relleno. Casi todos los bots que suenan a robot son educados como nadie de tu equipo lo es: juzga el tono contra dos o tres respuestas reales de tu equipo.

Casi todos los fallos vienen de una regla que falta, es vaga u otra contradice: te contamos cómo evitarlo en cómo escribir instrucciones para agentes de IA.

• Cada traspaso y cada queja se convierte en un caso. La guía de Anthropic recomienda convertir en casos de prueba los fallos que señalan los usuarios. Los casos antiguos deben seguir aprobando, cerca del 100%: Anthropic llama a esto pruebas de regresión.
• Pasa la batería entera después de cada cambio, también si cambias de modelo. Y los modelos cambian a menudo: Anthropic lanzó Claude Haiku 5.5 el 7 de octubre de 2026, y sus notas de versión avisan de que el código escrito para el Haiku anterior puede dejar de funcionar con él (Anthropic, en inglés).
• Lee una muestra cada semana. Anthropic recomienda leer cada semana una muestra de transcripciones, y desde el 14 de octubre de 2026 su plataforma puede enviar el rastro de las peticiones a la API y de las sesiones de Managed Agents a las herramientas de monitorización de la empresa (exportación OpenTelemetry, en beta). Uses lo que uses, guarda registro de lo que hizo el agente y míralo.

Cada agente que construimos se prueba con preguntas reales del cliente y sale cuando las supera. Si ya tienes un agente propio, hecho con ChatGPT, Claude, n8n o lo que sea, podemos montar contigo esa batería de pruebas, corregir lo que falle y dejarte las pruebas: es nuestra puesta a punto de tu agente de IA.