Anthropic / webapp-testing
¿Cómo evitas que un agente afirme que el cambio funciona?
Haciendo que comprobar forme parte del trabajo, no sea un paso opcional.
Lo que conviene recordar
- El fallo que evita es el informe falso y confiado, que es el más costoso.
- Necesita una aplicación en marcha. No es análisis estático.
- Pide observaciones, no conclusiones. Lo que apareció en pantalla es verificable; que funcionó no lo es.
- Se combina con verification-before-completion, que convierte el hábito en regla.
01Qué cambia en la práctica
El fallo por defecto de los agentes de código no es escribir mal. Es escribir algo plausible y luego informar de que la tarea está hecha sin haberla ejecutado nunca. Cada hora perdida así se gasta en descubrir el fallo más tarde y en peor sitio.
Manejar la aplicación convierte el informe en evidencia. Lo útil no son las palabras del agente sino la secuencia de acciones y lo que hizo la página en respuesta.
02Dónde decepciona
Verifica comportamiento, no intención. Un flujo puede pasar todos los pasos y seguir siendo el flujo equivocado, y eso es una pregunta de producto.
Los selectores frágiles y los problemas de tiempos se heredan de la automatización de navegador de siempre, así que conviene hacer comprobaciones específicas y no amplias.
Instalación y primera ejecución
- Instálala desde anthropics/skills con licencia Apache 2.0.
- Ten la aplicación corriendo antes, porque la skill maneja una app real, no imaginada.
- Pide que la comprobación se describa como acción de usuario y observación esperada, no como afirmación de éxito.
Preguntas que la gente hace de verdad
- ¿Sustituye a una suite de tests?
- No. Verifica el trabajo en curso. Los tests duraderos siguen viviendo en el repositorio.
- ¿La app tiene que estar corriendo?
- Sí. Maneja una aplicación real, así que el servidor debe estar levantado.
- ¿Qué debo pedirle que informe?
- Acciones y observaciones: qué pulsó y qué apareció después. Las conclusiones sin observaciones son justo el fallo que evita.
Fuentes
Versiones legibles por máquina de esta página