Visión general del curso

Bienvenido a Testing de Aplicaciones de IA, un curso agnóstico de herramientas sobre cómo probar software que no te da la misma respuesta dos veces.

Algo cambió en los productos que probamos. Una funcionalidad solía ser una función: la misma entrada, la misma salida, y una prueba era una apuesta a que la salida no se movería. Luego tu empresa lanzó un chatbot, o una búsqueda basada en RAG, o un resumidor, o un agente que llama herramientas en nombre del usuario, y la apuesta dejó de pagar. expect(output).to.equal("...") ahora es una prueba que falla por motivos que no son errores y que pasa mientras la funcionalidad empeora en silencio.

Este curso trata sobre lo que la reemplaza.

Para quién es este curso 👤

1. Personas de testing y QA cuya empresa lanzó, o está por lanzar, una funcionalidad de IA y que necesitan una estrategia de pruebas para el próximo sprint
2. Personas de automatización que automatizan cualquier cosa determinista y se traban en el momento en que el resultado esperado pasa a ser "una respuesta razonable"
3. Líderes y gerentes de testing que deben responder a la pregunta "¿esta funcionalidad de IA está lo bastante buena para publicarse?" con algo mejor que una demostración

No necesitas ser científico de datos. En este curso no hay matemáticas, ni entrenamiento de modelos, ni fine-tuning. Necesitas saber probar software y estar dispuesto a cambiar una marca verde por un puntaje.

Lo que este curso no es ⚠️

Este no es un curso sobre usar IA para ayudarte a probar. Ese curso ya existe en la plataforma, es Testing Asistido por IA para QAs, y cubre el uso de IA para analizar requisitos, generar ideas y datos de prueba, escribir mejores reportes de error y apoyar tu automatización.

La distinción importa lo suficiente como para ser directo:

• Testing Asistido por IA para QAs apunta la IA a tu trabajo de testing. El sistema bajo prueba es software común
• Este curso apunta tu trabajo de testing a la IA. El sistema bajo prueba es, en sí mismo, no determinista

Se complementan y ninguno es requisito del otro. Si lo que quieres es un flujo de trabajo más inteligente, toma el otro. Si lo que quieres es una forma de probar la funcionalidad con LLM que tu equipo acaba de lanzar, estás en el lugar correcto.

Lo que este curso sí es

Un curso de conceptos. No hay repositorio que clonar, ni biblioteca que instalar, ni código que escribir. Cada lección es deliberadamente portátil, porque las herramientas de esta área tienen un año de vida y serán reemplazadas. Lo que no será reemplazado es la práctica que hay debajo: curar un conjunto de datos, verificar exactamente lo que se puede verificar, puntuar lo que no, usar el puntaje como compuerta y atacar tu propia funcionalidad antes de que lo haga otra persona.

Esas ideas ya tienen nombre en la industria: evals. Al terminar este curso sabrás qué es una suite de evals, cómo construir una y cómo defender los números que produce.

Cómo está organizado este curso 🗺️

Doce lecciones, agrupadas en tres partes, más un bonus:

1. Entendiendo el sistema bajo prueba: el vocabulario que realmente necesita quien prueba, qué le hace el no determinismo a las aserciones y los modos de falla propios de las funcionalidades de IA
2. Construyendo una suite de evaluación: conjuntos de datos de referencia, las verificaciones deterministas que siguen funcionando, LLM como juez y las métricas que vale la pena seguir
3. Publicar y mantenerlo seguro: evals en CI, red teaming y el cierre del ciclo con observabilidad en producción

La lección bonus recorre el panorama actual de herramientas (DeepEval, RAGAS, Promptfoo, LangSmith, Braintrust y construir la tuya) y mapea cada concepto del curso al nombre que usa cada herramienta.

Si necesitas más base 📚

Las lecciones asumen que ya has probado software y que sabes leer un payload JSON. Si las APIs te resultan frágiles, el tema de fundamentos de HTTP, REST y JSON cubre lo necesario, ya que casi toda funcionalidad de IA que vayas a probar se alcanza por una API.

👨‍🏫 La sección de Fundamentos está incluida en tu cuenta. Ábrela en otra pestaña cada vez que se te escape un término y luego vuelve aquí.

Cuestionarios

Al final de cada lección hay un cuestionario breve sobre los conceptos vistos.

👨‍🏫 Debes obtener 100% en el cuestionario para desbloquear la siguiente lección.

Las preguntas son de criterio, no de memoria. Se te preguntará qué significa un número y qué deberías hacer al respecto, no qué métrica pertenece a qué biblioteca.

¿Necesitas ayuda? 🆘

Si te trabas en algún momento del curso, puedes pedir soporte directamente desde la plataforma.

Busca el botón de globo de conversación con un signo de interrogación en la esquina inferior derecha de cualquier página de curso o lección. Al hacer clic irás a la página de Soporte, donde encontrarás mi correo, una plantilla para describir tu problema con claridad y un enlace para unirte a nuestro grupo privado de Telegram - donde puedes conectarte con otros estudiantes y recibir soporte directo del instructor cuando lo necesites.

Comparte tu opinión 💬

¿Tienes una idea para mejorar este curso, o la plataforma? ¿Un tema que te gustaría que cubriéramos, o un curso nuevo que te encantaría ver? Me encantaría escucharlo.

Busca el botón de globo de conversación con un signo de más en la esquina inferior derecha de cualquier página de curso o lección, justo encima del botón de soporte. Al hacer clic irás a la página de Feedback, donde puedes enviar tus sugerencias, ideas de mejora o pedidos de curso mediante un formulario rápido.

💡 Cada comentario ayuda a dar forma a lo que viene. ¡Gracias por tomarte el tiempo de compartirlo!

Empecemos 🚀

Eso es todo lo que necesitas saber para comenzar.

Esta introducción es gratuita y se puede leer sin cuenta, así que compártela con cualquier persona de tu equipo que esté por heredar una funcionalidad de IA y no tenga idea de cómo probarla.

👨‍🏫 Pasa a la siguiente lección para ver exactamente cuáles de tus hábitos de testing dejan de funcionar, y por qué.