Visão geral do curso

Bem-vindo ao curso Testando Aplicações de IA, um curso agnóstico de ferramentas sobre como testar software que não te dá a mesma resposta duas vezes.

Algo mudou nos produtos que testamos. Uma funcionalidade costumava ser uma função: mesma entrada, mesma saída, e um teste era uma aposta de que a saída não mudaria. Aí a sua empresa lançou um chatbot, ou uma busca baseada em RAG, ou um sumarizador, ou um agente que chama ferramentas em nome do usuário, e a aposta parou de pagar. expect(output).to.equal("...") agora é um teste que falha por motivos que não são bugs e passa enquanto a funcionalidade piora silenciosamente.

Este curso é sobre o que entra no lugar disso.

Para quem é este curso 👤

1. Pessoas de teste e QA cuja empresa lançou, ou está prestes a lançar, uma funcionalidade de IA e que precisam de uma estratégia de teste para ela até o próximo sprint
2. Pessoas de automação que automatizam qualquer coisa determinística e travam no momento em que o resultado esperado vira "uma resposta razoável"
3. Líderes e gestores de teste que precisam responder à pergunta "essa funcionalidade de IA está boa o suficiente para ir para produção?" com algo melhor do que uma demonstração

Você não precisa ser cientista de dados. Não há matemática neste curso, nem treinamento de modelo, nem fine-tuning. Você precisa saber testar software e estar disposto a trocar um sinal verde por uma pontuação.

O que este curso não é ⚠️

Este não é um curso sobre usar IA para te ajudar a testar. Esse curso já existe na plataforma, é o Testes com IA para QAs, e ele cobre o uso de IA para analisar requisitos, gerar ideias e dados de teste, escrever relatórios de bug melhores e apoiar a sua automação.

A distinção é importante o bastante para ser dita sem rodeios:

• Testes com IA para QAs aponta a IA para o seu trabalho de teste. O sistema sob teste é software comum
• Este curso aponta o seu trabalho de teste para a IA. O sistema sob teste é, ele próprio, não determinístico

Eles se complementam e nenhum é pré-requisito do outro. Se o que você quer é um fluxo de trabalho mais inteligente, faça o outro. Se o que você quer é uma forma de testar a funcionalidade com LLM que o seu time acabou de lançar, você está no lugar certo.

O que este curso é

Um curso de conceitos. Não há repositório para clonar, biblioteca para instalar nem código para escrever. Cada aula é deliberadamente portátil, porque as ferramentas dessa área têm um ano de idade e serão substituídas. O que não será substituído é a prática por baixo delas: curar um conjunto de dados, verificar exatamente o que pode ser verificado, pontuar o que não pode, usar a pontuação como gate e atacar a sua própria funcionalidade antes que outra pessoa o faça.

Essas ideias já têm um nome no mercado: evals. Ao final deste curso você vai saber o que é uma suíte de evals, como construir uma e como defender os números que ela produz.

Como este curso está organizado 🗺️

Doze aulas, agrupadas em três partes, mais um bônus:

1. Entendendo o sistema sob teste: o vocabulário que quem testa realmente precisa, o que o não determinismo faz com as asserções e os modos de falha específicos de funcionalidades de IA
2. Construindo uma suíte de avaliação: conjuntos de dados de referência, as verificações determinísticas que ainda funcionam, LLM como juiz e as métricas que valem a pena acompanhar
3. Publicando e mantendo seguro: evals na integração contínua, red teaming e o fechamento do ciclo com observabilidade em produção

A aula bônus percorre o cenário atual de ferramentas (DeepEval, RAGAS, Promptfoo, LangSmith, Braintrust e construir a sua própria) e mapeia cada conceito do curso para o nome que cada ferramenta usa.

Se você precisar de mais base 📚

As aulas assumem que você já testou software e sabe ler um payload JSON. Se APIs parecerem frágeis para você, o tópico de fundamentos de HTTP, REST e JSON cobre o necessário, já que quase toda funcionalidade de IA que você vai testar é acessada por uma API.

👨‍🏫 A seção de Fundamentos está incluída na sua conta. Abra em outra aba sempre que um termo passar batido e depois volte para cá.

Quizzes

Ao final de cada aula há um quiz curto sobre os conceitos abordados.

👨‍🏫 Você precisa acertar 100% do quiz para desbloquear a próxima aula.

As perguntas são sobre julgamento, não sobre memorização. Você será perguntado sobre o que um número significa e o que você deveria fazer a respeito, não sobre qual métrica pertence a qual biblioteca.

Precisa de ajuda? 🆘

Se você travar em algum momento do curso, pode pedir suporte diretamente pela plataforma.

Procure o botão de balão de conversa com um ponto de interrogação no canto inferior direito de qualquer página de curso ou aula. Ao clicar nele, você vai para a página de Suporte, onde encontra meu e-mail, um modelo para descrever seu problema com clareza e um link para entrar no nosso grupo privado no Telegram - onde você pode se conectar com outros estudantes e receber suporte direto do instrutor sempre que precisar.

Compartilhe seu feedback 💬

Tem uma ideia para melhorar este curso - ou a plataforma? Um tema que gostaria que fosse abordado, ou um curso novo que adoraria ver? Eu quero muito ouvir.

Procure o botão de balão de conversa com um sinal de mais no canto inferior direito de qualquer página de curso ou aula, logo acima do botão de suporte. Ao clicar nele, você vai para a página de Feedback, onde pode enviar suas sugestões, ideias de melhoria ou pedidos de curso por um formulário rápido.

💡 Cada feedback ajuda a moldar o que vem por aí. Obrigado por dedicar um tempo para compartilhar!

Vamos começar 🚀

Isso é tudo o que você precisa saber para começar.

Esta visão geral é gratuita e pode ser lida sem conta, então sinta-se à vontade para compartilhá-la com qualquer pessoa do seu time que esteja prestes a herdar uma funcionalidade de IA e não faça ideia de como testá-la.

👨‍🏫 Vá para a próxima aula para ver exatamente quais dos seus hábitos de teste param de funcionar, e por quê.