Curso completo

Testando Aplicações de IA

Teste o que você não consegue verificar: construa suítes de eval para aplicações com LLMs e agentes, avalie saídas não determinísticas e faça red teaming nas suas funcionalidades de IA antes que os seus usuários façam.

~4 horas de conteúdo

Começar o curso Ver aulas

Conteúdo do curso

10 aulas completas cobrindo tudo o que você precisa saber

Introdução

Visão geral do curso

Saiba o que este curso cobre, para quem ele é e como testar IA difere de usar IA para testar.

Introdução

Por que aplicações de IA quebram o QA tradicional

Por que asserções de igualdade exata, testes de snapshot e gravar-e-reproduzir falham aqui, e o que entra no lugar.

Entendendo o sistema sob teste

Aula

Aula 1

LLMs, agentes e RAG em linguagem simples

O vocabulário que quem testa precisa: prompts, janelas de contexto, temperatura, embeddings, recuperação, chamadas de ferramenta e laços de agente. Sem matemática.

Aula

Aula 2

Não determinismo e o que ele faz com as asserções

De passou ou falhou em uma execução para uma pontuação em muitas, além de limiares, variância e relatórios de bug que sobrevivem a isso.

Aula

Aula 3

Os modos de falha de funcionalidades de IA

Alucinação, recusa errada, injeção de prompt, uso indevido de ferramenta, vazamento de contexto, deriva de custo e regressão silenciosa após atualização de modelo.

Construindo uma suíte de avaliação

Aula

Aula 4

Conjuntos de dados de referência

Curar casos, por que 30 bons batem 300 gerados, registrar comportamento esperado em vez de strings, e versionar o conjunto.

Aula

Aula 5

Verificações determinísticas primeiro

Tudo o que você ainda pode verificar exatamente: schema, citações, chamadas de ferramenta, strings proibidas, recusas e orçamentos de latência e custo.

Aula

Aula 6

LLM como juiz

Escrever uma rubrica, pontuar numa escala, calibrar o juiz contra rótulos humanos e a armadilha de um juiz tão errado quanto o sistema que ele avalia.

Aula

Aula 7

As métricas que importam

Métricas de RAG, métricas de agentes e custo e latência como números de primeira classe, com uma regra: uma métrica ganha seu lugar mudando uma decisão.

Publicando e mantendo seguro

Aula

Aula 8

Evals na integração contínua

Transformar pontuações num gate: duas faixas, amostragem honesta, limiares derivados do ruído medido e o que fazer quando fica vermelho.

Aula

Aula 9

Red teaming e testes adversários

Injeção de prompt, jailbreaks, exfiltração de dados, vazamento de dados pessoais e uma suíte adversária reexecutada a cada mudança de modelo.

Aula

Aula 10

Observabilidade e feedback de produção

Rastrear chamadas em produção, identificar falhas que usuários nunca reportam e trazê-las de volta para o conjunto de dados de referência.

Bônus e conclusão

Bônus

Bônus: o cenário de ferramentas de teste de IA

Cada conceito do curso mapeado para DeepEval, RAGAS, Promptfoo, LangSmith, Braintrust e construir a sua própria.

Conclusão

Parabéns!

Você concluiu o curso Testando Aplicações de IA!