78 lines
2.2 KiB
Markdown
78 lines
2.2 KiB
Markdown
# Les 17: AI Production Polish — Observability, Evals, Security, Cost
|
|
|
|
> ✅ **Deze les is volledig uitgewerkt**
|
|
|
|
## Lesmateriaal
|
|
|
|
- [Slide Overzicht](../Les17-Production-Polish/Les17-Slide-Overzicht.md)
|
|
- [Docenttekst](../Les17-Production-Polish/Les17-Docenttekst.md)
|
|
- [Lesstof](../Les17-Production-Polish/Les17-Lesstof.md)
|
|
- [Lesopdracht](../Les17-Production-Polish/Les17-Lesopdracht.md)
|
|
- [Huiswerk](../Les17-Production-Polish/Les17-Huiswerk.md)
|
|
|
|
---
|
|
|
|
## Deel
|
|
**Deel 4 — Production & Advanced** (Les 17-18)
|
|
|
|
## Beschrijving
|
|
Van "het werkt op mijn laptop" naar productie-klaar. We behandelen de vier pillaren: observability (Langfuse), evals (LLM-as-judge), security (prompt injection + guardrails) en cost (monitoring + model routing).
|
|
|
|
---
|
|
|
|
## Te Behandelen
|
|
|
|
### Theorie
|
|
- De vier pillaren: observability, evals, security, cost
|
|
- Waarom logs alleen niet genoeg zijn voor AI
|
|
- Evals als unit tests voor LLM-output
|
|
- Prompt injection — een echte demo
|
|
- Cost-monitoring: per user, per route, per model
|
|
|
|
### Live demo's
|
|
1. Langfuse trace-integratie in Polderfest-chat
|
|
2. Eval-suite met LLM-as-judge (Vitest + AI SDK)
|
|
3. Prompt injection: aanvallen + guardrails (Lakera-style)
|
|
4. Cost-tracking middleware + automatic model routing
|
|
|
|
---
|
|
|
|
## Tools
|
|
- Langfuse (self-hosted of cloud)
|
|
- Vitest voor evals
|
|
- Vercel AI SDK middleware
|
|
- Lakera AI / prompt-shield patterns
|
|
|
|
---
|
|
|
|
## Lesopdracht (in-class, 30 min)
|
|
|
|
Studenten kijken klassikaal mee. In-class oefening:
|
|
- Activeer Langfuse-tracing in je eigen Polderfest-fork
|
|
- Bekijk je eerste trace
|
|
- Voeg één eval-test toe en run hem
|
|
|
|
**Inleveren:** Screenshot Langfuse-trace + 1 passing eval.
|
|
|
|
---
|
|
|
|
## Huiswerk (take-home)
|
|
|
|
In je eigen project uit Les 11-15:
|
|
- Volledige eval-suite (min. 5 tests)
|
|
- Security-laag tegen prompt injection
|
|
- Cost-dashboard (Langfuse of eigen middleware)
|
|
- `POLISH.md` in repo-root: wat heb je toegevoegd en waarom?
|
|
|
|
**Inleveren:** GitHub URL via Teams.
|
|
|
|
---
|
|
|
|
## Leerdoelen
|
|
Na deze les kan de student:
|
|
- De vier productie-pillaren benoemen en uitleggen
|
|
- Een AI-app instrumenteren met Langfuse-traces
|
|
- Een LLM-as-judge eval-suite opzetten met Vitest
|
|
- Een prompt injection herkennen en bescherming inbouwen
|
|
- Cost-per-user meten en model-routing inrichten
|