# Les 17: AI Production Polish — Observability, Evals, Security, Cost

> ✅ **Deze les is volledig uitgewerkt**

## Lesmateriaal

- [Slide Overzicht](../Les17-Production-Polish/Les17-Slide-Overzicht.md)
- [Docenttekst](../Les17-Production-Polish/Les17-Docenttekst.md)
- [Lesstof](../Les17-Production-Polish/Les17-Lesstof.md)
- [Lesopdracht](../Les17-Production-Polish/Les17-Lesopdracht.md)
- [Huiswerk](../Les17-Production-Polish/Les17-Huiswerk.md)

---

## Deel
**Deel 4 — Production & Advanced** (Les 17-18)

## Beschrijving
Van "het werkt op mijn laptop" naar productie-klaar. We behandelen de vier pillaren: observability (Langfuse), evals (LLM-as-judge), security (prompt injection + guardrails) en cost (monitoring + model routing).

---

## Te Behandelen

### Theorie
- De vier pillaren: observability, evals, security, cost
- Waarom logs alleen niet genoeg zijn voor AI
- Evals als unit tests voor LLM-output
- Prompt injection — een echte demo
- Cost-monitoring: per user, per route, per model

### Live demo's
1. Langfuse trace-integratie in Polderfest-chat
2. Eval-suite met LLM-as-judge (Vitest + AI SDK)
3. Prompt injection: aanvallen + guardrails (Lakera-style)
4. Cost-tracking middleware + automatic model routing

---

## Tools
- Langfuse (self-hosted of cloud)
- Vitest voor evals
- Vercel AI SDK middleware
- Lakera AI / prompt-shield patterns

---

## Lesopdracht (in-class, 30 min)

Studenten kijken klassikaal mee. In-class oefening:
- Activeer Langfuse-tracing in je eigen Polderfest-fork
- Bekijk je eerste trace
- Voeg één eval-test toe en run hem

**Inleveren:** Screenshot Langfuse-trace + 1 passing eval.

---

## Huiswerk (take-home)

In je eigen project uit Les 11-15:
- Volledige eval-suite (min. 5 tests)
- Security-laag tegen prompt injection
- Cost-dashboard (Langfuse of eigen middleware)
- `POLISH.md` in repo-root: wat heb je toegevoegd en waarom?

**Inleveren:** GitHub URL via Teams.

---

## Leerdoelen
Na deze les kan de student:
- De vier productie-pillaren benoemen en uitleggen
- Een AI-app instrumenteren met Langfuse-traces
- Een LLM-as-judge eval-suite opzetten met Vitest
- Een prompt injection herkennen en bescherming inbouwen
- Cost-per-user meten en model-routing inrichten