Les 17: AI Production Polish — Observability, Evals, Security, Cost

✅ Deze les is volledig uitgewerkt

Lesmateriaal

Deel

Deel 4 — Production & Advanced (Les 17-18)

Beschrijving

Van "het werkt op mijn laptop" naar productie-klaar. We behandelen de vier pillaren: observability (Langfuse), evals (LLM-as-judge), security (prompt injection + guardrails) en cost (monitoring + model routing).

Te Behandelen

Theorie

De vier pillaren: observability, evals, security, cost
Waarom logs alleen niet genoeg zijn voor AI
Evals als unit tests voor LLM-output
Prompt injection — een echte demo
Cost-monitoring: per user, per route, per model

Live demo's

Langfuse trace-integratie in Polderfest-chat
Eval-suite met LLM-as-judge (Vitest + AI SDK)
Prompt injection: aanvallen + guardrails (Lakera-style)
Cost-tracking middleware + automatic model routing

Tools

Langfuse (self-hosted of cloud)
Vitest voor evals
Vercel AI SDK middleware
Lakera AI / prompt-shield patterns

Lesopdracht (in-class, 30 min)

Studenten kijken klassikaal mee. In-class oefening:

Activeer Langfuse-tracing in je eigen Polderfest-fork
Bekijk je eerste trace
Voeg één eval-test toe en run hem

Inleveren: Screenshot Langfuse-trace + 1 passing eval.

Huiswerk (take-home)

In je eigen project uit Les 11-15:

Volledige eval-suite (min. 5 tests)
Security-laag tegen prompt injection
Cost-dashboard (Langfuse of eigen middleware)
POLISH.md in repo-root: wat heb je toegevoegd en waarom?

Inleveren: GitHub URL via Teams.

Leerdoelen

Na deze les kan de student:

De vier productie-pillaren benoemen en uitleggen
Een AI-app instrumenteren met Langfuse-traces
Een LLM-as-judge eval-suite opzetten met Vitest
Een prompt injection herkennen en bescherming inbouwen
Cost-per-user meten en model-routing inrichten

2.2 KiB Raw Blame History