Agentic AI · KI-Festival Workshop

Vier Agenten. Eine Lieferung.
Und Sie haben das letzte Wort.

Ein Multi-Agent-System übernimmt das Monitoring einer temperaturkritischen Insulin-Sendung nach Singapur. Sie schlüpfen in die Rolle des Supply-Chain-Managers — und erleben in drei Akten, wie aus einer Blackbox ein beherrschbares System wird: Beobachten. Erkennen. Eingreifen.

Kontrollraum öffnen Warum Governance?

Das Szenario

Sendung #4711: Insulin nach Singapur.
Und Singapur meldet eine Hitzewelle.

Ein Pharma-Logistiker verschifft temperatursensibles Insulin. Der Supply-Chain-Manager fragt sein Multi-Agent-System: „Prüfe Sendung #4711 — besteht Handlungsbedarf?" Vier spezialisierte Agenten arbeiten zusammen:

#4711 · Insulin · 2 400 Einheiten Route: Hamburg → Singapur Kühlkette: 2–8 °C aktiv gekühlt Wetterlage: Hitzewelle, Umschlag im Hafen

◎

Orchestrator

Der Dirigent

Zerlegt die Anfrage, delegiert an die Spezialisten und führt die Ergebnisse zur Entscheidung zusammen.

delegate()synthesize()

Agent 1 · Dokumente

Der Anwalt

Untersucht Lieferverträge und Incoterms: Welche Bedingungen gelten für diese Sendung wirklich?

read_contract()

☂

Agent 2 · Live-Daten

Der Scout

Holt Echtzeit-Wetterdaten entlang der Route — im Workshop live über die Open-Meteo-API.

get_weather()

⚡

Agent 3 · Aktion

Der Macher

Leitet Eskalationen und Folgehandlungen ein — Umbuchung, Kundeninfo, Versicherungsmeldung.

rebook_air_freight()notify_customer()

Live-Showcase

Der Kontrollraum

Ein Klick startet den Agenten-Run. Links sehen Sie jeden Schritt als Trace in MLflow, rechts prüft Blue Guardrails jede Aussage gegen den Vertrag — und am Ende hält das System an und fragt: Sie.

Akt 1 · Beobachten Akt 2 · Erkennen Akt 3 · Eingreifen

Tracing & Observability

Akt 1 · Beobachten

Noch kein Run. Jeder Agenten-Schritt erscheint hier als Span — verschachtelt, mit Dauer, Tokens und Kosten.

Spans

Tokens

Kosten

0,000 €

Flags

Halluzinations-Detektion

Akt 2 · Erkennen

Wartet auf Traces … Jede Agenten-Antwort wird claim-für-claim gegen den Input-Kontext (den Vertrag) geprüft.

⚑ Fabrication

Claim nicht durch den Kontext gedeckt: Der Vertrag enthält keinen §7 Abs. 3 und keine 25-°C-Klausel. Die zitierte Umbuchungspflicht ist erfunden.

source: contract_4711.pdf · checked_against: input_context · label: fabrication

Human-in-the-Loop

Akt 3 · Eingreifen

Kein Freigabe-Antrag. Kritische Tools sind approval-pflichtig — der Run pausiert, bis Sie entscheiden.

rebook_air_freight(shipment="#4711")

18 000 €

Begründung des Agenten: Umbuchung auf Luftfracht wegen Überschreitung der vertraglichen 25-°C-Grenze (§7 Abs. 3) bei 38,4 °C in Singapur.

⚑ Blue Guardrails: Begründung stützt sich auf einen als Fabrication geflaggten Claim

Abgelehnt. Die Entscheidung wird als Assessment an den MLflow-Trace geschrieben — auditierbar, mit Begründung. Der Orchestrator erhält den Auftrag, die Vertragslage erneut zu prüfen.

Freigegeben. Die Umbuchung wird ausgeführt und die Freigabe als Assessment an den MLflow-Trace geschrieben. Hinweis fürs Publikum: Sie haben soeben 18 000 € auf Basis einer erfundenen Klausel ausgegeben. 😉

— Konsole bereit. „Run starten" spielt das Szenario ab: Trace-Aufbau → Halluzinations-Flag → Freigabe-Gate. —

Warum das Governance ist

Drei Akte, drei Fähigkeiten — erst zusammen wird das MAS produktionsreif.

Autonomie ohne Aufsicht ist keine Effizienz, sondern ein Risiko mit guter Laune. Der Showcase zeigt die minimale Governance-Kette für agentische Systeme:

Akt 1 · Beobachten

Jeder Schritt ein Span

Ohne Tracing ist ein Multi-Agent-System eine Blackbox aus LLM-Calls. Verschachtelte Traces zeigen, wer wann was mit welchen Argumenten getan hat — inklusive Tokens, Kosten und Latenz pro Agent.

Werkzeug: MLflow Tracing (OpenTelemetry)

Akt 2 · Erkennen

Claims gegen den Kontext

Der Anwalt-Agent klingt überzeugend — und zitiert eine Klausel, die es nicht gibt. Claim-level Detektion prüft jede Aussage gegen den Input-Kontext und markiert genau den erfundenen Satz.

Werkzeug: Blue Guardrails (Detektion, async/live)

Akt 3 · Eingreifen

Das Gate vor der Aktion

Detektion allein blockt nicht. Kritische Tools pausieren den Run und verlangen menschliche Freigabe. Die Entscheidung landet als Assessment am Trace — und macht den Eingriff auditierbar.

Werkzeug: Approval-pflichtige Tool-Calls + MLflow Feedback

Detektion allein blockt nicht — erst Beobachten + Erkennen + Eingreifen macht Agenten beherrschbar.

Das Tooling dahinter

Ein Trace-Strom, zwei Konsumenten.

Die Agenten sind mit Pydantic AI gebaut und einmal per OpenTelemetry instrumentiert. Derselbe Trace-Strom versorgt beide Systeme — ohne Vendor-Lock-in, ohne doppelte Instrumentierung.

Observability-Backend · Open Source

Das Gedächtnis des Systems: jeder Run vollständig nachvollziehbar.

Verschachtelte Traces über Orchestrator, Agenten, Tool- und MCP-Calls
Token-, Kosten- und Latenz-Metriken pro Span
Prompt Registry & Versionierung für reproduzierbare Agenten
Feedback/Assessments: menschliche Entscheidungen landen am Trace

Trägt Akt 1 + Akt 3

Halluzinations-Spezialist · AI made in EU

Der Faktenprüfer: jede Aussage gegen den Input-Kontext.

Claim-level Detektion: markiert den erfundenen Satz, nicht nur die Antwort
Labels & Erklärungen: Fabrication, Reasoning Error, Misattribution …
Empfängt dieselben OpenTelemetry-Traces — async oder live per API
Experimente: Halluzinationsraten, Kosten und Latenz im Modellvergleich

Trägt Akt 2

Vier Agenten. Eine Lieferung.Und Sie haben das letzte Wort.

Sendung #4711: Insulin nach Singapur.Und Singapur meldet eine Hitzewelle.