Agentic AI · Hybrid RAG · MCP · Python

Eigenprojekt · abgeschlossen

Secure Enterprise AI Assistant

Eine security-orientierte Agentic-AI-Referenzarchitektur, die Hybrid Retrieval, Agentic AI und Model Context Protocol mit kontrollierten Tool-Grenzen und deterministischer Fachlogik verbindet.

Das Sprachmodell ist bewusst nicht für jede Entscheidung zuständig. Retrieval, Tool-Zugriff, deterministische Berechnungen, Compliance-nahe Regeln und generative Orchestrierung werden technisch voneinander getrennt.

Das Projekt demonstriert damit typische Engineering-Anforderungen moderner Enterprise-AI-Anwendungen: interne Wissenssuche, kontrollierte Tool-Nutzung, nachvollziehbare Quellen, reproduzierbare Evaluation und eine klare Trennung zwischen probabilistischer AI und deterministischer Geschäftslogik.

Tests

84 / 84

automatisierte Tests erfolgreich, Warnungen als Fehler behandelt

Retrieval

Hybrid

FAISS + BM25S

Tool Layer

MCP

strukturierte und kontrollierte Tool-Schnittstellen

Release

v1.0.2

öffentliches GitHub-Release vorhanden

Relevanz für reale AI-Anwendungen

Ein Referenzprojekt für kontrollierte LLM-, RAG- und Agenten-Systeme.

Interne Wissensassistenten

Hybrid Retrieval und Source Attribution bilden eine technische Grundlage für Anwendungen, die interne Dokumente auffindbar machen und Antworten auf nachvollziehbare Quellen stützen.

AI Agents mit kontrollierten Tools

MCP, klar definierte Tool Contracts und Least-Privilege Routing zeigen, wie Agenten Funktionen ausführen können, ohne beliebigen Zugriff auf die zugrunde liegende Fachlogik zu erhalten.

Deterministische Geschäftslogik

Regeln und Berechnungen, die reproduzierbar sein müssen, bleiben außerhalb des LLM und werden über kontrollierte Services angebunden.

Evaluation & Regression

Versionierte Offline-Evaluation und automatisierte Tests machen Änderungen an Retrieval, Routing, Tools und Guardrails messbar und schaffen eine Grundlage für reproduzierbare Regressionstests.

Projektziel

Agenten sollen handeln können – aber nicht uneingeschränkt.

Klassische RAG-Systeme beantworten Fragen auf Basis bereitgestellter Dokumente. Dieses Projekt geht einen Schritt weiter und kombiniert Retrieval mit Agents und strukturierten Tools.

Dadurch kann das System nicht nur Informationen suchen, sondern auch definierte fachliche Funktionen aufrufen. Gleichzeitig entstehen damit zusätzliche Risiken: Tool-Missbrauch, unerwünschte Aktionen, Halluzinationen und unklare Verantwortungsgrenzen.

Deshalb stehen nicht maximale Autonomie, sondern kontrollierte Agentenarchitektur, Least-Privilege Tool Access, deterministische Services und nachvollziehbare Systempfade im Mittelpunkt.

Architekturprinzip

LLMs orchestrieren. Kritische Logik bleibt deterministisch.

Generative Modelle eignen sich für Interpretation, Routing und natürliche Sprache. Sie sind jedoch nicht die richtige Ebene für jede Berechnung oder Geschäftsregel.

Deshalb kapselt das Projekt definierte Finance- und Compliance-Funktionen in deterministischen Services. Agents können diese Funktionen über kontrollierte Tools verwenden, aber deren Ergebnislogik nicht frei verändern.

Diese Trennung reduziert die Anzahl kritischer Entscheidungen, die ausschließlich vom probabilistischen Verhalten eines Sprachmodells abhängen.

Engineering-Ansatz

Retrieval, Agents und Tools als getrennte Systemschichten.

  1. 01

    Trust Boundaries und Systemarchitektur

    Das System trennt generative Orchestrierung, Retrieval und deterministische Fachlogik. Kritische Berechnungen und Compliance-nahe Regeln werden nicht dem Sprachmodell überlassen.

    Implementiert
  2. 02

    Dokumentenaufnahme und Wissensbasis

    Dokumente werden strukturiert verarbeitet, in nachvollziehbare Abschnitte zerlegt und mit Metadaten versehen. Die Wissensbasis bildet die Grundlage für das Retrieval statt unkontrollierter freier Modellantworten.

    Implementiert
  3. 03

    Hybrid Retrieval

    Semantische FAISS-Suche und lexikalisches BM25S werden kombiniert. Dadurch kann das System sowohl Bedeutungsähnlichkeit als auch exakte Begriffe und fachlich relevante Schlüsselwörter berücksichtigen.

    Implementiert
  4. 04

    Agentic AI und MCP Tool Use

    CrewAI übernimmt die agentische Orchestrierung. Strukturierte FastMCP-Tools stellen klar begrenzte Funktionen bereit und ermöglichen einen kontrollierten Zugriff auf deterministische Services.

    Implementiert
  5. 05

    Least-Privilege Tool Routing und Guardrails

    Agents erhalten nur die für ihre Aufgabe vorgesehenen Tools. Guardrails und Eingabeprüfungen begrenzen unerwünschte Systempfade und reduzieren die Angriffsfläche generativer Komponenten.

    Implementiert
  6. 06

    Evaluation und Fallback-Verhalten

    Eine versionierte synthetische Offline-Evaluation prüft acht Bereiche: Routing, Tool Selection, Finance Calculation, Compliance, Retrieval, Source Attribution, Out-of-Scope Handling und Input Guardrails. Die Ergebnisse gelten ausschließlich für diese kontrollierte Testsuite.

    Implementiert
  7. 07

    UI, Container und CI

    Eine Gradio-Oberfläche macht das System interaktiv nutzbar. Non-root Docker, automatisierte Tests, GitHub Actions, Package-Builds, isolierte Wheel-Smoke-Tests und Fresh-Clone-Validierung ergänzen die Anwendung um reproduzierbare Engineering- und Delivery-Strukturen.

    Implementiert

Hybrid RAG

Semantische und lexikalische Suche ergänzen sich.

Die Retrieval-Schicht kombiniert FAISS für semantische Vektorsuche mit BM25S für lexikalische Suche.

Semantisches Retrieval kann ähnliche Bedeutungen erfassen, während BM25S insbesondere bei exakten Begriffen, Fachterminologie, Namen und spezifischen Textmustern zusätzliche Stärke besitzt.

Hybrid Retrieval vermeidet damit die Annahme, dass ein einzelnes Retrieval-Verfahren für jede Anfrage automatisch die beste Antwort liefert.

Model Context Protocol

Tools erhalten klare Schnittstellen statt versteckter Prompt-Logik.

FastMCP stellt strukturierte Tools über das Model Context Protocol bereit. Eingaben und Verantwortlichkeiten werden dadurch expliziter als bei frei formulierten Tool-Beschreibungen innerhalb eines einzelnen Prompts.

MCP dient dabei als Schnittstellenschicht zwischen Agent-Orchestrierung und den zugrunde liegenden deterministischen Funktionen.

Das Projekt demonstriert damit nicht nur Tool Use, sondern eine Architektur, in der Agentenfähigkeiten und Fachlogik bewusst getrennt entwickelt werden können.

Agentic AI

Routing mit möglichst kleinen Berechtigungen.

CrewAI übernimmt die agentische Orchestrierung und delegiert Aufgaben an spezialisierte Rollen.

Entscheidend ist dabei nicht nur, welcher Agent welche Aufgabe bekommt. Ebenso wichtig ist, welche Tools dieser Agent überhaupt verwenden darf.

Der Tool-Filter folgt deshalb einem Least-Privilege-Ansatz: Ein Agent erhält nur die Funktionen, die für seinen definierten Aufgabenbereich benötigt werden.

Guardrails und Trust Boundaries

Sicherheit entsteht nicht durch einen einzigen Systemprompt.

Das Projekt verwendet mehrere technische Begrenzungen: kontrollierte Tool-Zuweisung, strukturierte Eingaben, deterministische Services, Retrieval-Grenzen und zusätzliche Guardrails.

Dadurch wird nicht behauptet, dass das System vollständig sicher oder gegen jede Form von Prompt Injection geschützt ist. Stattdessen werden Sicherheitsgrenzen als eigenständiger Architekturteil behandelt.

Für einen realen Enterprise-Einsatz wären zusätzliche Maßnahmen wie zentrale Authentifizierung, produktive Autorisierung, Secret Management, Audit Logging, Security Testing und organisationsspezifische Governance erforderlich.

Evaluation

GenAI-Systeme brauchen mehr als einen funktionierenden Demo-Chat.

Das Repository enthält synthetische Evaluationsfälle und einen offline ausführbaren Evaluationspfad.

Dabei werden unter anderem Retrieval, Routing, Tool-Verwendung und kontrollierte Systempfade überprüft, statt die Qualität ausschließlich subjektiv anhand einzelner Chat-Beispiele zu beurteilen.

Der Evaluationsansatz dient als technische Grundlage für reproduzierbare Regressionstests. Er ersetzt keine domänenspezifische Produktvalidierung mit realen Unternehmensdaten und Nutzern.

Benutzeroberfläche

Die Architektur bleibt nicht auf CLI und Tests beschränkt.

Eine Gradio-Oberfläche stellt den Assistenten interaktiv bereit und macht zentrale Systemfunktionen ohne direkten Zugriff auf den Python-Code nutzbar.

Die UI ist dabei bewusst nur die Präsentationsschicht. Retrieval, Tools, Agent-Orchestrierung und deterministische Services bleiben in separaten Komponenten organisiert.

Engineering Quality

Agentic AI wird wie Software entwickelt, nicht wie ein Prompt-Experiment.

  • 84 von 84 automatisierten Tests erfolgreich, Warnungen als Fehler behandelt
  • Reproduzierbar validiert mit Python 3.13.9 und exaktem Dependency-Lock
  • Non-editable Installation und Import aus site-packages geprüft
  • Vier strukturierte FastMCP-Tools mit validierten Tool Contracts
  • FAISS- und BM25S-basiertes Hybrid Retrieval aus paketierten Ressourcen
  • Least-Privilege Tool Filtering und negative Security Tests
  • Deterministische Finance- und Compliance-Services mit synthetischen Daten
  • Acht versionierte Offline-Evaluationsbereiche mit Evidence-Validierung
  • Package-Build, isolierter Wheel-Smoke-Test und Fresh-Clone-Validierung
  • Non-root Docker-Image mit Container- und Gradio-UI-Smoke-Test
  • MIT-Lizenz, SECURITY.md und RESPONSIBLE_USE.md
  • Öffentlicher Release v1.0.2 mit grünem GitHub-Actions-CI

Technischer Stack

GenAI-Systemarchitektur über mehrere kontrollierte Schichten.

  • Python 3.13.9
  • CrewAI
  • FastMCP
  • Model Context Protocol
  • Hybrid Retrieval
  • FAISS
  • BM25S
  • Embeddings
  • Guardrails
  • Gradio
  • Docker
  • pytest
  • Ruff
  • GitHub Actions
  • Package Build
  • Wheel Smoke Testing

Systemgrenzen

Portfolio-Prototyp statt behaupteter Enterprise-Produktion.

Das Projekt demonstriert Architekturprinzipien für kontrollierte Enterprise-AI-Systeme. Es ist jedoch kein Nachweis eines produktiven Einsatzes in einem realen Unternehmen.

Die Finance- und Compliance-Szenarien verwenden kontrollierte beziehungsweise synthetische Projektkontexte und stellen keine reale regulatorische Freigabe oder Compliance-Zertifizierung dar.

Besonders bei agentischen Systemen bleiben Modellwahl, Latenz, Verfügbarkeit externer Modelle, Prompt Injection, Tool-Sicherheit und laufende Evaluation eigenständige Betriebsrisiken.

Projektstatus

Abgeschlossen, versioniert und reproduzierbar veröffentlicht.

Hybrid Retrieval, MCP-Tools, Agent-Orchestrierung, deterministische Services, Guardrails, UI, Offline-Evaluation, Docker und GitHub CI sind vollständig in den finalen Portfolio-Stand integriert. Das Projekt ist als Release v1.0.2 veröffentlicht.

Der finale Hardening-Stand umfasst 84 automatisierte Tests, einen exakten Python-3.13.9-Lock, non-editable Installation, Evidence- und Repository-Audits, Package- und Wheel-Smoke-Tests, Fresh-Clone-Validierung sowie ein non-root Docker-Image. Die dokumentierten Sicherheitsmechanismen sind Engineering- Maßnahmen einer Referenzimplementierung und keine formale Security- oder Compliance-Zertifizierung.