Eigene KI-Infrastruktur auf einem MacBook Air M2, im Eigenbau und im Tagesbetrieb
Den Anstoß gab eine Anstellung in einer kirchlichen Non-Profit-Organisation. KI sollte die Marketing-Arbeit unterstützen, gleichzeitig galt das DSG-EKD: sensible Daten durften die Organisation nicht verlassen. ChatGPT und vergleichbare Cloud-Tools schieden damit aus. Das Ziel war ein lauffähiger Prototyp, der zeigt, wie KI in einem datengeschützten Umfeld nutzbar wird. Als Vorstufe zu einer späteren Lösung auf eigener Infrastruktur, etwa MS Azure. Die Aufgabe: Erfahrung sammeln, die Bauteile verstehen und das Vorgehen erklärbar machen.
Umsetzung
Infrastruktur:
- Lokales Sprachmodell (Gemma 2 9B via Ollama) für Alltagsaufgaben
- Claude API als bewusstes Opt-in für komplexe Anforderungen
- Presidio als Filter vor jedem API-Call: persönliche Daten werden vor dem Versand an externe Modelle automatisch erkannt und entfernt
- Chroma als Vektordatenbank, Open WebUI als Chat-Frontend
- n8n als Workflow-Engine
Workflows, die täglich laufen:
- Smart Merge: Neue Dokumente werden vorklassifiziert und zur Einordnung vorgeschlagen, freigegeben wird manuell
- Prüf-Workflow: PDF in Ordner ablegen, automatische Dokumenttyp-Erkennung, strukturierter Prüfbericht als Ergebnis. Die Bewertung trifft am Ende ein Mensch
- Meeting-Workflow: Meetily transkribiert, das Modell fasst zusammen, die Notiz landet in der Wissensdatenbank
Ergebnis
- Sensible Daten bleiben auf dem Gerät
- Aufgaben wie Vorklassifikation, Ablage und Zusammenfassung sind so weit vorbereitet, dass nur noch entschieden, nicht mehr aufbereitet werden muss
- Das System läuft im Tagesbetrieb, nicht zur Demonstration aufgesetzt
- Übertragbar auf Unternehmensinfrastruktur, etwa eine eigene Azure-Umgebung oder einen dedizierten Server. Die Bauteile bleiben dieselben
Mit dem Wechsel aus der NPO blieb der Einsatz im organisatorischen Kontext beim Prototyp. Privat lief das System weiter, wurde ausgebaut und ist heute Tagesarbeitsmittel. Es zeigt, wie KI ohne Cloud-Kompromisse in einem Betrieb aussehen kann, ohne dass jemand auf Qualität verzichten muss.