Drei Wege zu einer privaten KI für Ihr Unternehmen

Ihr Team nutzt bereits KI. Nicht die, die Sie ausgewählt haben. Es ist die im Browser-Tab, den Sie nicht sehen, gefüttert mit allem, was gerade hineinkopiert wurde: ein Kundenname, eine Vertragsklausel, eine Rechnung, ein Passwort, das jemand gerade zurückgesetzt hat. In einem früheren Beitrag haben wir dargelegt, dass das KI-Chat-Terminal zur zentralen Oberfläche für das gesamte Unternehmen wird. Wenn die Arbeit dorthin wandert, lautet die Frage nicht mehr, ob Ihr Unternehmen auf KI läuft, sondern auf wessen Infrastruktur, und wie viele Ihrer Daten dafür das Haus verlassen müssen.

Sie können dieses Terminal selbst besitzen. Es gibt heute drei praktikable Wege dorthin, auf einem Spektrum von günstig mit Vorbehalten bis vollständig souverän. Sie unterscheiden sich in einer Achse, die wichtiger ist als jede Funktion: wo Ihre sensiblen Daten stehen bleiben dürfen. Legen Sie diese Grenze zuerst fest; der Rest ergibt sich daraus.

flowchart LR
    A["1 · Anonymisierungs-Gateway<br/><i>Chat selbst hosten, Modell mieten</i>"]:::o1
    B["2 · Gemietete EU-GPU<br/><i>Open-Weight-Modelle, EU-Host</i>"]:::o2
    C["3 · Eigene Bare-Metal-Hardware<br/><i>im Haus, per VPN abgeschottet</i>"]:::o3
    A -->|mehr Kontrolle, mehr Kosten| B -->|mehr Kontrolle, mehr Kosten| C
    classDef o1 fill:#494fdf,stroke:#376cd5,color:#ffffff,stroke-width:2px
    classDef o2 fill:#2f7d6e,stroke:#1f5a4f,color:#ffffff,stroke-width:2px
    classDef o3 fill:#1e293b,stroke:#64748b,color:#f1f5f9,stroke-width:2px

Die einzige Entscheidung, die zählt: wo Ihre Daten stehen bleiben

Für Ihr Team sehen alle drei Setups identisch aus: dasselbe Chatfenster, dieselbe Anmeldung, derselbe Assistent, der Ihre Systeme kennt. Was sich darunter ändert, ist der Ort, an dem das Modell tatsächlich läuft, und damit, was die Grenze Ihres Unternehmens überschreitet. Genau diese Entscheidung bestimmt Ihre Kosten, Ihre Compliance-Position und wie streng Sie kontrollieren müssen, was Ihre Leute eintippen.

	1 · Anonymisierungs-Gateway	2 · Gemietete EU-GPU	3 · Eigene Bare-Metal-Hardware
Wo das Modell läuft	Externer Anbieter, hinter einem Gateway	Ihre gemietete GPU, EU-Rechenzentrum	Ihre Maschine, in Ihren Räumen
Was Ihre Grenze verlässt	Anonymisierte Prompts	Nichts (bleibt beim EU-Host)	Nichts (bleibt im Haus)
Kostenstruktur	Am niedrigsten; Abrechnung pro Token	~200–1.500 € / Monat	~15.000–30.000 € vorab, dann Strom
Modellqualität	Frontier	Starke Open-Weight-Modelle	Starke Open-Weight-Modelle
Hauptrisiko	Restrisiko trotz Anonymisierung	Vertrauen in einen Drittanbieter-Host	Investition, und Sie betreiben es selbst

Option 1: Chat selbst hosten, Modell mieten

Das günstigste private Setup behält alles unter Ihrer Kontrolle, außer dem Modell selbst. Sie hosten die Chat-Plattform (Open WebUI oder LibreChat) mit Ihrem eigenen Single Sign-on, Benutzersitzungen, Gesprächsverlauf und Anbindungen an interne Systeme über MCP und n8n. Nur das Modell liegt außerhalb und wird über eine externe API angesprochen. Davor sitzt ein Anonymisierungs-Gateway, Microsoft Presidio, das die sensiblen Teile eines Prompts (personenbezogene Daten, Zugangsdaten, Kontonummern) erkennt und maskiert, bevor die Anfrage Ihre Grenze überhaupt verlässt.

Der ehrliche Vorbehalt: Anonymisierung ist ein Filter, keine Garantie. Ein ungewöhnlicher Identifikator, eine sensible Angabe, die nicht offensichtlich personenbezogen ist, ein Sonderfall, den die Richtlinie nicht vorgesehen hat: All das kann trotzdem durchrutschen. Diese Option funktioniert daher nur, wenn zwei Dinge zutreffen. Erstens ist ein gewisses Restrisiko des Durchsickerns für die Art Ihrer Daten vertretbar. Zweitens leben Sie die nötige Disziplin: Anonymisierung von Anfang an mitgedacht, eine überprüfbare Anonymisierungsrichtlinie, striktes Logging und Auditing dessen, was das Haus verlassen hat, und MCP-Tools nach dem Least-Privilege-Prinzip. Sauber umgesetzt ist das eine wirklich gute, kostengünstige Lösung. Nachlässig umgesetzt ist es „privates ChatGPT” als reine Fassade.

Am besten geeignet für: die meisten KMU, deren Daten vertraulich, aber nicht streng reguliert sind und die Frontier-Modellqualität ohne Hardware-Rechnung wollen.

Option 2: Eine GPU in der EU mieten und das Modell selbst betreiben

Der nächste Schritt entfernt den externen Anbieter vollständig. Sie mieten einen dedizierten GPU-Server innerhalb der EU (Hetzner etwa vermietet GPU-Maschinen in deutschen Rechenzentren) und betreiben Open-Weight-Modelle selbst darauf. Kein Modellanbieter sieht einen Prompt, nichts wird zu fremden Bedingungen protokolliert, und Ihre Daten bleiben bei einem einzigen EU-Host, mit dem Sie einen Vertrag und einen Auftragsverarbeitungsvertrag haben.

Hier bewegt sich die Rechnung. Eine brauchbare GPU-Maschine kostet von rund 200 € im Monat für eine kleine Karte bis etwa 1.500 € für eine, die ein ganzes Team komfortabel bedient. Das sind Richtwerte, die von der GPU und der Größe des gewünschten Modells abhängen. Im Gegenzug hören Sie weitgehend auf zu kontrollieren, was Ihr Team eintippt: Die Inferenz läuft auf Hardware, die nur Sie nutzen, in einer Rechtsordnung, die die DSGVO ohnehin abdeckt. Der Kompromiss: Sie betreiben mehr vom Stack selbst (Modell-Serving, Updates, Skalierung), und Open-Weight-Modelle liegen einen Schritt hinter den allerneuesten Frontier-Releases. Für die meiste Unternehmensarbeit ist dieser Abstand inzwischen klein.

Am besten geeignet für: Teams, die selbst anonymisiert keine Daten an einen Modellanbieter geben dürfen, die Maschine aber nicht physisch vor Ort brauchen.

Option 3: Eigene Hardware im Haus

Das privateste Setup besitzt die Hardware und lässt Daten nie die eigenen Räume verlassen. Die Maschine steht in Ihrem Gebäude, per VPN abgeschottet, und betreibt Open-Weight-Modelle. Nichts, ob anonymisiert oder nicht, überschreitet die Unternehmensgrenze, weil es kein Außen gibt, das sie erreichen könnte. Für vertraulichkeitskritische Arbeit ist das das Setup, bei dem Sie aufhören zu fragen, welches Dokument gerade jemand in den Assistenten gegeben hat.

Dieser Schutz ist eine Investition. Ein professioneller Beschleuniger (eine Karte der Klasse NVIDIA RTX 6000) plus die Workstation drumherum bringt einen kompletten, produktionsreifen Aufbau in den niedrigen fünfstelligen Bereich: nennen wir es 15.000–30.000 € insgesamt, als Richtwert, plus Strom und jemanden, der ihn betreut.

Und hier kommt der Teil, der gut altert. Open-Weight-Modelle werden gleichzeitig kleiner und klüger. Das Modell, das dieses Jahr auf eine bestimmte Karte passt, ist spürbar besser als das des Vorjahres, und das des nächsten Jahres wird noch besser sein, auf derselben Hardware. Sie aktualisieren das Modell, nicht die Maschine. Schon das heutige Feld (Qwen, DeepSeek, Mistral, Googles Gemma, OpenAIs gpt-oss) deckt die meisten Unternehmensanwendungen ab, und jede neue Open-Weight-Veröffentlichung landet kostenlos auf Ihrer Maschine im Haus. Es ist die Verschiebung vom Mieten zum Besitzen, über die wir schon geschrieben haben: Intelligenz ist nicht länger ein Dienst, den Sie pro Token mieten, sondern wird zu Anlagevermögen, das Ihnen gehört.

Am besten geeignet für: regulierte oder vertraulichkeitskritische Betriebe, oder alle, die ihre KI als Maschine besitzen wollen, nicht als Abonnement.

Welche Option zu Ihnen passt

Beginnen Sie bei den Daten, nicht beim Budget. Stellen Sie eine Frage: Was ist das Schlimmste, das eine Person aus dem Team einfügen könnte, und was passiert, wenn es bei einem Dritten landet?

• „Unangenehm, aber verkraftbar, und wir auditieren es” → Option 1. Das Gateway plus echte Disziplin reicht.
• „Darf nie einen Modellanbieter erreichen, ein EU-Host mit Vertrag ist aber in Ordnung” → Option 2.
• „Darf das Haus nie verlassen” → Option 3.

Die meisten KMU beginnen bei Option 1, zu Recht. Sie können mit dem Gateway starten und Workloads später auf ein selbst gehostetes Modell verlagern; das Chat-Interface, die Integrationen und Ihre Nutzer ändern sich nie, nur die Grenze wandert nach innen. Keine der drei Varianten ist ein größeres Projekt als ein normaler Rollout interner Werkzeuge, und jede lässt sich in die nächste überführen.

Das Fazit

Die eigene Unternehmens-KI zu besitzen, ist nichts Exotisches mehr. Es ist eine Beschaffungsentscheidung mit drei bekannten Antworten, im Preis von „fast kostenlos” bis „eine ernste, aber endliche Investition”. Das Einzige, was Sie nicht tun sollten: es unverwaltet lassen, während Ihr Team das Unternehmen still in Werkzeuge kopiert, die Sie nicht sehen. Entscheiden Sie, wo Ihre Daten stehen bleiben dürfen, und bauen Sie von dort nach innen.

Wir konzipieren, hosten und betreiben genau das. Unser Service Private AI Platform deckt alle drei Setups ab, vom Anonymisierungs-Gateway bis zu vollständig souveräner Hardware im Haus, angebunden an Ihre eigenen Systeme; der Assistent auf genau dieser Website läuft auf demselben Stack. Wenn Sie herausfinden möchten, welche Grenze Ihr Unternehmen wirklich braucht, sagen Sie uns, was Sie schützen.