«Wir betreiben unsere KI selbst, dann bleiben die Daten im Haus» — der Gedanke ist richtig, und für manche Betriebe ist er die einzige gangbare Lösung. Zwischen dem Gedanken und dem laufenden Betrieb liegt aber eine Rechnung, die in Werbetexten selten auftaucht. Sie hat mit Grafikspeicher zu tun, mit Strom und mit der Frage, was ein kleineres Modell tatsächlich noch kann. Dieser Beitrag rechnet sie durch: welche Modellgrösse auf welcher Hardware läuft, was das kostet, und in welchen Fällen sich der Aufwand lohnt — und in welchen nicht.
In fünf Schritten zur ehrlichen Antwort
-
1
Den Grund benennen — und zwar den echten
Es gibt genau einen Grund, der Selbstbetrieb zuverlässig rechtfertigt: Bestimmte Daten dürfen das Haus nicht verlassen. Alle anderen — Kosten sparen, unabhängig sein, technisches Interesse — halten der Nachrechnung meist nicht stand. Schreiben Sie den Grund in einem Satz auf. Fällt er schwer, ist die Frage bereits beantwortet.
Resultat: Ein Satz, der die Investition begründet — oder die Erkenntnis, dass es keinen gibt.
-
2
Die Aufgabe auf eine Modellgrösse eingrenzen
Nicht jede Aufgabe braucht ein Spitzenmodell. Klassifizieren, Stichworte ziehen, Anfragen vorsortieren, Standardantworten entwerfen: Das leisten Modelle mit 8 bis 14 Milliarden Parametern gut. Freie Fachtexte auf hohem Niveau, komplexe Analysen, mehrsprachige Feinarbeit: Dafür braucht es deutlich mehr. Prüfen Sie die Aufgabe zuerst mit einem kleinen Modell über einen Mietzugang, bevor Sie Hardware kaufen.
Resultat: Eine Modellgrösse, von der Sie wissen, dass sie Ihre Aufgabe erledigt.
-
3
Den Speicherbedarf ausrechnen
Die Faustformel lautet: Parameter in Milliarden mal Bits, geteilt durch acht. Bei vier Bit ergibt das für 8 Milliarden Parameter rund 5 bis 6 Gigabyte, für 14 Milliarden etwa 9 bis 10, für 30 Milliarden knapp über 20, für 70 Milliarden rund 40. Rechnen Sie für das Kontextfenster einige Gigabyte dazu. Die Karte muss diesen Wert im eigenen Speicher fassen — der Arbeitsspeicher des Servers hilft hier nicht.
Resultat: Eine Zahl in Gigabyte, an der sich die Hardware messen lässt.
-
4
Die Hardware daran messen — nicht am Wunsch
Karten mit 16 Gigabyte tragen Modelle bis etwa 14 Milliarden Parameter zuverlässig und liegen im mittleren dreistelligen Bereich. Für 30 Milliarden braucht es 32 Gigabyte, also die Spitzenklasse der Consumer-Karten. Ab 70 Milliarden reicht eine einzelne solche Karte nicht mehr — dann werden mehrere Karten oder Rechenzentrums-Hardware nötig, und die Rechnung ändert ihre Grössenordnung. Genau hier verläuft die Grenze zwischen machbar und Prestigeprojekt.
Resultat: Eine Hardware-Entscheidung, die zur ausgerechneten Zahl passt.
-
5
Den Betrieb zu Ende denken
Ein laufendes Modell ist kein Gerät, das man aufstellt und vergisst. Es braucht Updates, Sicherung, Zugriffsschutz, Überwachung und jemanden, der zuständig ist, wenn es nicht antwortet. Rechnen Sie diese Arbeitszeit in die Kosten ein, nicht nur die Anschaffung. Und klären Sie vorher, was passiert, wenn die Person, die es aufgesetzt hat, nicht verfügbar ist.
Resultat: Ein Betriebskonzept — oder die begründete Entscheidung dagegen.
Warum die Frage überhaupt gestellt wird
Die meisten KI-Dienste verarbeiten ausserhalb der Schweiz. Für Formulierungshilfe und allgemeine Recherche ist das unproblematisch. Sobald aber Personaldaten, Patientendaten, Konstruktionsunterlagen oder Vertragswerke Dritter im Spiel sind, wird es zu einer Frage, die eine Antwort braucht — rechtlich wie praktisch. Welche Pflichten dabei greifen, steht in unserem Beitrag zu KI und Datenschutz.
Ein Modell im eigenen Netz beantwortet diese Frage endgültig: Es geht nichts hinaus. Kein Auftragsbearbeitungsvertrag, keine Bekanntgabe ins Ausland, keine Bedingungen, die sich ändern können. Das ist ein echter Vorteil — er hat nur einen Preis, und der ist selten der, den man erwartet.
Die Rechnung, die niemand gerne macht
Sprachmodelle laufen auf Grafikprozessoren. Entscheidend ist deren eigener Speicher: Das gesamte Modell muss hineinpassen. Passt es nicht, wird die Ausführung um Grössenordnungen langsamer oder sie startet gar nicht.
Die Faustformel dafür ist einfach — Parameter in Milliarden mal Bits, geteilt durch acht:
- 8 Milliarden Parameter, auf vier Bit verkleinert: rund 5 bis 6 Gigabyte. Läuft auf einer Mittelklassekarte.
- 14 Milliarden: rund 9 bis 10 Gigabyte. Eine Karte mit 16 Gigabyte trägt das zuverlässig, inklusive Kontextfenster.
- 30 Milliarden: gut 20 Gigabyte. Komfortabel wird es ab 32 Gigabyte, also der Spitzenklasse der gewöhnlichen Karten.
- 70 Milliarden: unverkleinert rund 140 Gigabyte, auf vier Bit noch etwa 40. Das passt auf keine einzelne übliche Karte mehr.
An dieser letzten Zeile entscheidet sich das Vorhaben. Bis 30 Milliarden Parameter ist Selbstbetrieb eine Anschaffung im mittleren bis oberen dreistelligen Bereich plus Arbeit. Darüber wird es ein anderes Projekt: mehrere Karten, passende Server, Kühlung, Strom — und damit eine Investition, die sich ein KMU sehr genau überlegen sollte.
Was ein kleineres Modell noch kann
Die gute Nachricht steckt in der Aufgabenstellung. Für viele betriebliche Zwecke braucht es kein Spitzenmodell:
- Eingehende Anfragen nach Thema sortieren
- Aus Freitext strukturierte Angaben ziehen — Adressen, Termine, Artikelnummern
- Dokumente nach Kategorien einordnen
- Standardantworten entwerfen, die ein Mensch prüft
- Interne Suche über eigene Unterlagen, mit vorgeschalteter Suche (RAG)
Das alles leisten Modelle mit 8 bis 14 Milliarden Parametern gut — und die laufen auf einer Karte, die weniger kostet als ein Bürostuhl der gehobenen Klasse. Wer seine Aufgabe auf diese Grössenordnung eingrenzen kann, hat ein realistisches Vorhaben. Wer für alles das grösste Modell will, hat meist die Aufgabe nicht scharf genug beschrieben.
Was wir dazu anbieten — und was nicht
Hier gehört eine Klarstellung hin, weil in diesem Feld viel versprochen wird. Wir vermieten keine Server mit Grafikprozessoren. Unsere vServer sind für Websites, Anwendungen, Datenbanken und Mail ausgelegt, nicht für Sprachmodelle. Wer ein grosses offenes Modell betreiben will, ist bei uns an der falschen Adresse, und es wäre unredlich, das zu verschweigen.
Was auf gewöhnlicher Serverhardware läuft, sind kleine Modelle für klar abgegrenzte Aufgaben — ohne Grafikkarte, dafür langsamer. Für Klassifikation und Extraktion, wo eine Antwort auch nach zwei Sekunden recht ist, funktioniert das. Wenn Sie unsicher sind, ob Ihr Anwendungsfall in diese Kategorie fällt, schauen wir uns das an und sagen Ihnen auch, wenn es nicht passt.
Die ehrliche Zusammenfassung
Selbstbetrieb lohnt sich, wenn bestimmte Daten das Haus nicht verlassen dürfen und die Aufgabe mit einem Modell bis etwa 14 Milliarden Parametern zu lösen ist. Dann ist es eine überschaubare Anschaffung mit klarem Nutzen.
Er lohnt sich nicht, wenn der Grund «günstiger» oder «unabhängiger» lautet. Gegen ein Abo rechnet sich eigene Hardware über den Verbrauch fast nie, und die Unabhängigkeit erkauft man sich mit Pflegeaufwand, den jemand leisten muss.
Der häufigste sinnvolle Weg liegt dazwischen: das Meiste über einen Anbieter mit sauberem Vertrag erledigen, und nur den kleinen Teil, der wirklich vertraulich ist, im eigenen Netz. Diese Trennung kostet weniger als die Alternative und beantwortet dieselbe Frage.
Häufige Fragen
-
Kann ich ein Sprachmodell auf meinem vServer betreiben?
Ein grosses nicht. Sprachmodelle brauchen Grafikprozessoren mit viel eigenem Speicher, und gewöhnliche Miet-Server haben keine Grafikkarte — auch unsere nicht. Was auf normaler Serverhardware durchaus läuft, sind kleine Modelle für abgegrenzte Aufgaben: Texte klassifizieren, Anfragen vorsortieren, Stichworte extrahieren. Das ist langsamer als auf einer Grafikkarte, für Aufgaben ohne Wartezeitanspruch aber brauchbar.
-
Wie viel Grafikspeicher braucht welches Modell?
Als Faustformel: Parameter in Milliarden mal Bits, geteilt durch acht. Ein Modell mit 8 Milliarden Parametern belegt bei vierfacher Genauigkeit rund 5 bis 6 Gigabyte, eines mit 14 Milliarden passt in 16 Gigabyte, eines mit 30 Milliarden braucht 32. Ein 70-Milliarden-Modell kommt selbst stark verkleinert auf etwa 40 Gigabyte und passt damit nicht mehr auf eine einzelne übliche Karte. Dazu kommt Platz für das Kontextfenster, je nach Länge nochmals einige Gigabyte.
-
Was bedeutet Quantisierung, und was kostet sie an Qualität?
Quantisierung speichert das Modell mit gröberer Zahlengenauigkeit — statt 16 Bit je Parameter etwa 4. Der Speicherbedarf sinkt dadurch auf ein Viertel, aus 140 Gigabyte werden rund 40. Der Qualitätsverlust ist bei vier Bit meist gering und im Alltag kaum bemerkbar; erst darunter wird es spürbar. Für den Selbstbetrieb ist das der Hebel, der aus «unbezahlbar» ein «machbar» macht.
-
Lohnt sich eigene Hardware gegenüber einem Abo?
Rein rechnerisch selten. Eine Karte, die ein mittleres Modell trägt, kostet in der Grössenordnung von einigen hundert bis wenigen tausend Franken, dazu kommen Strom, Kühlung und vor allem Arbeitszeit für Einrichtung und Pflege. Gegen ein Abo für ein paar Franken im Monat je Person rechnet sich das über Verbrauch fast nie. Es rechnet sich über etwas anderes: dass bestimmte Daten das Haus nicht verlassen dürfen. Wo dieser Grund fehlt, ist Selbstbetrieb meist ein Prestigeprojekt.
-
Wie viel Strom braucht das?
Eine leistungsfähige Grafikkarte zieht unter Last mehrere hundert Watt, im Leerlauf deutlich weniger. Entscheidend ist die tatsächliche Auslastung: Ein System, das täglich zwei Stunden rechnet, verursacht überschaubare Kosten; eines, das rund um die Uhr läuft, spürbar mehr. Rechnen Sie mit Ihrem eigenen Tarif und der geschätzten Laufzeit — die Zahl fällt je nach Nutzung sehr unterschiedlich aus.
-
Was ist mit gemieteten GPU-Servern?
Das ist der Mittelweg: Rechenleistung stundenweise mieten, statt Hardware zu kaufen. Für zeitlich begrenzte Vorhaben oder zum Ausprobieren ist das sinnvoll. Für den Datenschutzgrund taugt es nur bedingt — die Daten verlassen dann wieder Ihr Haus, nur eben Richtung Rechenzentrum statt Richtung Modellanbieter. Wer wegen der Vertraulichkeit selbst betreiben will, muss das im eigenen Netz tun.
-
Welche offenen Modelle kommen in Frage?
Verbreitet sind die Reihen von Meta, Mistral und DeepSeek, dazu weitere Anbieter. Welche im Moment die stärkste ist, ändert sich im Monatsrhythmus — die Auswahl sollte deshalb nicht am Namen hängen, sondern an der Grösse, die auf Ihre Hardware passt, und an der Lizenz. Nicht jedes «offene» Modell erlaubt jede kommerzielle Nutzung; das gehört vor dem Aufbau geprüft.