Logo von nextlevels
DEEN

Ollama & Open WebUI hosten: Euer eigenes ChatGPT

Ollama & Open WebUI hosten

Mit Ollama und Open WebUI betreibt ihr Open-Source-Sprachmodelle wie Llama, Mistral oder Qwen auf eigener Infrastruktur – mit einer Chat-Oberfläche wie ChatGPT, zentralem Login und Fragen an eigene Dokumente.

Eigenes LLM besprechen Leistungen entdecken

Warum ein eigenes LLM statt ChatGPT-Abo

Wir dimensionieren die Hardware, richten alles ein und betreiben es in Deutschland.

Das Wichtigste zu Ollama- und Open-WebUI-Hosting

  • Eigenes ChatGPT mit Open-Source-Modellen auf eigener Infrastruktur in Deutschland.
  • Open WebUI als Chat-Oberfläche mit Rollen, Rechten und zentralem Login.
  • Fragen an eigene Dokumente über eine Wissensbasis (RAG) mit Quellenangabe.
  • Hardware passend dimensioniert – GPU oder CPU je nach Modell und Nutzerzahl.
  • **Teil unserer KI-Agentur**: von der Modellwahl bis zum laufenden Betrieb.
Eigenes LLM besprechen

Einrichtung in Schritten

  1. Anwendungsfälle klären

    Wofür soll das Modell genutzt werden: Texte, Zusammenfassungen, Fragen an interne Dokumente, Code? Daraus ergeben sich Modellgröße und Hardware.

  2. Hardware dimensionieren

    GPU-Server für flüssige Antworten oder CPU für kleine Modelle und wenige Nutzer. Wir rechnen den Bedarf vorher durch, statt zu raten.

  3. Ollama & Modelle

    Ollama stellt die Modelle bereit. Wir wählen zwei bis drei passende Modelle aus und prüfen ihre Lizenzen für den geschäftlichen Einsatz.

  4. Open WebUI & Login

    Die Chat-Oberfläche mit Rollen und Rechten, angebunden an euer zentrales Login über Keycloak.

  5. Dokumente anbinden

    Für Fragen an eigene Dokumente richten wir eine Wissensbasis (RAG) ein: Dokumente werden indexiert und das Modell antwortet mit Quellenangabe.

  6. Regeln & Schulung

    Nutzungsregeln, KI-Kompetenz im Team und ein Ansprechpartner für Fragen. Danach Betrieb mit Updates und Monitoring.

Was du über Ollama- und Open-WebUI-Hosting wissen solltest

  1. Lizenzen der Modelle prüfen

    Nicht jedes offene Modell darf ohne Einschränkung geschäftlich genutzt werden. Llama und Gemma haben eigene Nutzungsbedingungen, viele Mistral- und Qwen-Modelle stehen unter Apache 2.0.

  2. GPU für flüssige Antworten

    Kleine Modelle laufen auch auf CPU, aber langsam. Für ein Team mit mehreren gleichzeitigen Nutzern ist eine GPU in der Regel nötig.

  3. Keine Daten an Cloud-Anbieter

    Eingaben, Chats und Dokumente bleiben auf eurem Server. Das erleichtert die datenschutzrechtliche Bewertung erheblich.

Echte Software-Erfolge

Werde unsere nächste Erfolgsgeschichte

Projekt besprechen

  • Modelle auf eigener Hardware

    Ollama lädt und betreibt Open-Source-Modelle lokal. Eingaben und Antworten bleiben auf eurem Server, nichts geht an einen Cloud-Anbieter.

  • Chat-Oberfläche für das Team

    Open WebUI sieht aus und funktioniert wie ChatGPT: Chats, Vorlagen, Modellauswahl, Rollen und Rechte. Das Team muss nichts Neues lernen.

  • Fragen an eigene Dokumente

    Handbücher, Richtlinien oder Produktdaten werden in eine Wissensbasis geladen. Das Modell beantwortet Fragen dazu und nennt die Quelle.

  • Betrieb & Updates

    Modelle und Software entwickeln sich schnell. Wir halten Ollama, Open WebUI und die Modelle aktuell und überwachen Auslastung und Verfügbarkeit.

Architektur: GPU-Server, Ollama, Open WebUI, RAG, SSO

Ein eigenes ChatGPT besteht aus wenigen, klar getrennten Bausteinen. Jeder lässt sich einzeln austauschen, wenn bessere Modelle oder Werkzeuge erscheinen.

Server mit GPU oder CPU

Die Rechenleistung für die Modelle. GPU-Server für Teams, CPU-Server für kleine Modelle und Tests.

Ollama

Lädt die Modelle, verwaltet sie und stellt eine API bereit, die auch andere Anwendungen wie n8n nutzen können.

Open WebUI

Die Chat-Oberfläche mit Benutzerverwaltung, Modellauswahl, Vorlagen und Wissensbasis.

Vektor-Datenbank & SSO

Eine Vektor-Datenbank für die Dokumentensuche und Keycloak für das zentrale Login mit euren bestehenden Konten.

Welche Modelle? Llama, Mistral, Qwen, Gemma

Die Modelllandschaft ändert sich alle paar Monate. Wir wählen nach Aufgabe, Sprache und Lizenz aus und tauschen Modelle, wenn bessere verfügbar sind. Lizenzbedingungen prüfen wir vor dem Einsatz – das ist keine Rechtsberatung.

Llama (Meta)

Leistungsstarke Modelle in vielen Größen. Nutzung unter der Llama-Community-Lizenz mit eigenen Bedingungen.

Mistral

Europäischer Anbieter, mehrere Modelle unter Apache 2.0. Gut für deutsche und europäische Sprachen.

Qwen (Alibaba)

Starke Modelle für Text und Code, viele Größen unter Apache 2.0.

Gemma (Google)

Kompakte Modelle, die auch auf kleinerer Hardware gut laufen. Nutzung unter den Gemma-Nutzungsbedingungen.

Hardware-Dimensionierung: Richtwerte

Wie viel Speicher ein Modell braucht, hängt von seiner Größe (Parameter) und der Quantisierung ab. Das Ollama-Projekt nennt als Mindestwerte 8 GB Arbeitsspeicher für 7B-Modelle, 16 GB für 13B- und 32 GB für 33B-Modelle (Quelle: Ollama-README auf GitHub). Für flüssige Antworten im Team sollte das Modell vollständig in den Grafikspeicher passen.

Kleine Modelle (bis ca. 8B)

Laufen auf einer einzelnen Mittelklasse-GPU oder langsam auf CPU. Gut für Zusammenfassungen und einfache Texte.

Mittlere Modelle (ca. 13B–34B)

Brauchen eine GPU mit viel Grafikspeicher. Deutlich besser bei längeren Texten und Fragen an Dokumente.

Große Modelle (ab ca. 70B)

Brauchen mehrere GPUs oder spezielle Hardware. Lohnt sich nur bei hohen Anforderungen und vielen Nutzern.

Gleichzeitige Nutzer

Mehr parallele Anfragen brauchen mehr Speicher für den Kontext. Wir planen Reserve ein und messen nach dem Start.

Datenschutz & KI-Verordnung

Self-Hosting löst das größte Datenschutzproblem: Eingaben verlassen das Unternehmen nicht. Die Pflichten aus DSGVO und KI-Verordnung gelten trotzdem. Das ist keine Rechtsberatung – stimme dich mit deinem Datenschutzbeauftragten ab.

DSGVO

Personenbezogene Daten in Chats und Wissensbasis brauchen eine Rechtsgrundlage und Zugriffsregeln. Wir setzen Rollen, Rechte und Löschregeln technisch um.

KI-Kompetenz

Seit Februar 2025 verlangt die KI-Verordnung, dass Mitarbeitende, die KI-Systeme nutzen, ausreichend geschult sind. Wir helfen mit einer Einführung.

Was kostet ein eigenes LLM?

Einen Festpreis nennen wir hier bewusst nicht, weil die Kosten vom Umfang abhängen. Die Software selbst ist Open Source und kostet keine Lizenzgebühr pro Nutzer. Bezahlt werden Server, Einrichtung und Betrieb. Du bekommst ein Angebot nach Aufwand – sprich uns an.

Einrichtung

Abhängig von Anwendungsfällen, Anbindung an Login und Dokumente und dem Umfang der Wissensbasis.

Laufender Betrieb

Vor allem die Hardware: Ein GPU-Server kostet deutlich mehr als ein normaler Server. Dazu kommen Updates, Monitoring und Support.

Marken, die mit uns arbeiten

  • Siniac logo
  • Vosdellen logo
  • Cisco logo
  • Software AG logo
  • HanseMerkur logo
  • Mubea logo
  • Sixt logo

Worauf es bei Ollama- und Open-WebUI-Hosting ankommt

Ein eigenes LLM ist kein Ersatz für die stärksten Cloud-Modelle bei jeder Aufgabe. Für Zusammenfassungen, Textentwürfe, Übersetzungen und Fragen an interne Dokumente sind aktuelle Open-Source-Modelle aber gut genug – und die Daten bleiben im Haus. Wichtig ist, die Erwartungen vorher ehrlich abzugleichen.

Die Hardware entscheidet über das Nutzererlebnis. Ein Modell, das auf einer zu kleinen Maschine läuft, antwortet zäh und wird nicht genutzt. Wir dimensionieren GPU und Speicher nach Modellgröße und gleichzeitigen Nutzern und starten lieber mit einem kleineren, schnellen Modell als mit einem großen, langsamen.

Datenschutz ist mit Self-Hosting nicht automatisch erledigt. Es braucht Rollen und Rechte, klare Regeln, welche Daten in die Wissensbasis dürfen, und KI-Kompetenz im Team. Mehr dazu im Beitrag DSGVO & KI und zur digitalen Souveränität.

ChatGPT-Abo vs. eigenes LLM

Beide Wege haben ihre Berechtigung. Die Frage ist, welche Daten in das Modell gehen und wie viel Kontrolle ihr braucht.

ChatGPT-Abo (Cloud)Ollama + Open WebUI
Daten verlassen das Unternehmen
Kosten pro Nutzer
Modell frei wählbar
Stärkste Modelle verfügbar
Hardware nötig
Qualitativer Vergleich – die Antwortqualität großer Cloud-Modelle ist bei komplexen Aufgaben meist höher.

Mehr dazu im Wiki: Large Language Model (LLM), Retrieval Augmented Generation (RAG), KI-Kompetenz

Open WebUI vs. ChatGPT Team vs. LibreChat

Open WebUI ist nicht die einzige Oberfläche für eigene Modelle. Die wichtigsten Optionen im Überblick.

Open WebUI + OllamaChatGPT TeamLibreChat
BetriebEigener ServerCloud von OpenAIEigener Server
ModelleLokale Modelle, optional APIsOpenAI-ModelleVor allem Cloud-APIs, auch lokale
DatenBleiben auf eurem ServerBeim AnbieterJe nach angebundenem Modell
Wissensbasis (RAG)IntegriertIntegriertIntegriert
Zentrales LoginOIDC (z. B. Keycloak)SSO je nach TarifOIDC
LizenzOpen-WebUI-Lizenz (offen, mit Branding-Klausel)Abo pro NutzerOpen Source (MIT)

Stand Oktober 2026, Funktionsumfang je nach Version. Open WebUI hat 2025 seine Lizenz um eine Branding-Klausel ergänzt; wir prüfen die aktuelle Fassung vor dem Einsatz.

Sicherheit, Datenschutz & Betrieb

  • Server in Deutschland

    Deine Instanz läuft auf Servern in Deutschland, nicht in einer US-Cloud.

  • DSGVO-konformer Betrieb

    Die Datenhoheit bleibt bei dir: Instanz und Inhalte gehören dir, wir betreiben sie nur. Für die Auftragsverarbeitung bieten wir dir einen AVV nach Art. 28 DSGVO an.

  • Verschlüsselte Backups

    Regelmäßige, automatisierte und verschlüsselte Backups. Die Wiederherstellung testen wir, statt uns im Ernstfall darauf zu verlassen.

  • Updates & Patch-Management

    Sicherheitsupdates spielen wir zeitnah ein. Größere Versionssprünge planen wir und testen sie vorher in einer Staging-Umgebung.

  • Monitoring rund um die Uhr

    Wir überwachen Verfügbarkeit, Ressourcen, Zertifikate und Fehler rund um die Uhr und werden bei Auffälligkeiten automatisch alarmiert – so wie im Beitrag zur Alarmierung mit n8n beschrieben.

  • Zugriff & Single Sign-on

    Rollen und Rechte pro Nutzer, Zwei-Faktor-Anmeldung, wo das Tool sie unterstützt, und optional ein zentrales Login über Single Sign-on mit Keycloak.

  • Verschlüsselte Verbindungen

    Alle Verbindungen zu deiner Instanz laufen verschlüsselt über TLS (HTTPS).

  • Kein Lock-in

    Open Source, Datenexport jederzeit. Willst du den Betrieb selbst übernehmen oder umziehen, bekommst du eine Übergabe-Dokumentation.

  • Persönlicher Ansprechpartner

    nextlevels GmbH aus Mönchengladbach und Düsseldorf: ein fester Ansprechpartner, der dein Setup kennt. Den Supportumfang vereinbaren wir individuell – sprich uns an.

Blogartikel zu Ollama- und Open-WebUI-Hosting

Häufige Fragen

Deine Frage ist nicht dabei?

Direkt fragen
Was ist Ollama und was ist Open WebUI?
Ollama ist eine Open-Source-Software, die Sprachmodelle wie Llama, Mistral oder Qwen lokal betreibt und per API bereitstellt. Open WebUI ist eine Chat-Oberfläche dafür, die wie ChatGPT funktioniert, mit Benutzerverwaltung und Wissensbasis. Zusammen ergeben sie ein eigenes ChatGPT auf eurer Infrastruktur.
Ist ein selbst gehostetes LLM DSGVO-konform?
Self-Hosting ist eine sehr gute Grundlage, weil Eingaben und Dokumente euren Server nicht verlassen. DSGVO-konform wird es durch sauberen Betrieb: Rechtsgrundlage, Zugriffsrechte, Löschregeln und Hosting in Deutschland. Einen Auftragsverarbeitungsvertrag (AVV) nach Art. 28 DSGVO bieten wir dir an. Die rechtliche Bewertung trifft dein Datenschutzbeauftragter.
Brauche ich eine GPU?
Für ein Team mit mehreren gleichzeitigen Nutzern in der Regel ja, sonst werden die Antworten zu langsam. Kleine Modelle laufen auch auf CPU, das reicht für Tests oder einzelne Nutzer. Wir rechnen den Bedarf vorher anhand von Modellgröße und Nutzerzahl durch.
Wie gut sind Open-Source-Modelle im Vergleich zu ChatGPT?
Für Zusammenfassungen, Textentwürfe, Übersetzungen und Fragen an Dokumente sind aktuelle Open-Source-Modelle gut nutzbar. Bei komplexem Schlussfolgern oder sehr langen Texten liegen die größten Cloud-Modelle meist vorn. Wir testen mit euren echten Aufgaben, bevor ihr entscheidet.
Können wir eigene Dokumente anbinden (RAG)?
Ja. Open WebUI bringt eine Wissensbasis mit: Dokumente werden indexiert, und das Modell beantwortet Fragen mit Verweis auf die Quelle. Für größere Dokumentmengen oder automatische Aktualisierung bauen wir eine eigene Pipeline.
Welche Alternativen zu Ollama gibt es?
vLLM ist auf hohen Durchsatz mit vielen gleichzeitigen Anfragen ausgelegt, LM Studio eher für einzelne Arbeitsplätze, LocalAI bietet eine OpenAI-kompatible API für verschiedene Modelltypen. Ollama ist der einfachste Einstieg; bei hoher Last wechseln wir bei Bedarf auf vLLM.
Was kostet ein eigenes LLM?
Lizenzkosten pro Nutzer fallen nicht an. Den größten Teil macht die Hardware aus, vor allem ein GPU-Server. Dazu kommen Einrichtung, Updates und Support. Nach einem Gespräch über eure Anwendungsfälle bekommst du ein Angebot nach Aufwand.

Zuletzt aktualisiert am

KI, die im Haus bleibt

Mit uns bist du in der Welt der Enterprise Softwareentwicklung immer auf der Höhe der Zeit und profitierst unmittelbar von unserem umfassenden Entwicklungs-Know-how. Gemeinsam nehmen wir deine Geschäftsprozesse unter die Lupe, identifizieren zentrale Optimierungspotenziale und entwickeln individuell angepasste Lösungen. Deine unternehmerischen Ziele und Erwartungen sind der Dreh- und Angelpunkt unseres Handelns.

  1. Umfassendes technologisches Fachwissen

    Wir wählen den Stack pro Projekt nach Anforderung und setzen auf bewährte, zukunftssichere Technologien statt Nischenabhängigkeiten.

  2. Spezialisiert auf Enterprise-Lösungen

    Der eigentliche Hebel liegt in sauberen Schnittstellen: Wir integrieren tief in ERP, CRM und Drittsysteme statt in Insellösungen.

  3. Jahrelange Erfahrung in der Softwarebranche

    Von der Anforderungsanalyse bis zum Betrieb nach Go-Live kennen wir die Fallstricke großer Softwareprojekte.

  4. Multidisziplinäres Expertenteam

    Analyse, Architektur, Backend und Betrieb laufen in einem Team zusammen, ohne Reibung zwischen Gewerken.

  5. Langfristiger Unternehmenserfolg

    Wir bauen wartbare Fundamente, die mit deinem Unternehmen wachsen, und bleiben mit Support und Weiterentwicklung an deiner Seite.

BEREIT FÜR SOFTWARE, DIE AUF DEIN UNTERNEHMEN ZUGESCHNITTEN IST?

Ob du bestehende Systeme optimieren oder neue digitale Lösungen einführen möchtest: Wir freuen uns darauf, dich kennenzulernen und gemeinsam neue Wege zu gehen. Ein erster Austausch ist der Grundstein für deinen Erfolg.

Worum geht's?

Projekt besprechen +49 (0) 2161 539 71 60
Profilbild von Slawa Ditzel, Executive Partner

Slawa Ditzel

Executive Partner

  1. 30 Minuten per Video oder Telefon
  2. Du sprichst direkt mit einem Partner, nicht mit dem Vertrieb
  3. Du bekommst Reihenfolge, Risiken und grobe Kosten

+49 (0) 2161 539 71 60info@next-levels.de

Passende Leistungen zu Ollama- und Open-WebUI-Hosting