Häufige Fragen (FAQs)
Fragen zu LiteLLM
Ab wann ist LiteLLM bei server.camp verfügbar?
LiteLLM steht kurz vor dem Start in unserem Portfolio. Trag dich oben mit deiner E-Mail-Adresse ein – als Vormerker:in erfährst du als Erste:r vom Launch und kannst direkt loslegen, sobald LiteLLM verfügbar ist.
Welche Modell-Anbieter unterstützt LiteLLM?
LiteLLM verbindet über 100 Anbieter, darunter OpenAI, Anthropic (Claude), Google Gemini/Vertex AI, AWS Bedrock, Azure OpenAI, Mistral, Cohere, Groq, Together AI und Hugging Face. Auch selbst gehostete Modelle über vLLM oder Ollama lassen sich einbinden. Alle laufen über dieselbe OpenAI-kompatible Schnittstelle.
Wie steht es um Datenschutz und DSGVO?
Bei server.camp läuft LiteLLM auf Servern in Deutschland und wird DSGVO-konform betrieben. Deine API-Keys, Logs und Nutzungsdaten bleiben in deiner Instanz und werden nicht an Dritte weitergegeben. Du entscheidest selbst, welche externen Modell-Anbieter du anbindest und wohin Logs geschrieben werden.
Ist LiteLLM wirklich Open Source?
Ja. Der Kern von LiteLLM steht unter der MIT-Lizenz und ist vollständig quelloffen – inklusive Gateway, Dashboard, virtuellen Keys, Cost-Tracking und Load-Balancing. Nur einzelne Enterprise-Funktionen wie SSO, Audit-Logs und dedizierter Support liegen unter einer separaten kommerziellen Lizenz.
Brauche ich für jeden Anbieter einen eigenen Account?
Du hinterlegst die API-Keys der Anbieter, die du nutzen möchtest, zentral in LiteLLM. Deine Anwendungen erhalten dann nur noch virtuelle Keys von LiteLLM und müssen die echten Anbieter-Schlüssel nie sehen. So zentralisierst du Zugriff, Rotation und Abrechnung an einer Stelle.
Allgemeine technische Fragen
Wo liegen meine Daten?
Für die Bereitstellung unserer Dienste nutzen wir Private Cloud Server von Netcup in Nürnberg. Deine Daten werden täglich verschlüsselt an einen zweiten Standort in Falkenstein gesichert. Deine Daten liegen damit zu 100% in Deutschland. Uns ist wichtig, dass unser Dienst nicht nur vollständig DSGVO-konform erbracht wird, sondern darüber hinaus für dich auch transparent und verständlich ist. Falls du also Fragen dazu hast freuen wir uns auf eine Nachricht von dir.
Wie erfüllt server.camp die DSGVO?
Alle unsere Server befinden sich in Deutschland und werden entsprechend der strengen Datenschutzvorgaben der DSGVO betrieben. Grundsätzlich läuft die Kommunikation zwischen Systemen immer verschlüsselt (SSL/TLS). Wir nutzen Firewalls um verschiedene Netzbereiche voneinander zu trennen, spielen regelmäßig Updates ein und lassen unsere Maßnahmen von externen Dienstleistern überprüfen. Auf Anfrage kannst du jederzeit deine Daten exportieren oder löschen lassen.
Wie sichert ihr meine Daten?
Wir sichern jede Nacht alle Datenbanken und Dateien verschlüsselt auf ein externes Backup-System in Falkenstein. Die Backups werden bis zu sechs Monate lang aufbewahrt und können bei Bedarf wiederhergestellt werden.
Gibt es eine Mindestvertragslaufzeit oder automatische Verlängerung?
Der Vertrag für den Betrieb und Support läuft nach Ende der Testphase einen Monat. Er verlängert sich als Abo automatisch um einen weiteren Monat, wenn du nicht kündigst. Du kannst jederzeit zum Ende des aktuellen Vertragsmonats kündigen.
Welche Technologien nutzt ihr?
Auch bei der Wahl unserer eigenen Tools ist uns wichtig, zu 100% auf Open Source zu setzen. Für die Bereitstellung unseres Angebots nutzen wir Server mit Debian, die wir mit Ansible konfigurieren und auf denen wir ein sehr strikt konfiguriertes Docker als Virtualisierungslösung nutzen. Auch die Einrichtung neuer Instanzen unserer Produkte geschieht mit Ansible. Zum Monitoring nutzen wir Zabbix und Grafana, für unseren Support Zammad und als Firewall pfSense.
💡 Viele weitere häufig gestellte Fragen zu unseren Produkten, zu Themen wie Open-Source, digitale Souveränität, Datenschutz und server.camp allgemein findest du hier.
