Proxmox-Cluster mit Ceph aufbauen
Was ist Ceph auf Proxmox VE, und was braucht es mindestens?
Ceph ist laut Proxmox-Dokumentation ein verteilter Objektspeicher mit Dateisystem, der Block-, Datei- und Objektspeicher bereitstellt. Proxmox VE kann Ceph direkt auf den Hypervisor-Knoten installieren und verwalten. Mit „hyperkonvergent“ ist gemeint: Dieselben Server rechnen (VMs und Container) und speichern (replizierter Speicher), ein getrenntes SAN oder NAS entfällt.
Die Untergrenze ist hart. Für einen hyperkonvergenten Proxmox-Ceph-Cluster braucht es mindestens drei, vorzugsweise gleiche Server; zwei Knoten genügen nicht. Der beschriebene Weg gilt für „kleine bis mittelgroße“ Installationen.
Als Vorteile von Ceph auf Proxmox VE nennt die Doku unter anderem:
- Thin Provisioning und Snapshots
- Selbstheilung
- replizierte, fehlertolerante Daten
- Betrieb auf Standardhardware, ohne RAID-Controller
- offene Quelltexte
Welche Voraussetzungen nennt die Dokumentation?
Wie viele Knoten und Monitore brauche ich?
- Für Hochverfügbarkeit braucht ein Proxmox-Cluster mindestens drei Knoten für ein verlässliches Quorum.
- Bei Ceph sind außerdem mindestens drei Monitore nötig, damit ein Quorum besteht.
- Für den Betrieb empfiehlt die Doku einen Ceph-Cluster mit mindestens drei Knoten und mindestens 12 OSDs, gleichmäßig auf die Knoten verteilt.
Welches Netzwerk brauche ich?
Empfohlen sind mindestens 10 Gbit/s, ausschließlich für Ceph-Verkehr. Der Verkehr beim Wiederherstellen (Recovery) kann sonst das latenzempfindliche Corosync stören und im Extremfall das Cluster-Quorum kosten.
Für Hochleistungs-Setups rät die Doku im Zweifel zu drei getrennten physischen Netzen:
- sehr hohe Bandbreite (25 Gbit/s und mehr) für den internen Ceph-Verkehr
- hohe Bandbreite (10 Gbit/s und mehr) für den öffentlichen Ceph-Verkehr
- 1 Gbit/s ausschließlich für Corosync
Für Corosync allein genügt laut Cluster-Kapitel meist eine dedizierte 1-Gbit-Netzwerkkarte.
Welche Hardware brauche ich?
- Faustregel: mindestens ein CPU-Kern (oder Thread) je Ceph-Dienst.
- Für OSDs mindestens 8 GiB Arbeitsspeicher; der OSD-Dienst braucht standardmäßig 4 GiB.
- Bei kleinen Clustern SSDs statt HDDs, weil die Wiederherstellung dann kürzer dauert.
- Ein gleichmäßiges Plattenlayout je Knoten ist besser als ein gemischtes.
- Keinen RAID-Controller: Ceph kümmert sich selbst um Redundanz, die Doku rät deshalb zu einem Host-Bus-Adapter (HBA).
Alle Zahlen sind Empfehlungen, keine Garantien. Die Doku selbst rät, den Aufbau zu testen und Gesundheit und Leistung laufend zu überwachen.
Warum reichen zwei Server nicht?
Das Cluster-Quorum: Bei einer Netzwerktrennung braucht der Cluster die Mehrheit der Stimmen, sonst wechselt er in den Lesemodus. Jeder Knoten hat standardmäßig eine Stimme. Für kleine Zwei-Knoten-Cluster beschreibt die Doku ein QDevice: einen externen Dienst auf einem unabhängigen Server, der eine dritte Stimme liefert. Damit ist nur das Cluster-Quorum gelöst, die Drei-Server-Anforderung für Ceph steht an anderer Stelle.
Ceph selbst: Hier verlangt die Doku ausdrücklich mindestens drei Server. Ein Pool hat voreingestellt drei Replikate (size 3) und verlangt mindestens zwei Replikate für Ein- und Ausgabe (min_size 2), damit bei einem OSD-Ausfall keine Daten verloren gehen.
Ein min_size von 1 sollten Sie nicht setzen: Dann sind Zugriffe auf ein Objekt mit nur einem Replikat möglich, was zu Datenverlust führen kann. Die Ceph-Dokumentation sagt dazu, dass für hohe Verfügbarkeit mehr als zwei Kopien gespeichert werden sollten, damit der Cluster im degradierten Zustand weiterlaufen kann und die Daten dabei sicher bleiben.
Wie baue ich den Cluster auf?
Die Befehle stammen aus der Proxmox-Dokumentation (Stand Proxmox VE 9.2.13, Ausgabe vom 24. September 2026) und sind nicht auf einem Testcluster gelaufen.
Wie lege ich den Cluster an?
1. Cluster anlegen. Auf allen Knoten Proxmox VE installieren, mit dem endgültigen Hostnamen und der endgültigen IP-Konfiguration (beides lässt sich nach dem Anlegen des Clusters nicht mehr ändern, der Clustername ebenso wenig). Auf dem ersten Knoten (Weboberfläche: Datacenter → Cluster → Create Cluster):
pvecm create CLUSTERNAME
pvecm status
2. Knoten hinzufügen. Auf jedem weiteren Knoten, mit der IP-Adresse eines bestehenden Knotens:
pvecm add IP-ADRESSE-DES-CLUSTERS
Beim Beitritt wird die bestehende Konfiguration unter /etc/pve überschrieben; ein beitretender Knoten darf deshalb keine Gäste enthalten.
Wie installiere und konfiguriere ich Ceph?
3. Ceph installieren. In der Weboberfläche den Ceph-Bereich eines Knotens öffnen, dort bietet ein Assistent die Installation an. Alternativ auf jedem Knoten:
pveceph install
4. Ceph konfigurieren. Das ist einmal je Cluster nötig, die Konfiguration verteilt Proxmox VE selbst. Per Kommandozeile auf einem Knoten:
pveceph init --network 10.10.10.0/24
Das Netz ist das Beispiel aus der Doku. Der Assistent fragt das öffentliche Netz ab (Public Network, Pflicht) und optional ein eigenes Cluster Network für Replikation und Heartbeat der OSDs, dazu den ersten Monitor-Knoten.
Wie entstehen Monitore und OSDs?
5. Monitore und Manager. Empfohlen sind drei Monitore, mehr brauchen kleine bis mittlere Cluster nicht; den Manager installieren Sie laut Doku am besten auf denselben Knoten, für Hochverfügbarkeit mehrfach (aktiv ist immer nur einer). Auf jedem dieser Knoten:
pveceph mon create
pveceph mgr create
6. OSDs anlegen. Je physischer Platte ein OSD. Eine zuvor genutzte Platte muss vorher bereinigt werden, das zerstört alle Daten darauf; der Befehl gilt nur für eine solche Platte:
ceph-volume lvm zap /dev/sd[X] --destroy
Danach der OSD selbst:
pveceph osd create /dev/sd[X]
Wie entsteht der Pool?
7. Pool anlegen und als Speicher nutzen. Ohne weitere Angaben setzt Proxmox VE 128 Placement Groups, size 3 und min_size 2. Mit --add_storages wird der Pool zugleich als Speicher eingerichtet:
pveceph pool create POOLNAME --add_storages
Welches Ceph-Repository gilt für den Produktivbetrieb?
Die vorkonfigurierte Ceph-Quelle ist das Enterprise-Repository. Laut Doku ist es für den Produktivbetrieb empfohlen und erreichbar, wenn der Knoten eine gültige Subscription beliebiger Stufe hat. Das No-Subscription-Repository ist für Tests und den Nicht-Produktivbetrieb gedacht. Was eine Subscription kostet, steht unter Proxmox-Subscription-Kosten.
Für Proxmox VE 9 nennt die Doku die Ceph-Releases Tentacle (empfohlen im Enterprise-Repository) und Squid (geschätztes End-of-Life 2026-09).
Wie fahre ich einen Ceph-Cluster herunter?
Die Doku nennt eine feste Reihenfolge für das Abschalten des ganzen Clusters:
Zuerst alle Ceph-Clients stoppen, vor allem VMs und Container (auch CephFS- oder RADOS-Gateway-Clients).
Prüfen, dass der Cluster gesund ist:
ceph -sDas Flag
nooutsetzen, damit beim Aus- und Einschalten keine Wiederherstellung startet:ceph osd set nooutZuerst die Knoten ohne Monitor herunterfahren, danach die Knoten mit Monitor.
Beim Einschalten starten zuerst die Knoten mit Monitoren. Wenn alle Knoten laufen und alle Ceph-Dienste oben sind, bleibt nur die Warnung, dass noout gesetzt ist. Heben Sie das Flag auf:
ceph osd unset noout
Danach starten die Gäste.
Quellen
- Proxmox VE Administration Guide: Deploy Hyper-Converged Ceph Cluster, abgerufen am 11. November 2026
- Proxmox VE Administration Guide: Cluster Manager, abgerufen am 11. November 2026
- Proxmox VE Administration Guide: Host System Administration (Ceph Repositories), abgerufen am 11. November 2026
- Ceph Documentation: Architecture, abgerufen am 11. November 2026