TYPO3-Medien ohne Mount: vom FUSE-Volume zum FAL-Treiber auf S3
Teil 8 der Serie hat fileadmin in den Objektspeicher gelegt und dafür den bequemen Weg gewählt: Ein CSI-Treiber hängt den S3-Bucket als Dateisystem in den Pod, TYPO3 merkt nichts. Wie das mit drei Cache-Ebenen läuft, steht in fileadmin auf S3 mit Caching. Es lief ein Jahr. Dieser Beitrag beschreibt, warum der Mount trotzdem gehen musste, wie TYPO3 jetzt selbst mit S3 spricht und was der Umbau gemessen gebracht hat. Ergänzung zur Serie „TYPO3 auf Kubernetes unter IT-Grundschutz“.
TL;DR
TL;DR: Der eingehängte Bucket war ein privilegierter Pod mit der Rolle des Knotens, eine Ausfallstelle für alle Mandanten und ein Volume, das jeden TYPO3-Pod festhielt. Keine der vorhandenen S3-Extensions läuft auf TYPO3 14, also ist ein eigener FAL-Treiber entstanden: Bezeichner bleiben Objektschlüssel, die URLs bleiben /fileadmin/…, der Speicher wird an Ort und Stelle umgeschaltet, jeder Mandant bekommt eine eigene Rolle. Der Rollout lief mit Rückweg, erst ein Mandant, dann alle, dann fiel der Mount. Korrekt war es sofort. Schneller nicht, und das führt zum nächsten Beitrag.
01 — Was der Mount gekostet hat
Der CSI-Treiber für S3 läuft als DaemonSet auf jedem Knoten. Er braucht privileged, die Capability SYS_ADMIN, Zugriff auf /dev/fuse und bidirektionale Mount-Propagation. Das ist kein Konfigurationsfehler, sondern die Natur eines FUSE-Dateisystems. Ein Fehler in diesem Pod ist ein Fehler auf dem Knoten.
Er authentisiert sich mit der Rolle des Knotens. Diese Rolle muss jeden Media-Bucket lesen und schreiben dürfen, weil derselbe Prozess alle Mandanten bedient. Die Mandantentrennung aus Teil 6 endet damit an der Speichergrenze: Wer den Knoten hat, hat alle Medien. Dasselbe gilt für Spot-Knoten, die nur wegen des Mounts dieselben Rechte brauchen.
Dazu kommen drei kleinere Posten. Fällt das DaemonSet aus, verliert jeder Mandant gleichzeitig sein fileadmin; der Treiber ist eine Ausfallstelle für alle. Eine Datei wird im Bucket erst sichtbar, wenn der Schreiber sie schließt, was bei zwei Replikas zu Momenten führt, in denen eine Datei existiert und noch nicht. Und weil der Treiber eine feste Benutzer-ID erzwingt, waren die Verzeichnisse weltweit beschreibbar, damit TYPO3 überhaupt hineinschreiben konnte.
Jeder Punkt für sich war tragbar. Zusammen beschrieben sie einen privilegierten Prozess im Request-Pfad jeder Website, der mehr darf, als eine einzelne Website braucht.
02 — Warum keine fertige Extension
TYPO3 kennt den anderen Weg seit Jahren: Ein FAL-Treiber spricht direkt mit dem Objektspeicher, der Mount entfällt. Die beiden bekannten Extensions dafür sind bei TYPO3 13 stehengeblieben, und beide bringen Eigenschaften mit, die hier stören: Sie liefern Dateien unter S3- oder CDN-Adressen aus statt unter /fileadmin/…, sie kennen keinen Ausschluss fremder Präfixe im selben Bucket, und sie hängen am großen AWS-SDK.
Also ist ein eigener Treiber entstanden, schlank und nur für TYPO3 14 auf PHP 8.5. Die Entscheidungen, die ihn von den vorhandenen unterscheiden:
- Bezeichner sind Objektschlüssel. Die Wurzel des Buckets ist die Wurzel von fileadmin. Ein Speicher, der bisher ein lokaler Treiber auf dem eingehängten Bucket war, wird an Ort und Stelle umgeschaltet. Die Tabelle der Dateien, die verarbeiteten Bilder und jede URL bleiben, kein Objekt wird bewegt.
- Die URLs bleiben. TYPO3 liefert die Dateien nicht aus. Der Caddy im Pod bedient
/fileadmin/direkt aus dem Bucket, unter derselben Rolle wie die Anwendung. Dafür braucht der Webserver ein S3-Dateisystem-Modul, dazu gleich mehr. - Verarbeitete Bilder ohne Rennen. Zwei Replikas erzeugen dieselbe Bildvariante gern gleichzeitig. Ein bedingtes Schreiben (
If-None-Match: *) lässt den Zweiten verlieren, ohne dass jemand es merkt. - Auch Speicher 0 schreibt in den Bucket. Bildvarianten von Extension-Ressourcen landen sonst im Pod-lokalen
typo3temp, und die zweite Replika antwortet 404. Ein Listener leitet den Verarbeitungsordner in den S3-Speicher um. - Ein geteilter Metadaten-Cache. Ein Verzeichnislisting füllt den Cache für alle Dateien darin, der Indexer braucht danach keine einzige Anfrage. Ohne das wird aus einem FUSE-Stat-Sturm ein S3-Request-Sturm.
Der Treiber läuft als Composer-Paket in jeder der vier Installationen; er wird als Open Source veröffentlicht.
03 — Eine Identität je Mandant
Mit dem Treiber kann die Identität dorthin, wo sie hingehört. Jeder Mandant bekommt eine eigene Rolle in der Cloud, der genau ein ServiceAccount vertraut, und die genau einen Bucket lesen und schreiben darf. Der Pod bekommt sie über Web Identity, ohne Schlüssel in einem Secret. Dasselbe Muster, mit dem die Datenbank-Backups und der Mailversand schon liefen; die Medien waren der letzte Posten, der noch an der Knotenrolle hing.
Eine Kleinigkeit mit Folgen: Ein Pod hat genau eine Rolle. Wer für den Mailversand schon eine hatte, bekommt die Berechtigung für den Bucket in dieselbe Rolle gemischt, nicht eine zweite. Wie Identitäten im Cluster sonst vergeben sind, beschreibt Pod-Zertifikate statt geteilter Geheimnisse.
04 — Rollout mit Rückweg
Das Chart bekam einen Schalter mit zwei Stellungen, mount und fal, und einen zweiten, der den Mount während der Umstellung im Pod lässt. Treiber und Mount sehen dieselben Objekte, also war der Rückweg immer ein Schalter: zurück auf mount, der Setup-Hook stellt den Speicher auf den lokalen Treiber zurück, fertig.
Der kleinste Mandant ging zuerst. Geprüft wurde live, nicht aus dem Manifest: Treiber online unter der eigenen Rolle, Schreiben, Lesen und Löschen durch den Treiber im Pod, Auslieferung an der Edge mit den richtigen Cache-Headern, kein Caddy-Fehler, kein Neustart, und in CloudTrail die Rollenübernahme des Pods. Dann die anderen drei. Nach einem sauberen Tag wurde fal ohne Mount der Klassen-Default im Profil, und kein CMS-Pod trägt mehr ein Medien-Volume.
Drei Dinge hielten den Pilot auf, alle im Caddy. Der file-Matcher kennt in Caddy 2.11 keine Option für ein fremdes Dateisystem; der Caddy startete nicht, ohne eine Zeile zu loggen. Ein Dateisystem braucht root * ., sonst wird jeder Pfad absolut und jede Antwort 400. Und Cache-Header müssen vor file_server nach Pfad gesetzt werden, weil der file-Matcher das S3-Dateisystem nie sieht. Jeder Fall war lokal reproduzierbar, mit demselben Image gegen einen lokalen S3-Testserver. Erst die Freigabe, dann der Schalter gilt auch hier: Nichts davon hat einen Besucher erreicht, weil der Mount noch da war.
05 — Gemessen: korrekt, aber langsamer
Alle Prüfungen waren grün. Niemand hatte auf die Latenz geschaut. Als die Frage kam, gab das Zugriffsprotokoll des Edge-Proxys die Antwort: Ein Cache-Fehlschlag auf /fileadmin dauerte vorher im Median 81 Millisekunden, mit dem Treiber 247. Ein 900-Byte-Bild ging von 4 auf 259 Millisekunden. Schuld war nicht der Treiber, sondern das S3-Dateisystem im Caddy: drei Anfragen an S3 für jede Datei, und nichts wurde behalten. Der Mount hatte einen Festplatten-Cache gehabt.
Die Ursache, die Messung im Pod und das Modul, das daraus entstand, stehen im Ops-Log 09: Drei S3-Requests pro Bild. Das Ergebnis vorweg: heiße Dateien kommen jetzt in 3 bis 5 Millisekunden aus dem Pod, ein Cache-Fehlschlag an der Edge in 1 bis 12 statt 70 bis 88.
Bezug zum IT-Grundschutz
- SYS.1.6.A19 Einbinden von Datenspeichern in Container: je Mandant ein Bucket, je Pod eine Rolle, kein Datenspeicher mehr über die Knotenrolle.
- APP.4.4.A4 Separierung von Pods: kein privilegierter Prozess mehr im Request-Pfad, kein geteiltes Volume zwischen Mandanten.
- APP.4.4.A21 Regelmäßiger Restart von Pods: Ohne Volume ist jeder CMS-Pod ersetzbar, auch auf Spot-Knoten.
06 — Was bleibt
Der CSI-Treiber ist nicht weg. Der nächtliche Schadsoftware-Scan hängt weiter jeden Bucket ein, die Shop-Klasse und ein Austauschordner für Kassensysteme brauchen ein Dateisystem. Solange der Scan jeden Bucket mountet, behält die Knotenrolle jeden Medien-Zugriff. Der Gewinn dieses Umbaus liegt im Request-Pfad, nicht in der Knotenrolle; die schrumpft erst, wenn der Scan ohne Mount läuft. Das ist die nächste Aufgabe, mit eigener Entscheidung.
Häufige Fragen
Was passiert bei einem Rollback?+
Ein Schalter im Chart. Der Mount kommt zurück, der Setup-Hook stellt den Speicher auf den lokalen Treiber. Treiber und Mount sehen dieselben Objekte, nichts muss migriert werden.
Bleiben die URLs der Dateien gleich?+
Ja. Der Caddy im Pod liefert /fileadmin/… direkt aus dem Bucket. Kein Link, keine Sitemap und kein Suchindex ändert sich.
Warum nicht den Mount behalten und besser cachen?+
Der Cache war nie das Problem. Der privilegierte Pod, die Knotenrolle für alle Buckets und die Ausfallstelle bleiben mit jedem Cache bestehen.
Fazit
Der Mount war die richtige erste Antwort und die falsche zweite. Er brachte fileadmin in den Objektspeicher, ohne TYPO3 anzufassen, und bezahlte dafür mit einem privilegierten Prozess und einer Identität für alle. Der Treiber dreht das um: Die Anwendung spricht selbst mit dem Speicher, unter ihrer eigenen Rolle, und der Pod hält nichts mehr fest. Was der Umbau an Latenz gekostet hat und wie das Caddy-Modul sie zurückholte, steht im Ops-Log 09; wie das Modul ohne GitHub in das Laufzeit-Image kam, im Ops-Log 10. Die Serie fängt bei Teil 1 an; Teil 8 ist der Teil, den dieser Beitrag fortschreibt.
Dein TYPO3 hängt noch an einem Volume?
Ich prüfe, welcher Zustand in deinen Pods wirklich festhängt, und baue den Weg in den Objektspeicher mit Rückweg: Treiber, Rollen, Chart-Schalter, Messung.
Oder direkt schreiben: mail@ole-hartwig.eu
Über den Autor

Kai Ole Hartwig
Programmiert seit 2002 – autodidaktisch gelernt, 2012 mit KO-Web selbständig gemacht. Über 100 Projekte, Fokus auf Security, Performance, Automatisierung und Qualität. Heute freiberuflich: DevSecOps-Beratung, Schulungen und Softwareentwicklung.