ClickHouse — die Echtzeit-Analytics-Engine im Plattform-Stack
Der Stack von 4buildsite umfasst ClickHouse — eine spaltenorientierte Datenbank, eigens für Analysen großer Datenmengen gebaut. Darauf entsteht das Modul für Traffic- und Verkaufsstatistiken der Plattform (in Entwicklung): Die Daten bleiben Ihre, und die Erfassung läuft getrennt von der Auslieferung Ihrer Seiten — genau so ist die Architektur ausgelegt.
Was ClickHouse ist und warum wir es einsetzen
ClickHouse ist eine spaltenorientierte OLAP-Datenbank (Online-Analyse), bei Yandex für Yandex.Metrica entwickelt — eines der größten Webanalysesysteme der Welt — und 2016 unter der Apache-2.0-Lizenz als Open Source veröffentlicht. Sie ist für genau eine Sache gebaut, die sie herausragend beherrscht: schnelle Aggregationen über gewaltige Datenmengen. In der Architektur von 4buildsite ist ClickHouse die Engine der Wahl für die Statistikschicht: Jeder Besuch, jeder Klick und jede Bestellung wird zu einem Ereignis, das sich auswerten lässt.
Das Geheimnis liegt in der spaltenweisen Speicherung: Statt jede „Zeile“ vollständig zu lesen, liest ClickHouse nur die Spalten, die der Bericht braucht, und verarbeitet sie vektorisiert in großen Blöcken. Deshalb erhält eine Frage wie „Wie viele Besucher hatte ich gestern, pro Seite und pro Quelle?“ selbst über Millionen von Ereignissen eine Antwort in unter einer Sekunde — etwas, das eine klassische zeilenorientierte Datenbank deutlich schwerer bewältigt.
Es handelt sich um keine Nischentechnologie: Cloudflare nutzt sie für die Analyse des HTTP-Traffics im globalen Maßstab, Uber, eBay und Spotify für Analytics und Log-Verarbeitung in enormen Größenordnungen. Auf 4buildsite ist dieselbe Engine Teil des Plattform-Stacks — ohne dass Sie ein Data-Engineering-Team einstellen müssten.
Echtzeitstatistiken, ohne Ihre Website zu bremsen — wie das Modul ausgelegt ist
Das Statistikmodul der Plattform befindet sich in Entwicklung, und seine Architektur ist einfach: Traffic-Ereignisse werden asynchron gesammelt und in ClickHouse geschrieben, vollständig getrennt von den Servern, die die Seiten ausliefern. Es gibt kein schweres Drittanbieter-Tracking-Skript in der Seite — die Erfassung ist minimal und First-Party.
Die Berichte in panel.4buildsite.net werden direkt in ClickHouse berechnet: Traffic je Seite, Besucherquellen, Conversions, Verkäufe je Produkt. Häufige Aggregationen werden über Materialized Views bei jedem Schreibvorgang vorberechnet, sodass sich das Dashboard öffnet — es startet nicht jedes Mal eine schwere Berechnung, wenn Sie hinsehen.
- Live-Traffic: Besuche, Seiten, Quellen und Geräte — nach der Erfassung abfragbar
- Verkäufe je Produkt, Bestellungen und Conversions Ihres Shops, als Aggregate ausgewertet
- Historie über Monate und Jahre zu geringen Kosten — die spaltenweise Komprimierung verkleinert den Speicherbedarf um ein Vielfaches gegenüber den Rohdaten
- Die Erfassung läuft asynchron, die Auswertung auf einem separaten System
PostgreSQL und ClickHouse: warum wir beide einsetzen
Der Plattform-Stack kombiniert zwei Datenbanken, weil sie grundlegend Verschiedenes tun. PostgreSQL ist das Transaktionsregister (OLTP): Bestellungen, Zahlungen, Bestand, Benutzerkonten — Vorgänge, die einzeln absolut korrekt sein müssen, mit transaktionalen Garantien. ClickHouse ist der Auswertungsraum (OLAP): Millionen von Ereignissen werden auf einmal gelesen, um Ihre Fragen zu Traffic und Verkäufen zu beantworten.
Liefen die schweren Berichte auf derselben Datenbank, die die Bestellungen verarbeitet, würde jeder Bericht mit den Kundinnen und Kunden konkurrieren, die gerade bezahlen. Die Trennung von OLTP und OLAP beseitigt diesen Konflikt: Die Bestellung wartet nicht auf Ihren Bericht, und Ihr Bericht wartet nicht auf die Bestellungen anderer. Jede Engine tut genau das, wofür sie gebaut wurde.
- PostgreSQL: Bestellungen, Stripe-Zahlungen, Bestand, Kundschaft — transaktionale Korrektheit
- ClickHouse: Traffic-Ereignisse, Berichte, Statistiken — Aggregation über große Mengen
- Der Entwurf sieht vor, dass die relevanten Transaktionsdaten als Ereignisse in ClickHouse landen, sodass Verkaufsberichte niemals die Datenbank berühren, die den Shop bedient
Eigene, datenschutzfreundliche Analytics — statt Google Analytics
Der Grundsatz des Statistikmoduls: Die Daten Ihrer Website bleiben auf der Infrastruktur der Plattform. Sie werden nicht an Google oder andere Werbenetzwerke übermittelt, nicht verkauft und nicht mit externen Nutzerprofilen zusammengeführt. Das ist First-Party-Analytics im eigentlichen Sinn: Die Daten über Ihre Besucher gehören Ihnen.
Weil der Ansatz ohne Tracking-Cookies von Drittanbietern auskommt, wird die DSGVO-Konformität deutlich einfacher. Der Kontext zählt: 2022 erklärten die Datenschutzbehörden Österreichs, Frankreichs und Italiens den Einsatz von Google Analytics wegen der Datenübermittlung in die USA für nicht DSGVO-konform. Mit eigenen, in Europa gehosteten Analytics entfällt diese Risikokategorie von vornherein.
Es gibt auch einen unmittelbaren praktischen Vorteil: In ClickHouse berechnete Berichte sind nicht gesampelt und erscheinen nicht mit stundenlanger Verzögerung, wie es bei den Standardberichten kostenloser Analytics-Werkzeuge vorkommt. Vollständige Zahlen.
Shop- und Marktplatzberichte — was das Modul liefern wird
Für einen Onlineshop wird ClickHouse Antworten auf die entscheidenden Fragen bedeuten: Welche Produkte verkaufen sich, aus welchen Quellen kommen die kaufenden Kundinnen und Kunden, wo werden Warenkörbe abgebrochen. Für einen Multi-Vendor-Marktplatz laufen dieselben Aggregationen über alle Bestellungen: Volumen je Verkäufer, Provisionen, Topprodukte je Kategorie — ohne manuelle Exporte und ohne Tabellenkalkulationen.
Auch im großen Maßstab bleiben die Dinge günstig und schnell. Die spaltenweise Komprimierung verkleinert die Daten um ein Vielfaches gegenüber dem Rohformat, sodass Sie jahrelange Historie zu geringen Speicherkosten behalten. Und wenn der Traffic von Tausenden auf Millionen Ereignisse wächst, bleiben die Aggregationen im Sekundenbruchteil-Bereich — die Engine wurde von Anfang an für Milliarden Zeilen entworfen und nicht nachträglich angepasst.
Vorteile und Grenzen
Vorteile
- Aggregationen über Millionen Ereignisse in unter einer Sekunde — Berichte, die sich öffnen.
- Analytics läuft auf einem System getrennt von dem, das die Seiten ausliefert.
- Die Traffic-Daten bleiben Ihre, auf der Infrastruktur der Plattform — ohne Übermittlung an Google oder Werbenetzwerke.
- Keine Tracking-Cookies von Drittanbietern — einfachere DSGVO-Konformität.
- Starke spaltenweise Komprimierung — jahrelange Historie zu geringen Speicherkosten.
- Open Source (Apache 2.0), ohne volumenabhängige Lizenzen — die Kosten explodieren nicht, wenn der Traffic wächst.
Grenzen
- Es ist keine transaktionale Datenbank — einzelne Zeilen zu ändern oder zu löschen ist ein schwerer Vorgang; deshalb liegen Bestellungen und Zahlungen in PostgreSQL.
- Optimiert für Schreibvorgänge in großen Stapeln; viele kleine, häufige Inserts erfordern Batching — die Plattform übernimmt das, aber es bleibt eine reale Grenze der Engine.
- Komplexe JOINs sind weniger flexibel als in PostgreSQL — das Ereignisschema muss von Anfang an für die Analyse entworfen werden.
- Die Suche nach einer einzelnen Zeile (Point Lookup) ist langsamer als in einer indizierten OLTP-Datenbank — es ersetzt nicht die Hauptdatenbank des Shops.
Kurzes Fazit
ClickHouse ist die richtige Wahl für Analysen großer Mengen: Traffic- und Verkaufsstatistiken in Echtzeit, mit Ihren Daten. Für Bestellungen, Zahlungen und Bestand bleibt es bei PostgreSQL — deshalb kombiniert der Stack von 4buildsite beide, jede für das, worin sie am besten ist. Das auf ClickHouse aufbauende Statistikmodul befindet sich in Entwicklung.
Technische Daten
| Fähigkeit | Grenze / Schwelle | Typischer Einsatz | |
|---|---|---|---|
| Analytische Aggregationen | Unter einer Sekunde über Millionen Ereignisse (spaltenorientiert und vektorisiert) | Langsam bei der Suche nach einer einzelnen Zeile — nicht für OLTP-Lookups gedacht | Traffic- und Verkaufsberichte (Statistikmodul, in Entwicklung) |
| Ereignisaufnahme | Große Mengen, in Stapeln geschrieben | Kleine, häufige Inserts erfordern Batching oder asynchrone Inserts | Erfassung von Seitenaufrufen, Klicks, Bestellungen |
| Speicherung & Komprimierung | Spaltenweise Komprimierung (LZ4/ZSTD), ein Vielfaches unter dem Rohvolumen | Sehr zufällige Daten lassen sich schlechter komprimieren | Ereignishistorie über Monate und Jahre, zu geringen Kosten |
| Aktualisierungen & Löschungen | Asynchrone Mutations für gelegentliche Korrekturen | Ungeeignet für häufige UPDATEs einzelner Zeilen | DSGVO-Löschungen (die Daten eines Nutzers, auf Anfrage) |
| Materialized Views | Bei jedem Schreibvorgang vorberechnete Aggregate | Die Aggregate müssen je Bericht im Voraus definiert werden | Dashboards: Verkäufe nach Tag, Produkt, Quelle |
| Echtzeit | Ereignisse werden nach ihrem Eintreten abfragbar | Kein Streaming-System im Millisekundenbereich | Live-Statistiken zu Traffic und Conversions |
ClickHouse, PostgreSQL und Google Analytics / BigQuery — für Analytics
| Kriterium | ClickHouse (4buildsite) | PostgreSQL (für Analytics) | Google Analytics / BigQuery |
|---|---|---|---|
| Aggregationsgeschwindigkeit bei großen Mengen | Unter einer Sekunde über Millionen Zeilen | Fällt bei Dutzenden Millionen Zeilen merklich ab (zeilenweise Speicherung) | BigQuery schnell; GA4 bietet vorab aggregierte Standardberichte, ohne freie Abfragen |
| Datenhoheit / DSGVO | Ihre Daten, auf der Infrastruktur der Plattform, in Europa | Ihre Daten, auf Ihren Servern | Die Daten liegen bei Google; die GA-Übermittlungen in die USA wurden 2022 von EU-Behörden für nicht DSGVO-konform erklärt |
| Cookies & Einwilligung | Ohne Tracking-Cookies von Drittanbietern | Hängt von der eigenen Umsetzung ab | Erfordert ein Einwilligungsbanner für das Tracking |
| Echtzeit | Daten nach der Erfassung abfragbar | Möglich, aber schwere Berichte belasten die Transaktionsdatenbank | Die Standardberichte von GA4 können Stunden verzögert erscheinen; BigQuery-Streaming kostet extra |
| Kosten bei großen Mengen | Open Source — die Kosten sind allein die Infrastruktur, im Abo enthalten | Steigen bei großen Mengen mit Indizes, Vacuum und Hardware | BigQuery rechnet nach abgefragtem Volumen ab; die Enterprise-Variante von GA ist teuer |
| Auswirkung auf die Geschwindigkeit der Website | Asynchrone Erfassung, Auswertung auf einem separaten System | Berichte können auf derselben Datenbank mit den Bestellungen konkurrieren | Drittanbieter-Skript (gtag.js) in der Seite — zusätzliches JavaScript und externe Requests |
Häufige Fragen
Bremst ClickHouse meine Website oder meinen Shop?
Nein. ClickHouse läuft auf einem System getrennt von dem, das die Seiten ausliefert — so ist die Architektur ausgelegt. Traffic-Ereignisse werden asynchron gesendet, und die Berichte berühren nie die Datenbank des Shops.
Warum nutzen Sie nicht einfach Google Analytics?
Aus drei Gründen. Die Daten bleiben Ihre, auf der Infrastruktur der Plattform, nicht bei Google. Sie brauchen keine Tracking-Cookies von Drittanbietern, wodurch die DSGVO-Konformität einfacher wird — 2022 erklärten Behörden in Österreich, Frankreich und Italien GA für nicht DSGVO-konform. Und die Berichte sind vollständig, nicht gesampelt und nicht um Stunden verzögert.
Was unterscheidet ClickHouse von PostgreSQL — warum beide?
PostgreSQL ist die transaktionale Datenbank (OLTP): Sie verarbeitet Bestellungen, Zahlungen und Bestand einzeln, mit Korrektheitsgarantien. ClickHouse ist die analytische Datenbank (OLAP): Sie liest Millionen Ereignisse auf einmal für Berichte. Die Trennung bedeutet, dass ein schwerer Bericht die Bestellungen Ihrer Kundschaft nie ausbremst.
Sind meine Traffic-Daten sicher und DSGVO-konform?
Ja — schon vom Entwurf her. Die Statistiken sind First-Party: Sie liegen auf der Infrastruktur der Plattform in Europa, werden nicht verkauft und nicht mit Werbenetzwerken geteilt. Der Ansatz kommt ohne Tracking-Cookies von Drittanbietern aus, und die Daten eines Nutzers können auf Anfrage DSGVO-konform gelöscht werden.
Wie „echtzeitnah“ sind die Statistiken?
Ein Ereignis — ein Besuch, ein Klick, eine Bestellung — wird nach seinem Eintreten in den Berichten sichtbar. Aggregationen über lange Zeiträume (Monate, Jahre) antworten ebenfalls in unter einer Sekunde, denn ClickHouse wurde genau für diese Art von Abfragen gebaut.
Muss ich etwas einrichten, um Statistiken für meine Website zu erhalten?
Das wird nicht nötig sein. Das Statistikmodul ist in Entwicklung und wird als Teil der Plattform gebaut: Sobald es im Administrationsbereich aktiv ist, startet die Erfassung für veröffentlichte Websites automatisch — ohne Skripte zum Installieren und ohne externe Konten.