ClickHouse — de realtime analytics-engine in de platformstack

Wat ClickHouse is en waarom we het inzetten

ClickHouse is een kolomgeoriënteerde OLAP-database (online-analyse), bij Yandex ontwikkeld voor Yandex.Metrica — een van de grootste webanalysesystemen ter wereld — en in 2016 als open source vrijgegeven onder de Apache 2.0-licentie. Hij is gebouwd voor precies één ding, en daarin blinkt hij uit: snelle aggregaties over enorme hoeveelheden data. In de architectuur van 4buildsite is ClickHouse de engine bij uitstek voor de statistiekenlaag: elk bezoek, elke klik en elke bestelling wordt een gebeurtenis die je kunt analyseren.

Het geheim zit in de kolomsgewijze opslag: in plaats van elke „rij” volledig te lezen, leest ClickHouse alleen de kolommen die het rapport nodig heeft en verwerkt die gevectoriseerd in grote blokken. Daarom krijgt een vraag als „Hoeveel bezoekers had ik gisteren, per pagina en per bron?” zelfs over miljoenen gebeurtenissen antwoord in minder dan een seconde — iets wat een klassieke rijgeoriënteerde database aanzienlijk zwaarder valt.

Het gaat niet om een nichetechnologie: Cloudflare gebruikt hem voor de analyse van het HTTP-verkeer op wereldschaal, Uber, eBay en Spotify voor analytics en logverwerking op enorme schaal. Op 4buildsite is diezelfde engine onderdeel van de platformstack — zonder dat je een data-engineeringteam hoeft aan te nemen.

Realtime statistieken — hoe de module is opgezet

De statistiekenmodule van het platform is in ontwikkeling en de architectuur ervan is eenvoudig: bezoekersgebeurtenissen worden asynchroon verzameld en naar ClickHouse geschreven, volledig gescheiden van de servers die de pagina's uitleveren. Je bezoekers wachten niet op analytics: de registratie verloopt asynchroon, los van de servers die de pagina's uitleveren. Er staat geen trackingscript van derden op de pagina — de registratie is minimaal en first-party.

De rapporten in panel.4buildsite.net worden rechtstreeks in ClickHouse berekend: verkeer per pagina, bezoekersbronnen, conversies, verkopen per product. Veelgebruikte aggregaties worden via materialized views bij elke schrijfbewerking vooraf berekend, zodat het dashboard niet bij elke opening een zware berekening start.

• Live verkeer: bezoeken, pagina's, bronnen en apparaten — na registratie op te vragen
• Verkopen per product, bestellingen en conversies van je webshop, geaggregeerd in ClickHouse
• Historie over maanden en jaren tegen lage kosten — de kolomsgewijze compressie verkleint de opslagbehoefte tot een veelvoud onder de ruwe data
• De registratie loopt asynchroon, de analyse op een apart systeem

PostgreSQL en ClickHouse: waarom we ze allebei inzetten

De platformstack combineert twee databases, omdat ze fundamenteel verschillende dingen doen. PostgreSQL is het transactieregister (OLTP): bestellingen, betalingen, voorraad, gebruikersaccounts — handelingen die stuk voor stuk absoluut correct moeten zijn, met transactionele garanties. ClickHouse is de analyseruimte (OLAP): miljoenen gebeurtenissen worden in één keer gelezen om je vragen over verkeer en verkopen te beantwoorden.

Zouden de zware rapporten op dezelfde database draaien die de bestellingen verwerkt, dan zou elk rapport concurreren met de klanten die op dat moment afrekenen. De scheiding van OLTP en OLAP neemt dat conflict weg: de bestelling wacht niet op jouw rapport, en jouw rapport wacht niet op de bestellingen van anderen. Elke engine doet precies waarvoor hij gebouwd is.

• PostgreSQL: bestellingen, Stripe-betalingen, voorraad, klanten — transactionele correctheid
• ClickHouse: verkeersgebeurtenissen, rapporten, statistieken — aggregatie over grote hoeveelheden
• Het ontwerp voorziet erin dat de relevante transactiegegevens als gebeurtenissen in ClickHouse terechtkomen, zodat verkooprapporten nooit de database raken die de webshop bedient

Eigen, privacyvriendelijke analytics — in plaats van Google Analytics

Het uitgangspunt van de statistiekenmodule: de data van je website blijft op de infrastructuur van het platform. Ze wordt niet doorgegeven aan Google of andere advertentienetwerken, niet verkocht en niet samengevoegd met externe gebruikersprofielen. Dat is first-party analytics in de eigenlijke zin: de data over je bezoekers is van jou.

Omdat de aanpak zonder trackingcookies van derden werkt, wordt AVG-conformiteit een stuk eenvoudiger. De context telt: in 2022 verklaarden de privacytoezichthouders van Oostenrijk, Frankrijk en Italië het gebruik van Google Analytics wegens de gegevensdoorgifte naar de VS niet AVG-conform. Met eigen, in Europa gehoste analytics vervalt die risicocategorie bij voorbaat.

Er is ook een direct praktisch voordeel: in ClickHouse berekende rapporten zijn niet gesampled. Volledige cijfers.

Webshop- en marktplaatsrapporten — wat de module gaat leveren

Voor een webshop gaat ClickHouse antwoord geven op de bepalende vragen: welke producten verkopen, uit welke bronnen de kopende klanten komen, waar winkelwagens worden afgebroken. Voor een multi-vendor marktplaats draaien dezelfde aggregaties over alle bestellingen: volume per verkoper, commissies, topproducten per categorie — zonder handmatige exports en zonder spreadsheets.

Ook op grote schaal blijven de zaken goedkoop. De kolomsgewijze compressie verkleint de data tot een veelvoud onder het ruwe formaat, zodat je jarenlange historie tegen lage opslagkosten kunt bewaren. En wanneer het verkeer groeit van duizenden naar miljoenen gebeurtenissen, blijft de engine ontworpen voor miljarden rijen — hij is niet achteraf aangepast.