ClickHouse — el motor d'analítica en temps real de l'stack de la plataforma
La pila de 4buildsite inclou ClickHouse, una base de dades columnar creada específicament per a l'analítica de gran volum. És el motor sobre el qual estem construint el mòdul d'estadístiques de trànsit i vendes de la plataforma (en desenvolupament): les dades continuen sent teves, i l'analítica s'executa en un sistema separat del que serveix el teu web — així està dissenyada l'arquitectura.
Què és ClickHouse i per què l'utilitzem
ClickHouse és una base de dades columnar OLAP (analítica en línia), creada a Yandex per a Yandex.Metrica — un dels sistemes d'analítica web més grans del món — i publicada com a codi obert el 2016 sota la llicència Apache 2.0. Està pensada per a una sola cosa, que fa excepcionalment bé: agregacions ràpides sobre volums enormes de dades. A l'arquitectura de 4buildsite, ClickHouse és el motor escollit per a la capa d'estadístiques: cada visita, clic i comanda es converteix en un esdeveniment que es pot analitzar.
El secret és l'emmagatzematge columnar: en comptes de llegir cada «fila» sencera, ClickHouse llegeix només les columnes que necessita l'informe i les processa en blocs grans i vectoritzats. Per això una pregunta com «quants visitants vaig tenir ahir, per pàgina i per font» es respon en menys d'un segon fins i tot sobre milions d'esdeveniments, cosa que una base de dades clàssica orientada a files té dificultats per fer.
No és una tecnologia de nínxol: Cloudflare l'utilitza per analitzar el trànsit HTTP a escala global, i Uber, eBay i Spotify l'utilitzen per a analítica i processament de registres a volums enormes. A 4buildsite, el mateix motor forma part de la pila de la plataforma, sense que hagis de contractar un equip d'enginyeria de dades.
Estadístiques en temps real — com està dissenyat el mòdul
El mòdul d'estadístiques de la plataforma està en desenvolupament i la seva arquitectura és senzilla: els esdeveniments de trànsit es recullen de manera asíncrona i s'escriuen a ClickHouse, completament separats dels servidors que serveixen les teves pàgines. No hi ha cap script de seguiment de tercers pesat a les teves pàgines: la recollida és mínima i pròpia.
Els informes de panel.4buildsite.net es calcularan directament a ClickHouse: trànsit de les pàgines, fonts de visitants, conversions, vendes per producte. Les agregacions freqüents es precalculen amb vistes materialitzades a cada escriptura, de manera que el tauler no llança un càlcul pesat cada vegada que el mires.
- Trànsit en directe: visites, pàgines, fonts i dispositius — consultables després de la recollida
- Vendes per producte, comandes i conversions de la teva botiga
- Mesos i anys d'historial a baix cost — la compressió columnar redueix l'emmagatzematge diverses vegades respecte a les dades en brut
- La recollida és asíncrona i els informes s'executen en un sistema separat
PostgreSQL + ClickHouse: per què utilitzem totes dues
La pila de la plataforma combina dues bases de dades perquè fan coses fonamentalment diferents. PostgreSQL és el llibre major transaccional (OLTP): comandes, pagaments, estoc, comptes d'usuari — operacions que han de ser perfectament correctes una a una, amb garanties transaccionals. ClickHouse és la sala d'anàlisi (OLAP): milions d'esdeveniments llegits alhora per respondre les teves preguntes sobre trànsit i vendes.
Si els informes pesats s'executessin a la mateixa base de dades que processa les comandes, cada informe competiria amb els clients que paguen en aquell mateix moment. La separació OLTP/OLAP elimina aquest conflicte: la comanda d'un client mai no espera el teu informe, i el teu informe mai no espera les comandes d'un altre. Cada motor fa exactament allò per al qual va ser creat.
- PostgreSQL: comandes, pagaments amb Stripe, estoc, clients — correcció transaccional
- ClickHouse: esdeveniments de trànsit, informes, estadístiques — agregació a gran volum
- El disseny replica les dades transaccionals rellevants a ClickHouse com a esdeveniments, de manera que els informes de vendes mai no toquen la base de dades que serveix la teva botiga
Analítica pròpia i respectuosa amb la privadesa — en lloc de Google Analytics
El principi del mòdul d'estadístiques: les dades del teu web es queden a la infraestructura de la plataforma. No s'envien a Google ni a altres xarxes publicitàries, no es venen i no es combinen amb perfils d'usuari externs. És analítica pròpia en sentit literal: les dades sobre els teus visitants són teves.
Com que l'enfocament no utilitza galetes de seguiment de tercers, el compliment del RGPD es fa molt més senzill. El context és important: el 2022, les autoritats de protecció de dades d'Àustria, França i Itàlia van declarar que l'ús de Google Analytics no complia el RGPD per les transferències de dades als Estats Units. Amb analítica pròpia allotjada a Europa, tota aquesta categoria de risc desapareix des del principi.
També hi ha un benefici pràctic directe: els informes calculats a ClickHouse no són mostrejats. Xifres completes.
Informes de botiga i de marketplace — què oferirà el mòdul
Per a una botiga en línia, ClickHouse significarà respostes a les preguntes que importen: quins productes es venen, quines fonts aporten els clients que realment compren, on s'abandonen els carros. Per a un marketplace multivenedor, les mateixes agregacions s'executaran sobre totes les comandes: volum per venedor, comissions, productes més venuts per categoria — sense exportacions manuals ni fulls de càlcul.
I a escala, tot continua sent barat. La compressió columnar redueix les dades diverses vegades respecte al format en brut, de manera que conserves anys d'historial amb un cost d'emmagatzematge baix. Quan el trànsit creix de milers a milions d'esdeveniments, les agregacions continuen en el territori de menys d'un segon: el motor va ser dissenyat per a milers de milions de files des del principi, no adaptat més tard.
Avantatges i limitacions
Avantatges
- Agregacions sobre milions d'esdeveniments en menys d'un segon.
- L'analítica s'executa en un sistema separat del que serveix les pàgines.
- Les teves dades de trànsit continuen sent teves, a la infraestructura de la plataforma — sense transferència a Google ni a xarxes publicitàries.
- Sense galetes de seguiment de tercers — compliment del RGPD més senzill.
- Forta compressió columnar — anys d'historial a baix cost d'emmagatzematge.
- Codi obert (Apache 2.0), sense llicències per volum — el cost no s'enfila a mesura que creix el trànsit.
Limitacions
- No és una base de dades transaccional — actualitzar o eliminar files individuals és una operació pesada; per això les comandes i els pagaments viuen a PostgreSQL.
- Optimitzada per a escriptures grans en lots; moltes insercions petites i freqüents requereixen agrupació en lots — la plataforma s'encarrega d'això, però és una limitació real del motor.
- Els JOIN complexos són menys flexibles que a PostgreSQL — l'esquema d'esdeveniments s'ha de dissenyar per a l'analítica des del principi.
- Cercar una sola fila (consulta puntual) és més lent que en una base de dades OLTP indexada — no substitueix la base de dades principal de la botiga.
Veredicte ràpid
ClickHouse és l'opció adequada per a l'analítica a gran volum: estadístiques de trànsit i vendes en temps real, amb les teves pròpies dades. Per a comandes, pagaments i estoc continua PostgreSQL — per això la pila de 4buildsite combina totes dues, cadascuna en allò que fa millor. El mòdul d'estadístiques construït sobre ClickHouse està en desenvolupament.
Taula d'especificacions
| Capacitat | Límit / llindar | Ús típic | |
|---|---|---|---|
| Agregacions analítiques | Menys d'un segon sobre milions d'esdeveniments (columnar + vectoritzat) | Lent en cerques d'una sola fila — no per a lectures puntuals OLTP | Informes de trànsit i vendes (mòdul d'estadístiques, en desenvolupament) |
| Ingesta d'esdeveniments | Volums alts, escrits en lots | Les insercions petites i freqüents necessiten lots / inserció asíncrona | Recollida de visualitzacions de pàgina, clics, comandes |
| Emmagatzematge i compressió | Compressió columnar (LZ4/ZSTD), diverses vegades per sota del volum en brut | Les dades molt aleatòries es comprimeixen menys | Mesos i anys d'historial d'esdeveniments, a baix cost |
| Actualitzacions i eliminacions | Mutacions asíncrones per a correccions ocasionals | No és adequat per a UPDATE freqüents d'una sola fila | Eliminacions per RGPD (les dades d'un usuari, a petició) |
| Vistes materialitzades | Agregats precalculats a cada escriptura | Els agregats s'han de definir per endavant, per a cada informe | Taulers: vendes per dia, producte, font |
| Temps real | Els esdeveniments es poden consultar després que passin | No és un sistema de streaming de nivell de mil·lisegons | Estadístiques de trànsit i conversió en directe |
ClickHouse vs PostgreSQL vs Google Analytics / BigQuery — per a analítica
| Criteri | ClickHouse (4buildsite) | PostgreSQL (per a analítica) | Google Analytics / BigQuery |
|---|---|---|---|
| Velocitat d'agregació a gran volum | Menys d'un segon sobre milions de files | Es degrada visiblement sobre desenes de milions de files (emmagatzematge per files) | BigQuery és ràpid; GA4 té informes estàndard preagregats, sense consultes lliures |
| Propietat de les dades / RGPD | Les teves dades, a la infraestructura de la plataforma, a Europa | Les teves dades, als teus servidors | Dades a Google; les transferències de GA als EUA declarades no conformes amb el RGPD per les autoritats de la UE el 2022 |
| Galetes i consentiment | Sense galetes de seguiment de tercers | Depèn de la teva pròpia implementació | Requereix un bàner de consentiment per al seguiment |
| Temps real | Dades consultables | Possible, però els informes pesats carreguen la base de dades transaccional | Els informes estàndard de GA4 poden anar hores endarrerits; el streaming de BigQuery costa a part |
| Cost a gran volum | Codi obert — el cost és només la infraestructura, inclosa a la subscripció | Creix amb els índexs, el vacuum i el maquinari a volums alts | BigQuery cobra per volum consultat; el nivell empresarial de GA és car |
| Impacte en la velocitat del web | Recollida asíncrona, informes en un sistema separat | Els informes poden competir amb les comandes a la mateixa base de dades | Script de tercers (gtag.js) a la pàgina — JavaScript addicional i peticions externes |
Preguntes freqüents
ClickHouse alenteix el meu web o la meva botiga?
No. ClickHouse s'executa en un sistema separat del que serveix les teves pàgines — així està dissenyada l'arquitectura. Els esdeveniments de trànsit s'envien de manera asíncrona i els informes mai no toquen la base de dades de la botiga.
Per què no utilitzar simplement Google Analytics?
Per tres motius. Les dades continuen sent teves, a la infraestructura de la plataforma, no a Google. No necessites galetes de seguiment de tercers, de manera que el compliment del RGPD és més senzill — el 2022, les autoritats d'Àustria, França i Itàlia van declarar que GA no complia el RGPD. I els informes apareixen complets, no mostrejats.
Quina diferència hi ha entre ClickHouse i PostgreSQL — per què totes dues?
PostgreSQL és la base de dades transaccional (OLTP): processa comandes, pagaments i estoc una a una, amb garanties de correcció. ClickHouse és la base de dades analítica (OLAP): llegeix milions d'esdeveniments alhora per als informes.
Les meves dades de trànsit són segures i compleixen el RGPD?
Sí — per disseny. Les estadístiques són pròpies: viuen a la infraestructura de la plataforma, a Europa, i mai no es venen ni es comparteixen amb xarxes publicitàries. L'enfocament no utilitza galetes de seguiment de tercers i les dades d'un usuari es poden eliminar a petició, d'acord amb el RGPD.
Fins a quin punt són «en temps real» les estadístiques?
Un esdeveniment — una visita, un clic, una comanda — es fa visible als informes després que passi. Les agregacions sobre períodes llargs (mesos, anys) continuen responent en menys d'un segon, perquè ClickHouse va ser creat precisament per a aquest tipus de consulta.
Cal que configuri res per tenir estadístiques al meu web?
No caldrà. El mòdul d'estadístiques està en desenvolupament i es construeix com a part de la plataforma: quan estigui disponible al panell d'administració, la recollida començarà automàticament per als webs publicats — sense scripts per instal·lar ni comptes externs.