ClickHouse — il-magna tal-analitika f'ħin reali fl-istack tal-pjattaforma
L-istack ta’ 4buildsite jinkludi ClickHouse — database kolonnari mibni apposta għal analitika ta’ volum għoli. Fuqha qed nibnu l-modulu tal-pjattaforma għall-istatistika tat-traffiku u tal-bejgħ (taħt żvilupp): id-dejta tibqa’ tiegħek, u l-arkitettura hija ddisinjata biex il-modulu ma jaffettwax il-paġni tiegħek.
X’inhu ClickHouse u għaliex nużawh
ClickHouse hija database kolonnari OLAP (analitika online), maħluqa f’Yandex għal Yandex.Metrica — waħda mill-akbar sistemi tal-analitika tal-web fid-dinja — u rilaxxata bħala open-source fl-2016 taħt il-liċenzja Apache 2.0. Hija mibnija għal ħaġa waħda, li tagħmilha b’mod eċċezzjonali: aggregazzjonijiet veloċi fuq volumi kbar ta’ dejta. Fl-arkitettura ta’ 4buildsite, ClickHouse hija l-magna magħżula għas-saff tal-istatistika: kull żjara, klikk u ordni jsiru avveniment li jista’ jiġi analizzat.
is-sigriet hu l-ħażna kolonnari: minflok ma taqra kull “ringiela” sħiħa, ClickHouse taqra biss il-kolonni li jeħtieġ ir-rapport u tipproċessahom f’blokok kbar ivvettorjati. Għalhekk mistoqsija bħal “kemm żjajjar kelli lbieraħ, għal kull paġna u sors” tingħata tweġiba malajr anki fuq miljuni ta’ avvenimenti — xi ħaġa li database klassika bbażata fuq ringieli tbati biex tagħmel.
Mhijiex teknoloġija ta’ nik: Cloudflare tużaha biex tanalizza t-traffiku HTTP fuq skala globali, u Uber, eBay u Spotify jużawha għall-analitika u l-ipproċessar tal-logs f’volumi enormi. Fuq 4buildsite, l-istess magna hija parti mill-istack tal-pjattaforma — mingħajr ma jkollok bżonn tqabbad tim ta’ data engineering.
Statistika f’ħin reali, separata mill-paġni — kif huwa ddisinjat il-modulu
Il-modulu tal-istatistika tal-pjattaforma qed jiġi żviluppat, u l-arkitettura tiegħu hija sempliċi: l-avvenimenti tat-traffiku jinġabru b’mod asinkroniku u jinkitbu f’ClickHouse, kompletament separati mis-servers li jwasslu l-paġni tiegħek. Il-ġbir huwa asinkroniku u separat mill-paġna tiegħek. M’hemm ebda script tqil ta’ tracking ta’ terzi fuq il-paġna — il-ġbir huwa minimu u first-party.
Ir-rapporti f’panel.4buildsite.net se jiġu kkalkulati direttament f’ClickHouse: traffiku tal-paġni, sorsi taż-żjajjar, konverżjonijiet, bejgħ għal kull prodott. L-aggregazzjonijiet frekwenti jiġu kkalkulati minn qabel permezz ta’ materialized views f’kull kitba, għalhekk id-dashboard taqra aggregati kkalkulati minn qabel, mhux kalkolu ġdid kull darba li tħares lejha.
- Traffiku: żjarat, paġni, sorsi u apparati — jistgħu jiġu mistoqsija wara l-ġbir
- Bejgħ għal kull prodott, ordnijiet u konverżjonijiet għall-ħanut tiegħek, aggregati minn qabel
- Xhur u snin ta’ storja bi spiża baxxa — il-kompressjoni kolonnari tnaqqas il-ħażna diversi drabi meta mqabbla mad-dejta mhux ipproċessata
- Impatt minimu fuq is-sit: il-ġbir huwa asinkroniku, ir-rapportar jaħdem fuq sistema separata
PostgreSQL + ClickHouse: għaliex nużaw it-tnejn
L-istack tal-pjattaforma jgħaqqad żewġ databases għax jagħmlu affarijiet fundamentalment differenti. PostgreSQL huwa r-reġistru transazzjonali (OLTP): ordnijiet, pagamenti, stokk, kontijiet tal-utenti — operazzjonijiet li jridu jkunu perfettament korretti wieħed wieħed, b’garanziji transazzjonali. ClickHouse hija l-kamra tal-analiżi (OLAP): miljuni ta’ avvenimenti jinqraw f’daqqa biex jingħataw tweġibiet għall-mistoqsijiet tiegħek dwar it-traffiku u l-bejgħ.
Kieku r-rapporti tqal jaħdmu fuq l-istess database li tipproċessa l-ordnijiet, kull rapport kien jikkompeti mal-klijenti li jkunu qed iħallsu f’dak il-mument stess. Is-separazzjoni OLTP/OLAP telimina dan il-kunflitt: l-ordni ta’ klijent u r-rapport tiegħek jaħdmu f’sistemi separati. Kull magna tagħmel eżattament dak li nbniet biex tagħmel.
- PostgreSQL: ordnijiet, pagamenti Stripe, stokk, klijenti — korrettezza transazzjonali
- ClickHouse: avvenimenti tat-traffiku, rapporti, statistika — aggregazzjoni b’volum
- Id-disinn jirreplika d-dejta transazzjonali rilevanti f’ClickHouse bħala avvenimenti, hekk ir-rapporti tal-bejgħ qatt ma jmissu d-database li taqdi l-ħanut tiegħek
Analitika first-party u favorevoli għall-privatezza — minflok Google Analytics
Il-prinċipju tal-modulu tal-istatistika: id-dejta tas-sit tiegħek tibqa’ fuq l-infrastruttura tal-pjattaforma. Ma tintbagħatx lil Google jew lil netwerks tar-reklamar oħra, ma tinbigħx, u ma tiġix imħallta ma’ profili esterni tal-utenti. Hija analitika first-party fis-sens litterali: id-dejta dwar iż-żjajjar tiegħek hija tiegħek.
Peress li l-approċċ ma juża ebda cookies ta’ tracking ta’ terzi, il-konformità mal-GDPR issir ferm aktar sempliċi. Il-kuntest hu importanti: fl-2022, awtoritajiet tal-protezzjoni tad-dejta fl-Awstrija, Franza u l-Italja ddikjaraw l-użu ta’ Google Analytics bħala mhux konformi mal-GDPR minħabba t-trasferimenti tad-dejta lejn l-Istati Uniti. B’analitika first-party ospitata fl-Ewropa, it-trasferiment tad-dejta lejn l-Istati Uniti mhux parti mill-arkitettura.
Hemm ukoll benefiċċju prattiku dirett: ir-rapporti kkalkulati f’ClickHouse mhumiex ikkampjunati. Numri sħaħ.
Rapporti tal-ħanut u tal-marketplace — dak li se jagħti l-modulu
Għal ħanut online, ClickHouse se tfisser tweġibiet għall-mistoqsijiet li jgħoddu: liema prodotti jinbiegħu, liema sorsi jġibu l-klijenti li verament jixtru, fejn jitkaxkru l-karrijiet. Għal marketplace b’bejjiegħa multipli, l-istess aggregazzjonijiet se jaħdmu fuq l-ordnijiet kollha: volum għal kull bejjiegħ, kummissjonijiet, l-aqwa prodotti għal kull kategorija — mingħajr esportazzjonijiet manwali u mingħajr spreadsheets.
U fuq skala kbira, il-ħażna tibqa’ effiċjenti. Il-kompressjoni kolonnari tnaqqas id-dejta diversi drabi meta mqabbla mal-format mhux ipproċessat, għalhekk iżżomm snin ta’ storja bi spiża baxxa tal-ħażna. Meta t-traffiku jikber minn eluf għal miljuni ta’ avvenimenti, il-magna nbniet għal volumi kbar ta’ ringieli mill-bidu, mhux adattata aktar tard.
Vantaġġi u limitazzjonijiet
Vantaġġi
- Aggregazzjonijiet fuq miljuni ta’ avvenimenti, b’materialized views għall-aggregati frekwenti.
- Il-ġbir huwa asinkroniku: l-analitika taħdem fuq sistema separata minn dik li taqdi l-paġni.
- Id-dejta tat-traffiku tiegħek tibqa’ tiegħek, fuq l-infrastruttura tal-pjattaforma — l-ebda trasferiment lil Google jew lil netwerks tar-reklamar.
- L-ebda cookies ta’ tracking ta’ terzi — konformità aktar sempliċi mal-GDPR.
- Kompressjoni kolonnari qawwija — snin ta’ storja bi spiża baxxa tal-ħażna.
- Open-source (Apache 2.0), mingħajr liċenzji skont il-volum — l-ispiża ma tisplodix hekk kif jikber it-traffiku.
Limitazzjonijiet
- Mhijiex database transazzjonali — l-aġġornament jew it-tħassir ta’ ringieli individwali huwa operazzjoni tqila; għalhekk l-ordnijiet u l-pagamenti jgħixu f’PostgreSQL.
- Ottimizzata għal kitbiet kbar f’batches; ħafna inserts żgħar u frekwenti jeħtieġu batching — il-pjattaforma tieħu ħsieb dan, iżda hija limitazzjoni reali tal-magna.
- Il-JOINs kumplessi huma inqas flessibbli milli f’PostgreSQL — l-iskema tal-avvenimenti trid tkun iddisinjata għall-analitika mill-bidu.
- Is-sejba ta’ ringiela waħda (point lookup) hija aktar bil-mod milli f’database OLTP b’indiċi — ma tissostitwixxix id-database ewlenija tal-ħanut.
Verdett fil-qosor
ClickHouse hija l-għażla t-tajba għall-analitika b’volum: statistika tat-traffiku u tal-bejgħ f’ħin reali, bid-dejta tiegħek stess, mingħajr ma taqsam l-infrastruttura tal-paġni. Għall-ordnijiet, il-pagamenti u l-istokk jibqa’ PostgreSQL — għalhekk l-istack ta’ 4buildsite jgħaqqad it-tnejn, kull wieħed f’dak li jagħmel l-aħjar. Il-modulu tal-istatistika mibni fuq ClickHouse qed jiġi żviluppat.
Tabella tal-ispeċifikazzjonijiet
| Kapaċità | Limitu / limitu massimu | Użu tipiku | |
|---|---|---|---|
| Aggregazzjonijiet analitiċi | Agregati fuq miljuni ta’ avvenimenti (kolonnari + ivvettorjati) | Bil-mod fis-sejbiet ta’ ringiela waħda — mhux għal qari point OLTP | Rapporti tat-traffiku u tal-bejgħ (modulu tal-istatistika, taħt żvilupp) |
| Ingestjoni tal-avvenimenti | Volumi għolja, miktuba f’batches | Inserts żgħar u frekwenti jeħtieġu batching / async insert | Ġbir ta’ pageviews, klikkijiet, ordnijiet |
| Ħażna u kompressjoni | Kompressjoni kolonnari (LZ4/ZSTD), diversi drabi taħt il-volum mhux ipproċessat | Dejta każwali ħafna tikkompressa inqas | Xhur u snin ta’ storja tal-avvenimenti, bi spiża baxxa |
| Aġġornamenti u tħassir | Mutazzjonijiet asinkroniċi għal korrezzjonijiet okkażjonali | Mhux adatta għal UPDATEs frekwenti ta’ ringiela waħda | Tħassir GDPR (id-dejta ta’ utent wieħed, fuq talba) |
| Materialized views | Aggregati kkalkulati minn qabel f’kull kitba | L-aggregati jridu jiġu definiti minn qabel, għal kull rapport | Dashboards b’aggregati: bejgħ kuljum, għal kull prodott, sors |
| Ħin reali | L-avvenimenti jistgħu jiġu mistoqsija ftit wara li jseħħu | Mhijiex sistema ta’ streaming fil-livell tal-millisekonda | Statistika tat-traffiku u tal-konverżjonijiet |
ClickHouse vs PostgreSQL vs Google Analytics / BigQuery — għall-analitika
| Kriterju | ClickHouse (4buildsite) | PostgreSQL (għall-analitika) | Google Analytics / BigQuery |
|---|---|---|---|
| Veloċità tal-aggregazzjoni b’volum | Agregati fuq miljuni ta’ ringieli | Tiddeterjora b’mod viżibbli fuq għexieren ta’ miljuni ta’ ringieli (ħażna bir-ringieli) | BigQuery veloċi; GA4 għandu rapporti standard ikkalkulati minn qabel, mingħajr mistoqsijiet ħielsa |
| Sjieda tad-dejta / GDPR | Id-dejta tiegħek, fuq l-infrastruttura tal-pjattaforma, fl-Ewropa | Id-dejta tiegħek, fuq is-servers tiegħek | Id-dejta għand Google; it-trasferimenti tal-GA lejn l-Istati Uniti ddikjarati mhux konformi mal-GDPR mill-awtoritajiet tal-UE fl-2022 |
| Cookies u kunsens | L-ebda cookies ta’ tracking ta’ terzi | Jiddependi mill-implimentazzjoni tiegħek stess | Jeħtieġ banner tal-kunsens għat-tracking |
| Ħin reali | Dejta li tista’ tiġi mistoqsija | Possibbli, iżda r-rapporti tqal iżidu t-tagħbija fuq id-database transazzjonali | Ir-rapporti standard tal-GA4 jistgħu jdewmu sigħat; l-istreaming ta’ BigQuery jiswa żejjed |
| Spiża b’volum | Open-source — l-ispiża hija biss l-infrastruttura, inkluża fl-abbonament | Tikber bl-indiċi, bil-vacuum u bl-hardware f’volumi għoljin | BigQuery jitlob ħlas skont il-volum mistoqsi; il-livell enterprise tal-GA huwa għali |
| Fejn jaħdem il-ġbir | Ġbir asinkroniku, rapportar fuq sistema separata | Ir-rapporti jistgħu jikkompetu mal-ordnijiet fuq l-istess database | Script ta’ terzi (gtag.js) fuq il-paġna — JavaScript żejjed u talbiet esterni |
Mistoqsijiet frekwenti
ClickHouse tnaqqas il-veloċità tas-sit jew tal-ħanut tiegħi?
ClickHouse taħdem fuq sistema separata minn dik li taqdi l-paġni tiegħek — hekk hija ddisinjata l-arkitettura. L-avvenimenti tat-traffiku jintbagħtu b’mod asinkroniku, u r-rapporti qatt ma jmissu d-database tal-ħanut.
Għaliex ma nużawx sempliċement Google Analytics?
Għal tliet raġunijiet. Id-dejta tibqa’ tiegħek, fuq l-infrastruttura tal-pjattaforma, mhux għand Google. Ma jkollok bżonn ebda cookies ta’ tracking ta’ terzi, għalhekk il-konformità mal-GDPR hija aktar sempliċi — fl-2022, awtoritajiet fl-Awstrija, Franza u l-Italja ddikjaraw il-GA mhux konformi mal-GDPR. U r-rapporti huma kompluti, mhux ikkampjunati.
X’inhi d-differenza bejn ClickHouse u PostgreSQL — għaliex it-tnejn?
PostgreSQL hija d-database transazzjonali (OLTP): tipproċessa ordnijiet, pagamenti u stokk wieħed wieħed, b’garanziji ta’ korrettezza. ClickHouse hija d-database analitika (OLAP): taqra miljuni ta’ avvenimenti f’daqqa għar-rapporti. Is-separazzjoni tfisser li rapport tqil ma jikkompetix mal-ordnijiet tal-klijenti tiegħek.
Id-dejta tat-traffiku tiegħi hija sikura u konformi mal-GDPR?
Iva — mid-disinn. L-istatistika hija first-party: tgħix fuq l-infrastruttura tal-pjattaforma, fl-Ewropa, u qatt ma tinbiegħ jew tiġi kondiviża ma’ netwerks tar-reklamar. L-approċċ ma juża ebda cookies ta’ tracking ta’ terzi, u d-dejta ta’ utent tista’ titħassar fuq talba, skont il-GDPR.
Kemm hi “f’ħin reali” l-istatistika?
Avveniment — żjara, klikk, ordni — jidher fir-rapporti wara li jseħħ. L-aggregazzjonijiet fuq perjodi twal (xhur, snin) huma mfassla biex jirrispondu malajr, għax ClickHouse nbniet preċiżament għal dan it-tip ta’ mistoqsija.
Għandi bżonn nissettja xi ħaġa biex ikolli statistika fuq is-sit tiegħi?
Mhux se jkollok bżonn. Il-modulu tal-istatistika qed jiġi żviluppat u mibni bħala parti mill-pjattaforma: hekk kif jibda jaħdem fil-panel tal-amministrazzjoni, il-ġbir jibda awtomatikament għas-siti ppubblikati — mingħajr scripts x’tinstalla u mingħajr kontijiet esterni.