Novi izazovi, nove potrebe, novi pristup data arhitekturi

Poslednjih godina, mnoge kompanije uspešno su primenile moderne arhitektonske i analitičke šablone koji kombinuju data warehousing i big data tehnologije. Ovakav pristup, međutim, ima svoje izazove. Navedene tehnologije najčešće se implementiraju kao monolitna rešenja u projektima gde je jedan tim i provajder platforme i izvođač integracije podatka. Za manje organizacije ovo ne mora biti problem, ali korišćenje samo jednog tima u većim okruženjima može da stvori brojna uska grla. Tranzicija ka mikroservisima za razvoj aplikcija stvara dodatne zaostatke u domenu integracije podatka jer uvećava broj izbora podataka. Gledano sa poslovne perspektive, veliki broj organizacija je decentralizovan i distrubiran. Različiti sektori upravljaju specifičnim operacijama, a jedan tim teško da može da ima eksperte za svaki izvor podataka koje ti sektori generišu. Odgovor na ove izazove, kao i potrebe kompanija za bržim, skalabilnijim, data-driven procesima, stvorio je potrebu za novim pristupom. Iz potrebe za promenom paradime u upravljanju i pristupnju analitičkim podacima rođen je data mesh - jedan od najbrže rastućih trendova tokom 2020. godine.

Šta je data mesh?

Data mesh je arhitektonski koncept za implementaciju enterprise data platformi u velikim i kompleksnim poslovnim okruženjima. Reč je o decentralizovanoj arhitekturi koja organizuje podatke prema specifičnom biznis domenu - poput prodaje, marketinga, korisničke podrške i drugih funkcija - pružajući im veći stepen vlasništva (ownership) nad setovima podatka koje generišu i za koje mogu da uspostave data governance polise sa fokusom na dokumentaciju, kvalitet i pristup podacima. Jedna od glavnih prednosti ovakve arhitektore jeste što omogućava distribuiranim timovima da rade i dele informacije na decentralizovan i agilan način.Premda data mesh pristup eliminiše brojna uska grla koja su posledica centralizovanih, monolitnih sistema, primeniti ga ne znači staviti tačku na tradicionalne storidž sisteme kao što su data lake i data warehouse. Ovi se sistemi se i dalje mogu koristiti - razlika je što se podaci ne preuzimaju iz jedne platforme, već iz mnogobrojnih, decentralizovanih repozitorijuma podatka.

Data mesh u akciji: Norwegian data-driven transformacija

Koristeći data mesh, srpska kompanija Cloudwalker pomogla je Norwegian-u, jednoj od vodećih low-cost avio-prevoznika u Evropi, da razvije sopstvenu analitičku platformu na Amazon Web Services (AWS) cloud-u. Jedan od ciljeva projekata bio je da se brojim timovima (naplata, održavanje aviona, analitika itd.) omogući da kreiraju svoje analitičke sisteme na AWS-u, te da dele privilegije sa tih sistema sa drugim timovima.

“Kroz data mesh arhitekturu omogućeno je da domenski stručnjaci za konkretne oblasti mogu da podele pogled na svoje podatke sa linijskim analitičarima i drugim timova kojima su podaci potrebni. Mnogo različitih account-a koje eksperti unutar svakog tima koriste usaglašeno je kroz AWS Lake Formation, a korišćen je i AWS Glue. Kao data-driven kompanija, Norwegian je iskoristio ovu arhitekturu da omogući svojim timovima kompletnu autonomiju i vlasništvo nad podacima, uz centralizovanu lokaciju za otkrivanje i upravljanje,” objašnjava Bojan Sovilj, generalni direktor Cloudwalker-a.Obzirom da Norwegin koristi veliki broj internih sistema na kojima se nalazi velika količina podataka, uključujući i lične podatke (personally identifible information) bilo je neophodno da se omogući da svaki tim može da deklariše podatke kao osetljive koristeći self-serve platformsku tehnologiju i donosi odluke vezane za pristup podacima na izvoru. Time je, ističe Bojan Sovilj, u dizajn arhitekture utkana privatnost (privacy by design).

Pouzdan partner za transformaciju podataka

Cloudwalker je pionir data mesh-a u Srbiji, čiju ekspertizu za poslovnu analitku, rešavanje sistemskih problema i korišćenje AWS-native alata je prepoznao evropski i svetski lider, Norwegian, i poverio im realizaciju jednog od najnaprednijih data projekata u avio industriji. Dugogodišnje inženjersko iskustvo na polju data transformacije, poznavanje najnovijih alata i konsultantski pristup Cloudwalker stručnjaka su garancije uspešnog projekta za stvaranje vredosti od podataka.