Big data: distribuirani sistemi, hadoop, spark i procesiranje velikih baza podataka

Uvod: epoha velikih podataka i revolucija u procesiranju

U digitalnoj eri, svedoci smo eksponencijalnog rasta obima podataka koji se generišu, skladište i obrađuju. Od senzora u pametnim gradovima i Internetu stvari (IoT), preko transakcija u finansijskom sektoru, do interakcija na društvenim mrežama i telekomunikacionih mreža, svaki aspekt modernog života ostavlja digitalni trag. Ovaj fenomen, poznat kao Big Data (Veliki Podaci), prevazilazi mogućnosti tradicionalnih softverskih alata za obradu i skladištenje. Pojava Big Data paradigme postavila je nove izazove, ali i otvorila neslućene mogućnosti za izdvajanje vrednih uvida, predviđanje trendova i optimizaciju poslovanja.

Koncept Big Data se često definiše kroz takozvana "tri V": Volume (zapremina), Velocity (brzina) i Variety (raznovrsnost). Zapremina se odnosi na masivne skupove podataka koji se mere u terabajtima, petabajtima ili čak eksabajtima. Brzina obuhvata i brzinu kojom se podaci generišu (npr. u realnom vremenu) i brzinu kojom ih je potrebno obraditi. Raznovrsnost opisuje širok spektar formata podataka, od strukturiranih (poput relacijskih baza podataka) preko polustrukturiranih (XML, JSON) do potpuno nestrukturiranih (tekst, slike, video, audio). Kasnije su se ovoj definiciji dodali i Veracity (istinitost ili kvalitet podataka) i Value (vrednost ili korisni uvidi koji se mogu dobiti obradom), čineći "pet V" kao sveobuhvatniji okvir za razumevanje Big Data.

Suočeni sa ovim izazovima, informatička zajednica se okrenula razvoju distribuiranih sistema – arhitektura koje omogućavaju paralelnu obradu i skladištenje podataka na klasterima kompjuterskih čvorova. Ove inovacije su fundamentalno promenile način na koji organizacije, uključujući telekomunikacione operatere, pristupaju analizi podataka, otvarajući vrata za personalizaciju usluga, prediktivno održavanje, optimizaciju mreže i detekciju prevara.

Istorijski razvoj i teorijske osnove distribuiranih sistema

Potreba za distribuiranom obradom podataka nije novost. Još od ranih dana računarstva, naučnici su istraživali načine za razbijanje velikih problema na manje, paralelno rešive segmente. Međutim, pravi zamah u razvoju distribuiranih sistema za masovne podatke dogodio se početkom 21. veka, prvenstveno podstaknut potrebama internet giganta.

Googleov pioneering rad i mapreduce koncept

Google je bio među prvim kompanijama koje su se suočile sa izazovom obrade i indeksiranja interneta, čiji obim raste neviđenom brzinom. Da bi rešio ovaj problem, Google je razvio niz inovativnih tehnologija. Jedna od ključnih je Google File System (GFS), distribuirani fajl sistem dizajniran za skladištenje ogromnih količina podataka na klasterima jeftinih hardvera, uz inherentnu toleranciju na greške. GFS je omogućavao da se veliki fajlovi razbiju na manje blokove i distribuiraju preko više mašina, uz replikaciju radi sigurnosti i dostupnosti ¹.

Istovremeno, Google je razvio paradigmu za obradu tih podataka – MapReduce. Ovaj programski model je omogućavao programerima da lako pišu aplikacije koje obrađuju velike skupove podataka paralelno na klasterima. MapReduce se sastoji od dve osnovne faze:

1. Map faza: Ulazni podaci se transformišu u parove ključ-vrednost.
2. Reduce faza: Parovi ključ-vrednost sa istim ključem se agregiraju i obrađuju.

Ovaj pristup je omogućio Googleu da efikasno indeksira internet, sprovodi složene analize i pokreće svoje servise na neviđenoj skali. Uskoro je MapReduce koncept postao de facto standard za batch obradu velikih podataka.

CAP teorema i kompromisi u dizajnu sistema

Razumevanje teorijskih osnova distribuiranih sistema ključno je za njihov efikasan dizajn. Jedna od najvažnijih teoretskih postavki je CAP teorema (Consistency, Availability, Partition tolerance), koju je formulisao Eric Brewer ². CAP teorema navodi da distribuirani sistem ne može istovremeno garantovati sve tri sledeće osobine:

• Konzistentnost (Consistency): Svaki čvor u klasteru uvek ima najnoviju verziju podataka, odnosno svi klijenti vide iste podatke u isto vreme.
• Dostupnost (Availability): Svaki zahtev prima odgovor (nije bitno da li je najnoviji) bez obzira na stanje dela sistema, tj. sistem je uvek operativan.
• Particiona tolerancija (Partition tolerance): Sistem nastavlja sa radom čak i ako dođe do prekida komunikacije između njegovih čvorova (tzv. "mrežne particije").

U praksi, zbog inherentne prirode distribuiranih mreža, particiona tolerancija je obavezna. Stoga, dizajneri sistema moraju birati između konzistentnosti i dostupnosti. Na primer, tradicionalne relacione baze podataka naginju ka konzistentnosti, dok mnoge NoSQL baze podataka i Big Data sistemi, poput Hadoopa, često prioritizuju dostupnost i particionu toleranciju, žrtvujući strogu, trenutnu konzistentnost u korist eventualne konzistentnosti (eventual consistency).

Hadoop ekosistem: temelj distribuirane obrade

Inspirisan Googleovim radom, prvenstveno GFS-om i MapReduce-om, Doug Cutting i Tom White su razvili open-source projekat nazvan Hadoop. Nazvan po igrački slona Doug Cuttingovog deteta, Hadoop je brzo postao sinonim za Big Data, nudeći skalabilan i otporan na greške okvir za skladištenje i obradu ogromnih količina podataka na klasterima jeftinih računara ³.

Ključne komponente hadoopa

Hadoop nije samo jedna tehnologija, već ekosistem softvera koji zajedno funkcioniše. Njegove primarne komponente su:

• HDFS (Hadoop Distributed File System): Ovo je distribuirani fajl sistem dizajniran za skladištenje vrlo velikih datoteka (terabajti do petabajti) preko više mašina. Njegova arhitektura se sastoji od:
  • NameNode: Master čvor koji upravlja metapodacima fajl sistema (struktura direktorijuma, lokacija blokova). Postoji samo jedan NameNode (ili sekundarni standby u visokoj dostupnosti).
• MapReduce: Kao što je objašnjeno, ovo je programski model za paralelnu obradu velikih skupova podataka. Iako je bio revolucionaran, MapReduce ima ograničenja, posebno za iterativne algoritme (koji zahtevaju učitavanje podataka sa diska u svakoj iteraciji) i za interaktivne upite zbog visoke latencije.
• YARN (Yet Another Resource Negotiator): YARN je uveden u Hadoop 2.x verziji da bi rešio problem zavisnosti MapReduce-a od HDFS-a i omogućio drugim procesnim motorima da koriste Hadoop klaster. YARN funkcioniše kao univerzalni menadžer resursa, odvajajući upravljanje resursima (CPU, memorija) od logike obrade podataka. Sastoji se od:
  • ResourceManager: Globalni arbitar resursa, dodeljuje resurse aplikacijama.

Široki ekosistem alata oko hadoopa

Osim jezgra, Hadoop ekosistem uključuje brojne druge projekte koji proširuju njegovu funkcionalnost:

• Apache Hive: Omogućava pisanje SQL upita (HiveQL) za obradu podataka skladištenih u HDFS-u, prevodeći ih u MapReduce zadatke.
• Apache Pig: Platforma za izvršavanje složenih upita na HDFS-u korišćenjem visokopoziocioniranog skripting jezika Pig Latin.
• Apache HBase: NoSQL kolonarna baza podataka otporna na greške, koja radi na vrhu HDFS-a i pruža real-time pristup velikim tabelama.
• Apache ZooKeeper: Centralizovani servis za održavanje konfiguracionih informacija, imenovanje, pružanje distribuirane sinhronizacije i grupnih servisa.
• Apache Flume: Servis za efikasno prikupljanje, agregiranje i premeštanje velikih količina log podataka u HDFS.
• Apache Sqoop: Alat za efikasan transfer podataka između Hadoopa i relacijskih baza podataka.

Apache spark: nova generacija za brzu analizu

Iako je Hadoop postavio temelje Big Data obrade, njegova MapReduce komponenta imala je određena ograničenja, posebno u scenarijima koji zahtevaju brzu, iterativnu obradu (npr. mašinsko učenje) ili analizu u realnom vremenu. Kao odgovor na ove izazove, razvijen je Apache Spark na AMPLabu Kalifornijskog univerziteta u Berkliju, pod vođstvom Mateia Zaharie. Spark je dizajniran da bude brži, fleksibilniji i lakši za korišćenje od MapReduce-a, postajući ubrzo de facto standard za širok spektar Big Data radnih opterećenja.

Ključne inovacije i arhitektura sparka

Centralna inovacija Sparka su Resilient Distributed Datasets (RDDs) ⁴. RDD je immutable, distribuirana kolekcija objekata koja može biti skladištena u memoriji ili na disku klastera. RDD-ovi su "otporni" jer, u slučaju kvara čvora, Spark može ponovo izračunati izgubljene particije podataka na osnovu "genealogije" (tj. transformacija koje su dovele do trenutnog stanja RDD-a), što ih čini tolerantnim na greške bez potrebe za replikacijom podataka na nivou aplikacije.

Spark arhitektura se sastoji od:

• Spark Core: Osnovna biblioteka koja pruža RDD API i apstrakciju za distribuirano računanje. Upravlja zadacima, rasporedom, memorijom i tolerancijom na greške. Može raditi na vrhu Hadoopa (koristeći YARN i HDFS), Mesosa ili samostalno u klaster modu.
• Spark SQL: Modul za rad sa strukturiranim podacima. Uvodi apstrakcije kao što su DataFrames i DataSets, koje su optimizovanije i lakše za korišćenje od RDD-ova za strukturirane podatke, nudeći superiorne performanse putem Catalyst optimizatora. Omogućava izvršavanje SQL upita i integraciju sa postojećim bazama podataka.
• Spark Streaming: Omogućava obradu strimovanih podataka u realnom vremenu. Podatke prima u malim mikrobatchovima, tretirajući ih kao RDD-ove, što omogućava korišćenje istog koda za batch i striming obradu.
• MLlib: Skalabilna biblioteka za mašinsko učenje, koja sadrži algoritme za klasifikaciju, regresiju, klasterisanje, kolaborativno filtriranje i smanjenje dimenzionalnosti, optimizovane za distribuiranu obradu.
• GraphX: API za grafovsko procesiranje i grafovsku paralelnu obradu, omogućavajući analizu društvenih mreža, preporuka i drugih grafovski strukturiranih podataka.

Poređenje hadoop mapreduce vs. apache spark

Poređenje ova dva ključna igrača u svetu Big Data je esencijalno za razumevanje njihovih prednosti i optimalnih scenarija primene:

Ova tabela jasno pokazuje da Spark pruža veću fleksibilnost i bolje performanse za većinu modernih Big Data radnih opterećenja, posebno onih koji zahtevaju brzu interakciju ili kompleksne iterativne algoritme. Međutim, Hadoop i dalje ima svoju ulogu, posebno kao pouzdana i ekonomična platforma za dugoročno skladištenje velikih arhiva podataka (kroz HDFS) koju Spark i mnogi drugi sistemi mogu koristiti.

NoSQL baze podataka i big data

Tradicionalne relacione baze podataka (RDBMS), sa svojim strogim šemama i fokusom na ACID transakcije (Atomicity, Consistency, Isolation, Durability), često se pokazuju neadekvatnim za izazove Big Data. Njihovo vertikalno skaliranje je skupo i ima granice, a fiksna šema otežava rad sa raznovrsnim i brzo promenljivim podacima. Kao odgovor na ove izazove, razvila se klasa baza podataka poznata kao NoSQL (Not Only SQL).

Zašto nosql?

NoSQL baze su dizajnirane da zadovolje zahteve Big Data okruženja:

• Horizontalno skaliranje: Lako se skaliraju dodavanjem više jeftinih servera, umesto da se nadograđuju skupi, moćni serveri.
• Fleksibilna šema: Omogućavaju skladištenje podataka bez fiksne šeme ili sa dinamičkom šemom, što je idealno za polustrukturirane i nestrukturirane podatke.
• Visoka dostupnost: Dizajnirane su da budu uvek dostupne, čak i u slučaju delimičnog kvara sistema, često žrtvujući trenutnu konzistentnost (prema CAP teoremi).
• Različiti modeli podataka: Umesto jedinstvenog tabelarnog modela, NoSQL nudi različite pristupe koji su optimizovani za specifične tipove podataka i pristupa.

Tipovi nosql baza podataka

NoSQL baze se kategorišu prema modelu podataka koji koriste:

• Key-Value baze: Najjednostavniji model, gde se svaki podatak skladišti kao par ključ-vrednost. Izuzetno brze za upis i čitanje po ključu. Primeri: Redis, Amazon DynamoDB.
• Dokumentne baze: Podaci se skladište kao fleksibilni, samostalni dokumenti (najčešće u JSON ili BSON formatu). Pogodne za polustrukturirane podatke i brzi razvoj aplikacija. Primeri: MongoDB, Couchbase.
• Kolonarne baze: Podaci se organizuju u familije kolona umesto redova, što omogućava efikasno skladištenje i pretraživanje podataka koji se često pristupaju po kolonama. Izuzetno skalabilne. Primeri: Apache Cassandra, HBase (često korišćena u Hadoop ekosistemu).
• Grafovske baze: Optimizovane za skladištenje i pretraživanje podataka koji imaju inherentnu strukturu grafa (čvorovi i ivice). Idealne za analizu veza i odnosa (npr. društvene mreže, preporuke). Primeri: Neo4j, ArangoDB.

U Big Data arhitekturama, NoSQL baze se često koriste u kombinaciji sa Hadoopom ili Sparkom. Na primer, HDFS može služiti kao dugoročno skladište za sirove podatke, dok HBase ili Cassandra mogu pružiti brzi, real-time pristup podskupu podataka za aplikacije.

Savremena primena, trendovi i zaključak

Big Data, distribuirani sistemi, Hadoop i Spark, zajedno sa NoSQL bazama podataka, formiraju okosnicu modernog ekosistema za analizu podataka. Njihova primena je široka i transformiše različite industrije.

Uloga big data u telekomunikacijama

Telekomunikaciona industrija je jedan od najvećih generatora i korisnika Big Data. Analizom podataka iz mrežnog saobraćaja, CDR-ova (Call Detail Records), IoT uređaja i interakcija sa korisnicima, operatori mogu:

• Optimizovati mrežu: Predvideti zagušenja, detektovati anomalije, planirati kapacitet i poboljšati kvalitet usluga.
• Personalizovati usluge: Razviti ciljane ponude i pakete na osnovu ponašanja i preferencija korisnika.
• Detekcija prevara: Identifikovati sumnjive obrasce u saobraćaju i transakcijama.
• Prediktivno održavanje: Analizirati podatke sa mrežne opreme kako bi se predvideli kvarovi i smanjili prekidi u radu.
• Poboljšanje korisničkog iskustva: Brža i efikasnija podrška na osnovu uvida u istoriju interakcija.

Konvergencija tehnologija i budući pravci

Današnji Big Data ekosistem je dinamičan i neprestano se razvija.

• Cloud platforme: Većina Big Data rešenja sada je dostupna kao servis na cloud platformama (AWS EMR, Azure HDInsight, Google Dataproc), što smanjuje operativne troškove i omogućava lakše skaliranje.
• Veštačka Inteligencija i Mašinsko Učenje: Spoj Big Data i AI/ML je prirodan. Veliki podaci su gorivo za trening kompleksnih AI modela, dok ML algoritmi omogućavaju izdvajanje dubokih uvida iz tih podataka. Spark MLlib je ključna komponenta u ovom domenu.
• Edge Computing: Sa rastom IoT-a, sve je veća potreba za obradom podataka bliže izvoru (na ivici mreže) pre slanja u centralizovani oblak, radi smanjenja latencije i troškova propusnog opsega.
• Serverless Arhitekture za Big Data: Omogućavaju pokretanje Big Data poslova bez direktnog upravljanja serverima, dodatno pojednostavljujući operacije i optimizujući troškove.

Izazovi

Uprkos svim prednostima, primena Big Data tehnologija nosi i izazove. Privatnost i sigurnost podataka su ključni, posebno u svetlu regulativa poput GDPR-a. Kvalitet podataka (Veracity) ostaje kritičan problem, jer "garbage in, garbage out" princip važi više nego ikada. Konačno, nedostatak kvalifikovanog kadra koji razume i tehnologiju i domen primene, predstavlja značajnu prepreku za mnoge organizacije.

Zaključak

Fenomen Big Data i razvoj distribuiranih sistema poput Hadoopa i Sparka predstavljaju fundamentalnu promenu u načinu na koji se podaci generišu, skladište, obrađuju i analiziraju. Od pionirskih napora Googlea do kompleksnih ekosistema današnjice, ove tehnologije su omogućile organizacijama da transformišu sirove podatke u vredne uvide, podstičući inovacije i poslovni rast. U telekomunikacionoj industriji, Big Data je nezaobilazna za optimizaciju mrežnih performansi, unapređenje korisničkog iskustva i otvaranje novih poslovnih modela. Iako su izazovi prisutni, kontinuirani razvoj i integracija sa novim tehnologijama osiguravaju da će Big Data ostati centralni stub digitalne transformacije u godinama koje dolaze.

---

Reference i fusnote

---

Reference i literatura:

1. S. Ghemawat, H. Gobioff, S. Leung, "The Google File System", Proceedings of the Nineteenth ACM Symposium on Operating Systems Principles (SOSP '03), Bolton Landing, New York, USA, 2003, pp. 29-43.↩

2. Eric Brewer, "Towards Robust Distributed Systems", Proceedings of the Nineteenth Annual ACM Symposium on Principles of Distributed Computing (PODC '00), Portland, Oregon, USA, 2000, pp. 1-6.↩

3. Doug Cutting, Tom White, "Hadoop: The Definitive Guide", O'Reilly Media, 4th Edition, 2015.↩

4. Matei Zaharia, M. Chowdhury, T. Das, A. Dave, J. Ma, M. McCauley, M. Franklin, S. Shenker, I. Stoica, "Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing", Proceedings of the 9th USENIX Symposium on Networked Systems Design and Implementation (NSDI '12), San Jose, CA, USA, 2012, pp. 2-2.↩

5. J. D. B. D. Sharda, "A History of Big Data: From Past to Present", DataFlair, Available at: https://data-flair.training/blogs/history-of-big-data/ (pristupljeno 18. avgusta 2022.).↩

Česta pitanja (FAQ)