Uriadiť sieťovú a dátovú prevádzku významného poskytovateľa internetu v SR nie je ľahká úloha, jej základom sú reálne dáta ukladané v reálnom čase. Prenášané dátové objemy sú obrovské, čo je presne prípad pre využitie technológií big data. Ako na to, keď s nimi nemáte skúsenosti?
Aký problém sme riešili
Presne to si poskytovateľ internetu uvedomil a stál tak pred veľkou výzvou. Vypísal výberové konanie na riešenie pre ukladanie veľkých objemov metadát počas sieťovej prevádzky, v ktorom kládol vysoký dôraz na bezproblémovú prevádzku a vysokú dostupnosť nového riešenia. Oslovil existujúcich i nových dodávateľov, vrátane Adastry, ktorá má v oblasti big data bohaté skúsenosti z množstva úspešne realizovaných projektov v rôznych odvetviach.
Za 3 mesiace vybudovala Adastra u zákazníka univerzálnu, vysoko dostupnú a ľahko rozšíriteľnú big data platformu.
Aké riešenie sme zvolili
Adastra prišla s čisto generickou dátovou platformou umožňujúcou výborné škálovanie výpočtového výkonu a jednoduché rozširovanie diskovej kapacity podľa budúcich potrieb zákazníka. S ohľadom na prevádzkové náklady navrhla menší cluster, ktorý plne vyhovuje súčasným požiadavkám, poskytuje vysoký výpočtový výkon a dostatočné úložné kapacity. Tá sa blíži 1 PB (petabytu), spracováva 300 výpočtových vlákien a disponuje 2,5 TB operačnej pamäte a využíva distribúciu Hortonworks. Samotné spracovanie metadát sieťovej prevádzky stojí na Spark frameworku, ktorý využíva stabilné technológie ako Apache Kafka, Apache Hadoop a Apache HBase.
Nová big data platforma spracováva všetky dáta týkajúce sa internetovej prevádzky zákazníka. Umožňuje flexibilnú alokáciu prostriedkov klastra v závislosti na požadovanom prietoku dát. Reálne prietoky dát sa pohybujú v desiatkach miliárd denne. Základnú dennú agregáciu spočíta Spark do 12 minút pri alokácii 100 výpočtových vlákien.
Súčasťou riešenia je aj komponent tretej strany pre vysoko výkonnostnú konverziu sieťových metadát zo sond, ktoré boli v rámci PoC (proof-of-concept) u zákazníka úspešne otestované.
Big data platforma od Adastry denne spracuje desiatky miliárd záznamov.
Ako projekt dopadol
Vlastná inštalácia a realizácia Hadoop platformy trvala 3 mesiace a v jej rámci prebiehala aj testovacia prevádzka. Tú Adastra navrhla veľmi vhodne na „prvý pokus“, takže ju nebolo potrebné významne upravovať a nová big data platforma bola spustená do ostrej prevádzky o mesiac skôr.
Vďaka bezproblémovému testovaniu odovzdala Adastra projekt mesiac pred zmluvne uzavretým termínom dokončenia projektu.
Za kľúčové benefity big data platformy zákazník považuje:
- Maximálny výkon – medziročný prírastok objemu dát zákazník vyrieši jednoduchým pridaním niekoľkých ďalších jadier v streamovej aplikácii v YARN-e. Navýšením jadier možno dosiahnuť prietok ukladania blížiaci sa 1 miliónu záznamov za sekundu. Zákazník tak môže veľmi pružne reagovať na aktuálne potreby, či už zo strany dátovej prevádzky, alebo pri potrebe výpočtového výkonu pre pokročilých analytikov a zapojenie machine learningu.
- Univerzálnosť – dodané riešenie nie je viazané na konkrétneho výrobcu hardvéru či typ servera. Cluster možno doplniť o akýkoľvek typ servera podľa konkrétnej dostupnosti aj o špecializované servery s GPU pre akceleráciu machine learning algoritmov.
- Podpora 24/7 – Adastra zaisťuje podporu pri prevádzke a riešení prípadných problémov v režime 24/7.
- Reporting – big data platforma je vynikajúcim základom pre následné aktivity a rozvoj, nad uloženými dátami možno efektívne vybudovať kompletnú reportingovú vrstvu a informácie sprístupniť a vizualizovať koncovým používateľom.
Orientačná priepustnosť pri kompletnom spracovaní dát vrátane uloženia je cca 600 000 záznamov za sekundu pri alokácii 80 jadier pre aplikáciu (cca 28 % utilizácie prostriedkov klastra).
Zaujíma vás podobné riešenie? Ozvite sa nám.
Ďakujeme
V čo najbližšej dobe sa vám ozveme.