Nová Big Data platforma zpracovávající desítky miliard záznamů denně? S Adastrou vybudována za 3 měsíce!

Přesně to si poskytovatel internetu uvědomil a stál tak před velkou výzvou. Vypsal výběrové řízení na řešení pro ukládání velkých objemů metadat o síťovém provozu, v němž kladl vysoký důraz na bezproblémový provoz a vysokou dostupnost nového řešení. Oslovil stávající i nové dodavatele, včetně Adastry, která má v oblasti Big Dat bohaté zkušenosti z celé řady úspěšně realizovaných projektů v různých odvětvích.

Adastra přišla s čistě generickou datovou platformou umožňující výborné škálování výpočetního výkonu a snadné rozšiřování diskové kapacity dle budoucích potřeb zákazníka. S ohledem na provozní náklady navrhla menší cluster, který plně vyhovuje současným požadavkům, poskytuje vysoký výpočetní výkon a dostatečné úložné kapacity. Ta se blíží 1 PB (petabytu), zpracovává 300 výpočetních vláken a disponuje 2,5 TB operační paměti a využívá distribuci Hortonworks. Samotné zpracování metadat síťového provozu stojí na Spark frameworku, který využívá stabilní technologie jako Apache Kafka, Apache Hadoop a Apache HBase.

Nová Big Data platforma zpracovává všechna data týkající se internetového provozu zákazníka. Umožňuje flexibilní alokaci prostředků clusteru v závislosti na požadovaném průtoku dat. Reálné průtoky dat se pohybují v desítkách miliard denně. Základní denní agregaci spočítá Spark do 12 minut při alokaci 100 výpočetních vláken.

Součástí řešení je i komponenta třetí strany pro vysoko výkonnostní konverzi síťových metadat ze sond, která byla v rámci PoC (proof-of-concept) u zákazníka úspěšně otestována.

Vlastní instalace a realizace Hadoop platformy trvala 3 měsíce a v jejím rámci probíhal i testovací provoz. Ten Adastra navrhla na „první dobrou,“ takže ho nebylo potřeba významně upravovat a nová Big Data platforma byla spuštěna do ostrého provozu o měsíc dříve.