Nový dátový sklad v Kooperative a ČPP za 17 mesiacov pri zachovaní biznis kontinuity

Dátový sklad postavený pred 10 rokmi, ktorý využívali obe poisťovne, prestal postupne vyhovovať nárokom biznis útvarov poisťovní. Nahrávanie dát do DWH zo zdrojových systémov trvalo skoro dva dni, prebiehalo obvykle cez víkend s nutnosťou strážiť načítanie a v prípade chyby zasiahnuť. Aktualizácia dát v dátovom sklade preto prebiehala s týždennou frekvenciou, väčšina útvarov tak nemala úplne aktuálne informácie. Mnohí pracovníci riešili svoje reportingové potreby neštandardnými postupmi, okrem iného vytváraním reportov priamo z rôznych kópií zdrojových systémov, nad ktorými si budovali vlastné „datasklady“. Významným motívom boli aj rastúce náklady na prevádzku a údržbu existujúcej technológie.

Vedenie poisťovní preto začalo uvažovať o vybudovaní úplne nového robustného DWH, ktorý by im poskytol aj možnosť využívať moderné BI nástroje. Súčasne požadovalo, aby použité technológie a architektúra riešenia umožnili dynamický rozvoj DWH a BI v oboch spoločnostiach s ohľadom na rastúce požiadavky útvarov, a to po dobu najmenej 10 rokov. Zohľadňovala pritom už aj plánovanú fúziu Kooperativy s Poisťovňou Českej sporiteľne (PČS) k 1. 1. 2019.

Poisťovne pristúpili k projektu zodpovedne a pred jeho začatím overili v spolupráci s Adastrou zásadné časti a postupy budúceho riešenia formou PoC (proof-of-concept).

V prvom kroku došlo k podstatnému skráteniu ETL transformácií náhradou full loadov inkrementálnym načítaním dát. Súčasne bolo potrebné zabezpečiť rýchle načítanie dát z Informixu (databázy hlavných zdrojových systémov) do SQL Servera. Adastra navrhla inovatívny prístup priameho nahrávania dát z Informix do SQL Servera, ktorý umožňoval neštandardné paralelné načítanie stoviek tabuliek s využitím škálovania. Spolu so zákazníkom sme uskutočnili množstvo testov, ktoré potvrdili prednosti navrhnutého riešenia.

Dôležitým aspektom pri implementácii nového DWH/BI riešenie bolo zabezpečenie biznis kontinuity. Zvolili sme stratégiu nahradenia normalizovanej L1 vrstvy 1 : 1 vzhľadom k pôvodnému DWH s tým, že dochádzalo k optimalizáciám častí transformáciou. Vznikol klon L1 vrstvy dátového skladu (na technológii Microsoft SQL Server 2016/17), pod ktorým sme paralelne budovali stage vrstvu L0 a vyvíjali vrstvu L2 a datamarty. Zároveň prebiehala unifikácia postupov pre Kooperativu a ČPP, vrátane prípravy na fúziu s PČS.

Samotná technológia by však efektívne a kvalitne vývoj v rámci relatívne veľkého vývojového tímu neumožnila. Pre akceleráciu DWH/ETL vývoja na platforme SQL Servera začal zákazník po dôkladnom vyhodnotení niekoľkých variantov používať Adastra ETL framework – sadu predpripravených šablón, DWH/ETL štandardov a ich premietnutie do plánovania, spúšťania a monitoringu behu ETL. Výrazne sa tak urýchlil a skvalitnil vývoj aj vlastné nasadenie do produkcie.

Projekt začal 10. apríla 2018, úvodné etapy prebiehali formou „fixed time & fixed price“. V septembri 2018 stanovil riadiaci výbor ambiciózny termín dokončenia projektu na 13. 9. 2019, o rok skôr, než sa pôvodne plánovalo. Z dôvodu akcelerácie vývojových prác sa poisťovne s Adastrou dohodli na prechode na agilný prístup riadenia projektu a zostavenie spoločného vývojového tímu. Kooperativa využila skúsenosti Adastry z podobných projektov, pomohla nastaviť projektové riadenie, metodiku vývoja a nasadzovanie do produkcie.

Vďaka ukážkovej spolupráci spoločného tímu sa ambiciózny termín podarilo splniť a pôvodný DWH bol v piatok 13. septembra 2019 13:13 vypnutý. Tým sa podarilo usporiť významné prostriedky na ročnom predplatnom licencií pôvodného DWH. Spoločnosti Kooperativa a ČPP získali zjednotené riešenie DWH a BI na modernej platforme Microsoft SQL s jednotným dátovým modelom. Každá poisťovňa pritom využíva vlastnú inštanciu dátového skladu. Dáta sa aktualizujú denne, aktualizácie čiastkových dát môžu podľa potrieb prebiehať aj niekoľkokrát denne.

Nad rámec primárnych cieľov projektu (náhrada DWH 1 : 1) sa podarilo naplniť rad aktivít vytvárajúcich pre poisťovne cennú pridanú hodnotu. Ide napr. o rozšírenie dátového skladu o bilančné zostavy a účtovníctvo, zjednotenie väčšiny predtým samostatných reportov Kooperativy a ČPP alebo vznik jednotnej sémantickej (interpretačnej) vrstvy pre každú z firiem. To umožnilo náhradu viac ako 200 exportov rôznym útvarom, ktoré si nad dátami vytvárali vlastné výstupy. Namiesto spracovania dát sa tak môžu útvary venovať operatívnej a analytickej činnosti.

Ihneď po dokončení náhrady dátového skladu sme spoločne zahájili plánovanie ďalšieho rozvoja nového DWH i celej oblasti BI oboch spoločností. Na žiadosť zákazníka sme napr. dodatočne doplnili riešenie o ďalšie štandardné komponent Adastry – Web Upload Utility – umožňujúcu komfortné a auditovateľné načítanie dátových súborov rôznych formátov (XLS, CSV ap.) do DWH. Čaká nás napr. dokončenie „dátovej“ fúzie Kooperativy s PČS, vyriešenie požiadaviek IFRS 17 atď.