Nový datový sklad v Kooperativě a ČPP za 17 měsíců při zachování byznys kontinuity

Datový sklad postavený před 10 lety, který využívaly obě pojišťovny, přestal postupně vyhovovat nárokům byznysových útvarů pojišťoven. Nahrávání dat do DWH ze zdrojových systémů trvalo skoro dva dny, probíhalo obvykle o víkendu s nutností načítání hlídat a v případě chyby zasáhnout. Aktualizace dat v datovém skladu proto probíhala s týdenní frekvencí, většina útvarů tak neměla úplně aktuální informace. Mnozí pracovníci řešili svoje reportingové potřeby nestandardními postupy, mimo jiné vytvářením reportů přímo z různých kopií zdrojových systémů, nad kterými si budovali vlastní „datasklady“. Významným motivem byly i rostoucí náklady na provoz a údržbu stávající technologie.

Vedení pojišťoven proto začala uvažovat o vybudování zcela nového robustního DWH, který by jim poskytl i možnost využívat moderní BI nástroje. Současně požadovala, aby použité technologie a architektura řešení umožnily dynamický rozvoj DWH a BI v obou společnostech s ohledem na rostoucí požadavky útvarů, a to po dobu nejméně 10 let. Zohledňovala přitom už i plánovanou fúzi Kooperativy s Pojišťovnou České spořitelny (PČS) k 1. 1. 2019.

Pojišťovny přistoupily k projektu zodpovědně a před jeho zahájením ověřily ve spolupráci s Adastrou významné části a postupy budoucího řešení formou PoC (Proof-of-Concept).

V prvním kroku došlo k podstatnému zkrácení ETL transformací náhradou full loadů inkrementálním načítáním dat. Současně bylo třeba zajistit rychlé načítání dat z Informixu (databáze hlavních zdrojových systémů) do SQL Serveru. Adastra navrhla inovativní přístup přímého nahrávání dat z Informixu do SQL Serveru, který umožňoval nestandardní paralelní načítání stovek tabulek s využitím škálování. Spolu se zákazníkem jsme provedli řadu testů, které potvrdily přednosti navrženého řešení.

Důležitým aspektem při implementaci nového DWH/BI řešení bylo zajištění business kontinuity. Zvolili jsme strategii nahrazení normalizované L1 vrstvy 1:1 vzhledem k původnímu DWH s tím, že docházelo k optimalizacím části transformací. Vznikl klon L1 vrstvy datového skladu (na technologii Microsoft SQL Server 2016/17), pod níž jsme paralelně budovali stage vrstvu L0 a vyvíjeli vrstvu L2 a datamarty. Zároveň probíhala unifikace postupů pro Kooperativu a ČPP, včetně přípravy na fúzi s PČS.

Sama technologie by ovšem efektivní a kvalitní vývoj v rámci relativně velkého vývojového týmu neumožnila. Pro akceleraci DWH/ETL vývoje na platformě SQL Serveru začal zákazník po důkladném vyhodnocení několika variant používat Adastra ETL framework – sadu předpřipravených šablon, DWH/ETL standardů a jejich promítnutí do plánování, spouštění a monitoringu běhu ETL. Výrazně se tak urychlil a zkvalitnil vývoj i vlastní nasazení do produkce.

Projekt byl zahájen 10. dubna 2018, úvodní etapy probíhaly formou „Fixed Time & Fixed Price“. V září 2018 stanovil řídící výbor ambiciózní termín dokončení projektu na 13. 9. 2019, o rok dříve, než se původně plánovalo. Z důvodu akcelerace vývojových prací se pojišťovny s Adastrou domluvily na přechodu na agilní přístup řízení projektu a sestavení společného vývojového týmu. Kooperativa využila zkušeností Adastry z podobných projektů, pomohla nastavit projektové řízení, metodiku vývoje a nasazování do produkce.

Díky příkladné spolupráci společného týmu se ambiciózní termín podařilo splnit a původní DWH byl v pátek 13. září 2019 ve 13:13 vypnut. Tím se podařilo uspořit významné prostředky na ročním předplatném za licence původního DWH. Společnosti Kooperativa a ČPP získaly sjednocené řešení DWH a BI na moderní platformě Microsoft SQL s jednotným datovým modelem. Každá pojišťovna přitom využívá vlastní instanci datového skladu. Data se aktualizují denně, aktualizace dílčích dat mohou dle potřeb probíhat i několikrát denně.

Nad rámec primárních cílů projektu (náhrada DWH 1:1) se podařilo naplnit řadu aktivit vytvářejících pro pojišťovny cennou přidanou hodnotu. Jedná se např. o rozšíření datového skladu o bilanční sestavy a účetnictví, sjednocení většiny dříve samostatných reportů Kooperativy a ČPP nebo vznik jednotné sémantické (interpretační) vrstvy pro každou z firem. To umožnilo náhradu více než 200 exportů různým útvarům, které si nad daty vytvářely vlastní výstupy. Místo zpracování dat se tak mohou útvary věnovat operativní a analytické činnosti.

Ihned po dokončení náhrady datového skladu jsme společně zahájili plánování dalšího rozvoje nového DWH i celé oblasti BI obou společností. Na žádost zákazníka jsme např. dodatečně doplnili řešení o další standardní komponentu Adastry – Web Upload Utility – umožňující komfortní a auditovatelné načítání datových souborů různých formátů (xls, csv apod.) do DWH. Čeká nás např. dokončení „datové“ fúze Kooperativy s PČS, vyřešení požadavků IFRS 17 atd.