ŠKODA AUTO: datové přenosy na analytické platformě komplexně řídí a monitoruje nástroj Adoki od Adastry

Platforma nachází ve ŠKODA AUTO uplatnění v oblasti Výroby a logistiky, Kontroly kvality, na Marketingu, Technickém vývoji nebo v oddělení Garance, které využívá řešení chytrého skórování garančních požadavků určených k fakturaci.

Platforma dále umožňuje například vyhodnocovat loajalitu zákazníků, predikovat jejich chování, odhadovat jejich potřeby a tomu přizpůsobovat nabídku produktů a služeb.

Podle Jiřího Bočka, product ownera Datové analytické platformy, se potenciál skrývá především v kombinování dat z různých oddělení a hledání vazeb mezi jednotlivými ukazateli.

Zájem o její využívání s potřebou zpracovávat data postupně roste, a to jak v rámci ŠKODA AUTO, tak i v rámci koncernu Volkswagen Group. Dnes se už jedná o platformu hybridní, využívající ŠKODA Datové centrum v Mladé Boleslavi a cloud. 

Platforma nachází ve ŠKODA AUTO uplatnění v oblasti Výroby a logistiky, Kontroly kvality, na Marketingu, Technickém vývoji nebo v oddělení Garance, které využívá řešení chytrého skórování garančních požadavků určených k fakturaci.

Platforma dále umožňuje například vyhodnocovat loajalitu zákazníků, predikovat jejich chování, odhadovat jejich potřeby a tomu přizpůsobovat nabídku produktů a služeb.

Podle Jiřího Bočka, product ownera Datové analytické platformy, se potenciál skrývá především v kombinování dat z různých oddělení a hledání vazeb mezi jednotlivými ukazateli.

Zájem o její využívání s potřebou zpracovávat data postupně roste, a to jak v rámci ŠKODA AUTO, tak i v rámci koncernu Volkswagen Group. Dnes se už jedná o platformu hybridní, využívající ŠKODA Datové centrum v Mladé Boleslavi a cloud. 

Mezi výhody on-premise části patří: 

• velká kapacita (149 TB, což je zhruba 300 disků běžných notebooků),
• rychlost zpracování dat,
• rozmanitost využívaných formátů
• bohatá sada nástrojů pro reporting, analytiku a umělou inteligenci.

Na cloudu zase uživatelé ze ŠKODA AUTO oceňují:

• neomezenou kapacitu pro ukládaná data,
• snadné škálování,
• neustále aktuální nabídku analytických nástrojů,
• dostupnost GPU strojů pro výpočetně náročné operace a další.

S rostoucím zájmem o nahrávání a ukládání dat do této platformy stála ŠKODA AUTO před otázkou, jak řídit datové přenosy z různých systémů firmy na DAP a i zpět, a dále mezi on-premise a cloudovou částí DAP. Situace před nasazením nástroje Adoki vyžadovala zapojení celého týmu specialistů a neposkytovala plný uživatelský servis.

Nastavení přenosů se např. dalo realizovat pouze ručně, každý přenos bylo třeba nově nakonfigurovat a parametrizovat, chybělo zasílání notifikací o ukončení přenosu. Doprogramování nových funkcionalit by sice bylo možné, ale finančně nákladné. Právě proto ŠKODA AUTO přistoupila k implementaci nástroje Adoki, který centrálně řídí a monitoruje přenosy dat. Adoki bude cílově využíváno i pro přenosy mezi on-prem a cloud částí DAP.

První velkou úlohou Adoki byla integrace dat z 8 výrobních databází automobilky do DAP. Dnes na ni integruje data z mnoha dalších relačních systémů jako MS-SQL, Oracle, PostgreSQL, SAP HANA, ale i nerelačních systémů jako Jira.

• V  průměru se replikují stovky GB dat za měsíc.
• Jednotlivý přenos se uskuteční do 3 minut.  

K  datovým přenosům zpočátku docházelo 3krát za den, po ukončení výrobních směn, nyní probíhají několikrát denně, ad-hoc, podle potřeb a požadavků byznysu.

• Transfery probíhají dávkově: menší tabulky se nahrávají celé, velké transakční tabulky pak inkrementálně.
• DAP a Adoki slouží v případě výrobních dat i k  archivačním účelům.

V rámci iniciačního plnění, kdy se na DAP nahrávala historická data (u některých tabulek už z roku 2016), se Adoki muselo vypořádat s násobně vyššími datovými objemy. Jednotlivé přenosy přesto netrvaly déle než 5  minut. Po přenosu dat z primárních systémů a kontrole, že celý proces kompletně proběhl, mohou datoví specialisté data ze zdrojových systémů bez obav smazat a uvolnit jejich kapacitu.

Nástroj ve ŠKODA AUTO spravuje jediný specialista a řídí datové přenosy do stovek cílových tabulek. Náklady na zavedení Adoki byly cenově efektivnější než podpora a další rozvoj aktuálně používaného řešení.

Adoki zrychlilo, standardizovalo a zefektivnilo datové přenosy z klíčových systémů do DAP.

Funguje zcela automatizovaně a bez jakýchkoli omezení – nelimituje počet ani velikost přenášených tabulek a nenutí ŠKODA AUTO přenášet jen vybrané zdroje.

Současně také zajišťuje konzistenci dat a datových struktur ve zdrojovém i cílovém prostředí. 

Všechny datové přenosy spravuje jediný specialista.

Adoki dnes řídí datové přenosy do více než 200 cílových tabulek.

Aktuální počet produkčních denních přenosů je 250 a nadále roste.

Všechny přenosy dat jsou auditovatelné a monitorované.

Pokud v jejich průběhu dojde k chybě či přerušení, nástroj okamžitě upozorní správce přenosu, který identifikovaný přenos snadno dohledá a spustí znovu.

Všechny datové přenosy, dnes jich je 250 za den, uřídí jediný člověk, a to mj. i proto, že nástroj využívá metadata a parametrizaci.  

Adoki přenáší data rychle, bezpečně, proces přenosu pokrývá end-to-end. Zajišťuje také, že se datové přenosy automaticky optimalizují, aby dosahovaly co největšího výpočetního výkonu a neomezovaly provoz zdrojových databází.

Nástroj je díky propracovanému grafickému rozhraní uživatelsky přívětivý a intuitivní.

I proto proběhlo zaučení specialistů, kteří s nástrojem pracují, v rámci jednoho dne. Po vyškolení konfigurují datové přenosy zcela samostatně, nezávisle na administrátorovi Adoki. Jednodušší přenosy zvládnou uživatelé nastavit do jedné hodiny, ty komplexnější během jednoho dne.