Integrujeme data z mnoha typů datových zdrojů se zohledněním Data Governance
Integrujeme data z různých datových zdrojů za účelem jejich sjednocení, propojení, zprostředkování a reportingu. Při integracích dbáme na Data Governance a anonymizaci dat, na která se vztahuje např. GDPR nebo interní politika organizace.
Veřejné zdroje
Databázové systémy
File-based
Cloud storage
Datové integrace umožňují propojení relevantních dat, jejich transformaci a lepší náhled na data jako celek
Neomezené možnosti pro pokročilou datovou analytiku
Datové integrace přinášejí standardizaci, čistění, obohacování a validaci
Zlepšujeme datovou kvalitu a dodáváme spolehlivé a přehledné reporty pro koncové uživatele
V rámci datových integrací standardizujeme i metadata, centralizujeme je na jednom místě
Zajišťujeme ucelenou Data Governance
Díky pokročilým nástrojům umíme integrovaná data maskovat
Anonymizace podle potřeb organizace/oddělení. Anonymizaci dat umíme řešit již při samotném přenosu integrovaných dat a zároveň i v kterékoliv vrstvě cílového uložiště
Dbáme na bezpečnost již při ukládání dat (aby nedošlo k přístupu k datům neautorizované osoby) i při jejich zprostředkování v rámci platformy
Zajistíme bezpečnost ve všech prostředích, vrstvách, pro všechny uživatelské role dle firemní Data Governance
U každého datového zdroje řešíme klasifikaci dat, již od nejnižší úrovně, což v praxi znamená, že různé datasety z jednoho datového zdroje mohou mít různou klasifikaci
Vytváříme různá prostředí, na která mají přístup pouze oprávnění uživatelé
Pro pravidelný a plynulý provoz aplikujeme automatizovanou orchestraci
Integrační workflows zůstávají stále stejná dle definovaných pravidel. Získáváme přehled nad všemi procesy a výkonem (performance) z administrátorského pohledu
V rámci datových integrací analyzujeme zdrojová data a požadovaný výstup. Zároveň zpracováváme a doplňujeme metadata, s jejichž pomocí se následně provádí samotná datová integrace.
Integrovaná data obvykle putují do několika vrstev, přičemž v každé vrstvě mohou plnit jiný účel a mít jinou podobu.
Finální vrstva - Data mart
• data jsou připravena a očištěna k datovým analýzám, reportingu a strojovému učení
• umožňuje propojení více data setů do jednoho data martu dle uživatelských potřeb
• před touto vrstvou se může navíc nacházet jedna či několik vrstev, ve kterých probíhají například agregace a deduplikace dat, pokud to daná úloha vyžaduje
• oprávnění: další uživatelé, kteří chtějí odebírat a reportovat finální data
Speciální prostředí - Group & Personal workspace
• jedná se o testovací/osobní prostředí pro jednotlivce anebo pro konkrétní tým/projekt
• kompletně oddělené od standardních prostředí vzhledem k oprávnění a vývojové podpoře
2. vrstva - Optimized
• probíhají zde úvodní transformace dat a jejich přetypování na cílové datové typy dle metadat
• oprávnění: kromě administrátorů a vývojářů integrace také vybraní koncoví uživatelé, aby mohli ověřovat správnost dat již na druhé vrstvě
1. vrstva - Landing
• data se zde uchovávají ve stejném formátu, ve kterém přišla
• slouží pro kontrolu, zda při přenosu dat nedošlo k poškození
• oprávnění: pouze administrátoři a vývojář integrace
(GitHub, GitLab, Azure DevOps...)
(SQL databáze, NoSQL databáze)
Velká automobilce jsme umožnili efektivně pracovat se senzorickými (IoT) daty z výroby. Současně jsme odlehčili zátěž a zavedli retenci dat ve zdrojovém systému.
Automobilka dosáhla požadované úspory místa/kapacity ve zdrojovém výrobním systému, snížila se zátěž na systém a byla zavedena retence dat na 12 měsíců.
Ve velké společnosti působící v automobilovém průmyslu jsme zlepšili datovou kvalitu zákaznických dat, integrovali jsme jednotlivé CRM moduly do jednotného datového řešení a navíc jsme ho obohatili o data z veřejných rejstříků.
V celém řešení jsme kladli důraz na anonymizaci citlivých dat, přičemž některá data se anonymizují již při samotném pořízení dat.
Díky integraci dat přímo ze zdrojového systému JIRA připravujeme pro velkou automobilku podrobný přehled o stavu projektů, veškerých jejich podúloh a timesheetů.
S přestihem varujeme odpovědné osoby u zákazníka na nadcházející rizika a potenciální komplikace, protože dokážeme rizikové oblasti odhalovat včas.
Díky automatizovanému nahrávání dat z veřejných rejstříků jsme u velké výrobní společnosti odstranili chybovost, kterou způsobovalo volné, manuální zadávaní dat o adresách firem a jejich vedoucích pracovnících.
V co nejbližší době se vám ozveme.
