Integrace dat
Vše na jednom místě. Sjednocená data z různých datových zdrojů, včetně veřejných zdrojů a databází. Při dodržení Data Governance, bezpečnosti dat a GDPR.
Benefity datových integrací
Integrace dat je klíčová pro optimalizaci procesů a zajištění jednotného a konsistentního pohledu na data. Umožňuje efektivní rozhodování a strategické plánování.
Díky integraci dat se minimalizuje redundance a nesoulad mezi různými systémy, což vede ke zvýšení produktivity, snížení chyb a zlepšení celkového výkonu organizace.
Pokročilá datová analytika
Datové integrace umožňují propojení relevantních dat, jejich transformaci a lepší náhled na data jako celek.
Poskytují neomezené možnosti pro pokročilou datovou analytiku.
Datová kvalita
Datové integrace přinášejí standardizaci, čistění, obohacování a validaci.
Zlepšujeme datovou kvalitu a dodáváme spolehlivé a přehledné reporty pro koncové uživatele.
Data Governance
V rámci datových integrací standardizujeme i metadata, centralizujeme je na jednom místě.
Zajišťujeme ucelenou Data Governance.
Bezpečnost
Dbáme na bezpečnost již při ukládání dat (aby nedošlo k přístupu k datům neautorizované osoby) i při jejich zprostředkování v rámci platformy.
Zajistíme bezpečnost ve všech prostředích, vrstvách, pro všechny uživatelské role dle firemní Data Governance.
Automatizovaná orchestrace dat
Pro pravidelný a plynulý provoz aplikujeme automatizovanou orchestraci.
Integrační workflows zůstávají stále stejná dle definovaných pravidel. Získáváme přehled nad všemi procesy a výkonem (performance) z administrátorského pohledu.
Anonymizace dat
Díky pokročilým nástrojům umíme integrovaná data maskovat.
Anonymizace podle potřeb organizace/oddělení. Anonymizaci dat umíme řešit již při samotném přenosu integrovaných dat a zároveň i v kterékoliv vrstvě cílového uložiště.
Klasifikace dat
U každého datového zdroje řešíme klasifikaci dat, již od nejnižší úrovně, což v praxi znamená, že různé datasety z jednoho datového zdroje mohou mít různou klasifikaci
Vytváříme různá prostředí, na která mají přístup pouze oprávnění uživatelé.
Technologie pro integrace dat
Tyto technologie zajišťují, že data se správně přenášejí, transformují a sdílí mezi různými platformami. Díky nim organizace dosahuje lepší spolupráce, efektivního rozhodování a zvýšení konkurenceschopnosti.
Nejčastěji zajišťujeme data z následujících zdrojů:
- Veřejné zdroje
- Databázové systémy
- File-based
- Cloud storage
Pořízení dat:
- přenášíme data ze zdrojového do cílového uložiště např. prostřednictvím Adoki, Spark, Kafka…
- data umíme pořizovat pomocí batch/micro batch/real-time přístupů
Zpracování dat:
- zpracování dat obstarávají tzv. integrační workflows
- ta automatizujeme pomocí orchestračních nástrojů, např. Airflow
Správa metadat:
- Obecný popis dat
-
klasifikaci dat (interní, veřejná, důvěrná, tajná)
-
vlastníka a technické kontakty (vývojáře integrace, popř. datového analytika)
-
- Popis datasetů
-
názvy a komentáře tabulek a sloupců, datové typy a další technické závislosti (názvy datových zdrojů a jejich propojení s cílovým uložištěm apod.)
-
- Navazující CI/CD pipeliny
-
automatizovaně vytvářejí datová workflows. Po vytvoření workflow je celý proces automatizovaný a akvizice dat probíhá automaticky v definovaný čas, případně při indikaci nových dat
-
Průběh datových integrací
V rámci datových integrací analyzujeme zdrojová data a požadovaný výstup. Zároveň zpracováváme a doplňujeme metadata, s jejichž pomocí se následně provádí samotná datová integrace. Integrovaná data obvykle putují do několika vrstev, přičemž v každé vrstvě mohou plnit jiný účel a mít jinou podobu.
1. vrstva – Landing
- data se zde uchovávají ve stejném formátu, ve kterém přišla
- slouží pro kontrolu, zda při přenosu dat nedošlo k poškození
- oprávnění: pouze administrátoři a vývojář integrace
2. vrstva – Optimized
- probíhají zde úvodní transformace dat a jejich přetypování na cílové datové typy dle metadat
- oprávnění: kromě administrátorů a vývojářů integrace také vybraní koncoví uživatelé, aby mohli ověřovat správnost dat již na druhé vrstvě
Finální vrstva – Data mart
- data jsou připravena a očištěna k datovým analýzám, reportingu a strojovému učení
- umožňuje propojení více data setů do jednoho data martu dle uživatelských potřeb
- před touto vrstvou se může navíc nacházet jedna či několik vrstev, ve kterých probíhají například agregace a deduplikace dat, pokud to daná úloha vyžaduje
- oprávnění: další uživatelé, kteří chtějí odebírat a reportovat finální data
Speciální prostředí – Group & Personal workspace
- jedná se o testovací/osobní prostředí pro jednotlivce anebo pro konkrétní tým/projekt
- kompletně oddělené od standardních prostředí vzhledem k oprávnění a vývojové podpoře
Naše případové studie
Finální migrace klientů Equa banky do Raiffeisenbank proběhla za 12 hodin
Při fúzi Equa banky s Raiffeisenbankou jsme v listopadu 2022 zajišťovali migrace klientských dat Equa banky do CRM systému Raiffeisenbank a propagaci klientských master dat do core systémů banky.
ŠKODA AUTO: datové přenosy na analytické platformě komplexně řídí a monitoruje nástroj Adoki od Adastry
Adastra ve ŠKODA AUTO vybudovala v letech 2018-19 on-premise Datovou analytickou platformu (DAP) pro vizualizaci dat a realizaci sofistikovaných úloh pokročilé analytiky a umělé inteligence,...
Poskytovatel internetu – platformu pro big data s kapacitou 3 PB jsme vybudovali za 3 měsíce
Významnému českému poskytovateli internetu jsme postavili big data platformu na ukládání provozních síťových dat. Cílem bylo dodat řešení, které není vázáno na konkrétního výrobce...
Bankovnictví – data na jediném místě, přenášíme 4 TB dat denně
V bance jsme vytvořili big data platformu, která byznys uživatelům poskytuje streamovaná a batchová data z různých bankovních aplikací. Aby byla dávková data na...
Inspirujte se na našem blogu
Tržby skupiny Adastra poprvé překročily hranici 5 miliard Kč
Tržby skupiny Adastra dosáhly v roce 2022 výše 5,6 miliard Kč. Poprvé v historii firmy tak překonaly pětimiliardovou hranici, což představuje meziroční růst o 29 %....
Adastra strategickým partnerem Škoda Auto Vysoké školy. Její specialisté budou vyučovat data management, data science i AI
Adastra se stává dlouhodobým strategickým partnerem Škoda Auto Vysoké školy. Bude spolupracovat na výuce studentů v oblasti data management, data science a artificial intelligence...
Top 8 trendů v data managementu pro rok 2023 a do budoucna
Digitální prostředí se vyvíjí nebývalým tempem a s ním přichází i nové výzvy a příležitosti pro IT odborníky, vedoucí datových oddělení a finanční ředitele....
Rádi se s vámi nezávazně potkáme
