Adoki: automatizuje ETL datové přenosy a boří datová sila v korporacích

Jedna velká česká banka denně provádí desetitisíce datových přenosů. Kolik lidí je obsluhuje? Stačí jeden, který všechny přenosy uřídí pomocí jediného nástroje – Adoki.

Společnosti dnes disponují násobně většími objemy dat než před několika lety. A využívají i mnohem více aplikací, systémů, úložišť dat – to vše v on-premise, na cloudu i hybridním prostředí. Je zřejmé, že v tomto komplexním a často i velmi složitém IT ekosystému organizace vzrostly nároky na přenosy dat. Ruční příprava datových přenosů se stala časově i personálně neúnosná, požadavky na automatizované nastavování, řízení i monitoring datových přenosů jsou stále akutnější.

S datovými přenosy máme v Adastře dlouholeté zkušenosti. Vybudovali jsme mnoho datových skladů, analytických a datových platforem, na které jsme museli „dostat“ data.  

Uvědomili jsme si, že bez automatizace to nepůjde. Proto jsme vyvinuli Adoki

Dennodenně se potýkáme se situacemi, kdy velké korporace či organizace státní správy potřebují data pro své obdorné útvary a byznysová oddělení, ale ne vždy je mají lehce dostupná. Souvisí to s větším počtem různých systémů a aplikací, včetně mobilních, které data produkují v různých podobách. Pro jejich lepší využití je nutné je vhodně upravit, tj. transformovat a doručit na místa, kde už je odborná oddělení mohou využívat. Komplexita a složitost transformací je v současných IT ekosystémech enormní, přenos dat v nich musí probíhat hladce, bezpečně a hlavně spolehlivě.

To zajišťují nástroje „extract, transform, load“, zkráceně ETL. Jejich úkolem je odlehčit primárním systémům, tzn. převzít data bez ohledu, kde a v jaké formě se nacházejí, transformovat je do potřebné podoby a nahrát do cílového místa.

Hlavním benefitem ETL nástrojů je ušetření lidských zdrojů v IT odděleních společností

ETL nástroj musí splňovat následující požadavky:

• umět se připojit na potřebné datové zdroje
• umět přenést data efektivně a rychle
• umět provést všechny potřebné úpravy dat
• mít co nejjednodušší konfiguraci datových přenosů
• poskytovat dlouhodobou údržbu datových přenosů

Dnešní ETL nástroje můžeme rozdělit do 2 kategorií:

Adoki se řadí mezi univerzalisty

Propojuje a transformuje data v široké nabídce systémů. Současně přitom uživateli umožnuje automaticky překládat datové typy a volně měnit datové podoby. Datové přenosy vytváří automaticky. Už dávno totiž nejsme v době, kdy se zákazník spokojí s přenosem několika stovek datových objektů, které ještě bylo možné „naklikat“. I když umí i to. Nejvíce Adoki oceníte při prvotním pořízení dat nebo když potřebujete přesné kopie dat v několika destinacích.

Stejně jako konkurenční ETL nástroje Adoki umí:

• přenášet data mezi soubory, databázemi, streamovacími systémy a cloudy
• podporuje základní transformace dat, filtrace sloupců, řádků, parsování nested struktur (json, xml, avro atd.) a podobné operace na úrovni objektu
• podporuje full a inkrementální přenosy
• umožňuje přidávat vlastní moduly zpracování dat
• má širokou podporu systémů – viz. obrázek 

Umí toho ale mnohem víc – aneb co v porovnání s ETL nástroji zvládá Adoki navíc

Adoki je tím nejvhodnějším nástrojem pro realizaci opakujících se přenosů velkých objemů dat, které často probíhají současně nebo jejichž spouštění je kvůli zatížení IT infrastruktury potřeba řídit v čase. Všech jeho vlastností beze zbytku využijete, pokud hledáte nástroj, který

• se dokáže o datové přenosy starat dlouhodobě, bez nutnosti uživatelských zásahů
• podporuje mnoho různých konektorů, dokonce si můžete přidat vlastní konektory
• se opírá o automatickou synchronizaci metadat přenosu a následné nasazování struktur dat, migraci dat a dlouhodobou údržbu
• se umí starat o přenesená data – operace typu kompakce, retence, statistiky, automatické úpravy datových schémat
• významně ulehčuje práci uživatelů – uživatel nemusí nic zadávat, protože Adoki si veškeré potřebné vstupy umí dohledat a přes REST API, které má, všechny datové přenosy s ním lze generovat a obsluhovat automaticky, bez nutnosti uživatelských vstupů
• umí poradit, jak se data mají přenést, a to formou automatických doporučení konverzí datových typů mezi systémy
• přenáší data pravidelně, každou vteřinu, minutu, hodinu, den nebo na požadavek
• hlídá vytížení systémů, ke kterým se připojuje, umí škálovat použité prostředky a výběr objektů k přenosu podle dostupných zdrojů
• může běžet kdekoliv, lze ho spustit na existujícím hardware nebo na cloud prostředí, na rozdíl od jiných ETL nástrojů nevyžaduje konkrétní hardware
• slouží nejen IT týmům, ale i datovým vědcům a byznysovým uživatelům, kteří tvoří datové vrstvy (např. vrstvy pro reporting).

Autor: Marcel Vrobel, Adoki CTO, Adastra