Business Intelligence a datová virtualizace

Manažerské shrnutí

Základem Byznys Inteligence jsou kvalitní data. Firmy do reportingu a analýzy dat investují spousty prostředků, aby mohly lépe optimalizovat firemní procesy, hledat nové příležitosti, minimalizovat rizika a obecně zvyšovat výkonnost. Kdo má v konkurenčním boji rychleji důležité informace, může i rychleji reagovat a získat konkurenční výhodu.

Postupem času se vyvinula řada variant Business Intelligence přístupů a architektur, které mají za cíl stejnou věc: dodat cílovému uživateli spolehlivé informace. Nejčastější je architektura postavená kolem datového skladu. Firemní data jsou na pravidelné, většinou denní, bázi importována do relační databáze (datového skladu), ze kterého se pak generují reporty a provádějí analýzy. Tato architektura, jako každá jiná, má své výhody a nevýhody. Jako výhody je možné uvést konsolidovaná očištěná data z různých systémů v jednom uživatelsky přívětivém modelu, historizaci nebo zabezpečení dat.

Nevýhodou datových skladů je ale často časová a finanční náročnost rozšiřování o nová data a obecně implementace jakýchkoliv změn. Z obchodního hlediska potřebuje firma velmi rychle reagovat. Změní se situace na trhu, je potřeba se jí přizpůsobit nebo využít náhlou novou příležitost. „Data driven“ firma bude pro kvalifikované rozhodnutí chtít využít maximum informací. Přidání nové oblasti dat do datového skladu je ale většinou otázkou týdnů, v řadě korporací spíše měsíců, což je v turbulentní době zoufale pomalé.

Datové sklady jsou také většinou stavěny pro denní zpracování dat. V noci, kdy je v datovém skladu a ve firemních aplikacích nejmenší provoz, se data automatizovanými procesy přenesou do datového skladu, očistí a připraví pro uživatele. To je dobrý přístup, dokud data kvůli rychlosti reakce nepotřebujeme zpracovávat už v momentu jejich změny. Na to klasický datový sklad nedokáže reagovat, integraci dat v reálném čase většinou řeší jiné nástroje jako real-time ODS, což je ale další prvek architektury vyžadující vysoké investice do vývoje i náklady na provoz.

Na trhu již řadu let existují nástroje, které nám mohou pomoct výše zmíněné nedostatky odstranit, ale teprve poslední dobou, díky čím dál většímu tlaku na rychlost a flexibilitu získávají více na popularitě. Jsou to nástroje pro datovou virtualizaci (v angličtině se můžete setkat i s pojmem data federation). Ve virtualizačních nástrojích tvoříme imaginární (virtuální) datový model. Zdrojová data zůstávají ve zdrojových systémech a nikam se nekopírují. Pomocí virtuálního modelu se pouze propojí a nabídnou cílovému uživateli. Uveďme jako příklad CRM systém s tabulkou zákazníků a účetní systém. Oba systémy pracují nezávisle a nevědí o sobě. Ve virtualizačním nástroji tyto aplikace, respektive data z těchto aplikací, propojíme a uživateli poskytneme konsolidovaný pohled na účetnictví přes zákazníky ze CRM, jako kdyby všechna data byla v jednom systému. Zároveň data můžeme očistit a upravit pro lepší vizuální zobrazení. Protože se přes tento virtuální model díváme přímo do zdrojových dat, nedochází ke zpoždění informace. Díváme se na reálná data přímo ze zdrojů.

Vývoj pohledů nebo také modelů je velice rychlý. Doslova na pár kliknutí jsme schopni vytvořit byznysový pohled na novou oblast dat a propojit ji s ostatními daty v datovém skladu, data laku, ODS nebo kdekoliv jinde. Potřebujeme datovou oblast upravit a přidat další informaci? Není problém. Prostě jen do výsledného modelu přetáhneme ze zdroje nový sloupec. Nevyhovuje nám tento model a chceme nový? Také není problém. Virtuálních modelů si můžeme vytvořit libovolné množství.

Velká výhoda spočívá v tom, že data nemusíme nikam fyzicky přenášet, vyvíjet složité ETL procedury a řešit dopady změn. Tento přístup má ale i své nevýhody. Neřeší historizaci dat ani náročné transformace. Připojení virtualizačního nástroje přímo do databází zdrojových aplikací také nese jistá rizika, ale o tom si můžete přečíst ve více technicky zaměřené části tohoto článku.

Co když tedy potřebujete sledovat historická data, očištěná a transformovaná v datovém skladu, ale zároveň byste je chtěli moct rychle propojit s jakýmikoliv daty ve vašich systémech? Případně k některým aplikacím můžete přistupovat přímo a u některých byste mohli ohrozit jejich fungování? Nebo chcete propojit data z datového skladu, data laku, ODS, interního systému a externího zdroje?  Zdrojem pro datovou virtualizaci může být téměř cokoliv. Od textových souborů až po výkonné analytické databáze. Datový sklad s historickými daty tak může být jeden ze zdrojů datové virtualizace a virtualizační nástroj vám spojí historická data s aktuálními daty ze zdrojových aplikací. Takových scénářů může být celá řada, záleží pouze na potřebách koncového uživatele.

Pokud Vás datová virtualizace zaujala a chtěli byste si přečíst, jak to celé funguje, můžete pokračovat na technickou část článku.

Virtualizační server má většinou tři logické vrstvy. Není to vždy nutné, ale je to model osvědčený praxí. Každá logická vrstva hraje v celém řešení svojí roli.

Přidanou hodnotou virtualizačních nástrojů je například data lineage, které nám poskytuje informace o mapování cílových atributů na zdrojové atributy. To nám samozřejmě velmi pomůže při dopadových analýzách, kdy dochází k technickým změnám na objektech datového zdroje. Dále může datová virtualizace sloužit jako integrační článek při migraci dat z on-premise prostředí do cloudu. Mnoho virtualizačních nástrojů má integrovaný datový katalog pro lepší vyhledávání informací, byznys pojmů a podobně. Některé nástroje mají přímou integraci s BI nástroji (například Denodo -> Tableau). Virtualizační nástroje mohou řešit bezpečnost dat. Row level security tedy nemusíme řešit na databázové úrovni na každém zdroji zvlášť, ale vyřešíme jí na jednom místě. A to se nebavíme o zdrojích, kde bezpečnost vůbec implementovat nejde. Většina nástrojů podporuje nejpoužívanější metody autentikace, jako jsou Native, LDAP/Active Directory, Kerberos, Windosws SSO, Oauth 2.0, SAML, SPNEGO. V rámci autorizace jsou podporovány role, integrace s LDAP user groups, různé přístupy na funkce uvnitř aplikace – metadata, execute, insert, create datasource, zabezpečení na různých datových levelech - schema, view, sloupec, řádek, dynamicky se měnící bezpečnost a další...