Ako získať dáta v Power BI? (Část 1)

K týmto zdrojom môžeme pristúpiť niekoľkými spôsobmi:

• Importovaním dát (Import Data / Scheduled Refresh)
• pomocou DirectQuery
• Dynamickým pripojením (Live Connection)

Importovanie dát je pre Power BI defaultným spôsobom prístupu k dátam. Dáta zo zdroja sú načítané priamo do pamäte, ktorá je následne využívaná pre spracovanie dotazov. Pre načítanie aktuálnych dát je potrebné vždy dáta obnoviť.

Výhodou tohto prístupu je:

• plná Power BI funkcionalita v oblasti dátových transformácii, modelovania a využívania jazyka DAX
• podpora špecifických funkcionalít v Power BI Službe (Q&A, Quick Insight, atď.)
• rýchlosť dotazov, keďže dáta sú už načítané v pamäti najjednoduchšia
• cesta prístupu k dátam z viacerých zdrojov v jednom modeli

Obmedzením tohto prístupu je povolená veľkosť modelu (1GB pre Power BI PRO, 10 GB pre Power BI Premium licenciu) a povolený počet automatických obnovení dát (8x denne pre Power BI PRO a 48x denne pre Power BI Premium licenciu). Je však potrebné zdôrazniť, že dáta sú importované v komprimovanej podobe, takže veľkosť výsledného datasetu je menšia oproti veľkosti vstupných dát.

Pri zakúpení Power BI Premium licencie je možnosť sprístupniť funkcionalitu (nie je nastavená defaultne)  s názvom Large Dataset Storage Format a využívať tak dataset väčší než 10GB v Power BI Službe (obmedzením je v tomto prípade zakúpená veľkosť pamäte, pre Power BI Premium per Capacity P5 plán je to až 400 GB,  alebo maximum nastavené administrátorom). V tomto prípade je stále povolený limit na publikovanie dátového modelu z Power BI Desktopu do Power BI Služby 10 GB, ale následne v službe samotnej môže model rásť nad túto hodnotu pomocou obnovenia dát. V praxi je tak možné v desktope nastaviť parameter, ktorý vyfiltruje len časť dát (napríklad za kratšie časové obdobie) a po publikovaní tento parameter zmeniť, aby sa načítali všetky dáta. Nastavenie Large Dataset Storage Format je odporúčané sprístupniť aj v prípade využívania XMLA zápisu, pre zlepšenie výkonu reportu.

Power BI Premium per Capacity licencia tiež umožňuje prekročiť limit 48 obnovení dát za deň využívaním Power Automate alebo PowerShell.  Viac si u tejto možnosti povieme v nadväzujúcom článku Ako získať dáta v Power BI (Časť 2), v časti Plánované obnovenie dát.

Špecifickým zdrojom dát sú manuálne zadané údaje. Proces zadávania údajov je rovnaký, ako v prípade Microsoft Excel (ručne alebo kopírovanie do buniek), s limitom 3000 buniek v tabuľke. Dáta sú tak súčasťou datasetu a ich správanie je rovnaké,  ako u importovaných dát.

DirectQuery je alternatívnym prístupom k dátam. Power BI ukladá v modeli iba metadáta (vzťahy medzi tabuľkami, názvy tabuliek, atď.), nie dáta samotné. Aktuálne dáta sú načítané pri každej akcii zo strany užívateľa.

Výhodou tohto prístupu je:

• dataset obsahujúci len metadáta sa vyhne problému s povolenou veľkosťou dátového modelu
• nie je potrebné nastavenie plánovaného obnovenia dát

Obmedzením tohto spôsobu pripojenia je dostupnosť len pre niektoré zdroje  a limitovaná funkcionalita Power BI (nemožnosť vytvárania kalkulovaných tabuliek, obmedzené množstvo využiteľných príkazov v DAX, atď.). Zároveň je tento spôsob prístupu pomalší než v prípade Importovania dát. Obmedzením tiež môže byť maximálny počet dotazov do zdroja za sekundu, ktorý vychádza zo zakúpenej licencie (10 pre Power BI PRO, v prípade Power BI Premium per Capacity je to od 30 pre plán P1 po 480 pre plán P5). Napriek spomínaným nevýhodám je DirectQuery využiteľný v prípade, keď je dataset príliš veľký alebo v prípade, keď je nutné poskytovať takmer real-time dáta.

Dynamické pripojenie je podobne, ako DirectQuery, možným spôsobom pripojenia k dátam, ktorý ale podporuje len niektoré zdroje. Rovnako ukladá v pamäti iba metadáta, nie dáta samotné.

• dataset obsahujúci len metadáta sa vyhne potencionálnemu problému s povolenou veľkosťou dátového modelu
• nie je potrebné nastavenie plánovaného obnovenia dát
• rýchlejší ako DirectQuery, ale pomalší ako Importovanie dát

Obmedzením je, že všetky aktivity v oblasti modelovania sú vykonávané na strane dátového zdroja a Power BI slúži len na vizualizáciu dát. Nie sú tak dostupné žiadne transformácie a príkazy v DAX sú ukladané len na úrovni reportov a nie je ich možné uložiť priamo do datasetu (takže sa medzi reportami pripojenými na rovnaký dataset nezdieľajú). Dynamické pripojenie tiež neumožňuje pripojiť viac než jeden zdroj do cieľového datasetu.

Kompozitný model a režimy úložiska

V tomto okamihu vám môže napadnúť otázka, či je možné kombinovať DirectQuery s Importovaním dát, prípadne využiť DirectQuery pripojenie do dvoch rozdielnych zdrojov v rámci jedného datasetu. Poďme sa preto pozrieť, čo znamená Kompozitný model (Composite Model) a režimy úložiska pre tabuľky v datasete a dataset samotný.

Kompozitný model je odpoveďou na predchádzajúcu otázku. Označujú sa takto modeli, ktoré kombinujú buď dve alebo viac DirectQuery do rozdielnych zdrojov alebo v ktorých je časť zdrojov prístupná cez Importovanie dát a iná časť zdrojov je dostupná cez DirectQuery. Pre pripojenie veľkých tabuliek sa používa DirectQuery, aby sa znížila veľkosť modelu, kým pre menšie tabuľky sa použije Importovanie dát, čím sa zlepší výkon, keďže Power BI sa dotazuje do pamäte a nie priamo na zdroj.

Každá tabuľka modelu je uložená v režime úložiska (Storage Mode), ktorý indikuje, či je pripojená pomocou Importovania dát alebo DirectQuery. Pre kompozitný model existuje tretia možnosť – Duálny mód. V Duálnom móde sú uložené tabuľky, ktoré sa správajú ako Importované alebo DirectQuery v závislosti na ich vzťahu k iným tabuľkám v modeli. Tabuľky uložené v Duálnom móde majú tie isté limity ako tabuľky pre ktoré bolo použité DirectQuery (obmedzené transformácie, obmedzené využitie jazyka DAX). Nastavenie Režimu úložiska pre jednotlivé tabuľky je možné zmeniť v Power BI Desktope. Tabuľka pripojená cez DirectQuery môže byť zmenená na Duálnu, prípadne aj na Importovanie dát (zmena na Importovanie dát je nevratná). Pre tabuľky, ktoré boli importované nie je možné zmeniť režim úložiska.