Machine learning pro předpověď dokončení studia

Machine learning (ML) se dá využít v mnoha oblastech. Jedním z našich posledních projektů bylo supervised learning modelování pro předpověď úspěšného dokončení bakalářského nebo magisterského studia na nejmenované univerzitě. Přidaná hodnota tohoto modelu spočívá v celé řadě věcí. Hlavní přínosy zde představují lepší plánování pro univerzitu a lepší pomoc studentům, kteří mají se studiem problémy. Kde všude ML nalezne uplatnění a jakou přidanou hodnotu má model pro predikci dokončení studia, je možné si přečíst v samostatném článku Jak prakticky využít strojové učení v byznysu. Cílem tohoto článku je zjednodušeně čtenáře seznámit s tím, jak takový model vzniká.

Model je programován v jazyce R a příprava takového algoritmu probíhala v poměrně jasně daných krocích. Tyto kroky lze shrnout následovně:

Vytvoření datasetu a explorační analýza

V našem případě jsme vyčlenili historická data o studiích, o kterých jsme již věděli, jak dopadla. Struktura datasetu, na kterém probíhá učení algoritmu, se nesmí změnit při využití modelu pro predikci. Predikce modelu probíhá totiž tak, že se již vytrénovaný a evaluovaný model použije pro zcela nová data. Stejnou strukturu využitou pro učení na historických datech jsme tedy uložili i pro aktuálně nedokončená studia, na kterých bude probíhat predikce.

U struktury dat je nutné podchytit celý ekosystém modelování a komplexity problému. Studia mohou být například v časové nekonzistenci. Co to přesněji znamená? Studia se mohou nacházet v různém časovém rozhraní (studium A se nachází v prvním ročníku bakalářského stupně a studium B v druhém ročníku studia magisterského atd.). Pro tento pohled je nutné ke studiím i takto přistupovat a vytvořit jednotlivé skupiny. Model je tedy nutné postavit tak, aby tuto časovou nekonzistenci reflektoval. Kdybychom měli pouze jeden model, který by predikoval úspěšnost studia pro všechny časové kategorie, došlo by ke zkreslení. Určitě si dokážeme představit různorodost třeba v rámci počtu získaných kreditů za každé studium. Takový algoritmus by nebylo možné využít, protože studium ve třetím ročníku by zákonitě mělo více kreditů než studium v prvním ročníku, a tudíž by tato kategorie neměla žádný vliv na predikci a upřednostňovala by studia, která se na univerzitě nachází déle.

V tomto ohledu jsme přistoupili k rozdělení studií po semestrech. Predikce tedy probíhá za každý semestr odděleně na zvlášť vytvořeném modelu. Podobné dělení dat pro lepší predikce se dále nabízí ještě u typu studia (bakalář, magistr) a fakulty. Takovéto rozdělení dat do menších množin a vytváření jednotlivých modelů je dobré pro snížení variability v datech. Z toho vyplývá, že počet výsledných modelů se pohybuje v jednotkách desítek. Rozdělení množiny dat do správných skupin probíhá v části zvané explorační analýza. Může se využít korelace, k-means algoritmus, PCA nebo další přístupy clusteringu. V našem případě jsme tedy data dělili po semestrech, typu studia a některých fakult, což lze vidět na schématu uvedeném níže.

Náš algoritmus pro predikci úspěšnosti studia je z oblasti ML supervised learning. Supervised learning, neboli učení s učitelem je proces, který definuje modely na ty, které je nutné nejprve učit od modelů, které hledají například pouze souvislosti v datech. Statisticky se náš projekt řadí do klasifikačních přístupů, jelikož chceme predikovat, jestli studium bude dokončeno úspěšně či nikoliv.

Modelování dále probíhá dle standardní metodiky, kdy se data rozdělí na data určená pro trénování algoritmu a data určená pro testování. Bez tohoto kroku bychom nebyli schopni říct, jak dobře náš model dokáže predikovat, a tudíž jak je pro predikce relevantní. Výsledek modelování má být algoritmus zachycující co nejlépe skutečnost. Je tedy nutné podrobit ho testování, abychom si byli jisti výslednou správností. Kdyby se data nedělila, nemohli bychom s jistotou říct jaká je kvalita výstupu pro data, která model nikdy nezpracoval (produkční data). Pro přehled této problematiky je nutné pochopit co znamená underfit a overfit.

Intuice za rozhodovacími stromy spočívá v tom, že pomocí proměnných v datech vytváříme otázky typu ano/ne a soustavu dat neustále rozdělujeme, dokud neizolujeme všechny datové body patřící do každé třídy. Pomocí tohoto procesu organizujeme data do stromové struktury.

Pokaždé, když položíte otázku, přidáme do stromu uzel (node). První uzel se nazývá kořenový uzel (root node). Výsledek položení otázky rozdělí datovou sadu na základě hodnoty prvku a vytvoří nové uzly. Pokud se rozhodneme zastavit proces po rozdělení, poslední vytvořené uzly se nazývají listové uzly (leaf nodes). Pokaždé, když odpovíte na otázku, vytváříte také větve a segmentujete prostor proměnných do nesouvislých oblastí. Jedna větev stromu má všechny datové body odpovídající odpovědi ano na otázku, kterou implikovalo pravidlo v předchozím uzlu. Druhá větev má uzel se zbývajícími datovými body. Tímto způsobem pokračujeme, dokud nám nezbydou žádná data, nebo dokud jsme nevyužili všechny proměnné (tzn. není již žádná nová otázka). Algoritmus se snaží zcela oddělit datové třídy tak, aby všechny koncové uzly (uzly, které data dále nerozdělují) patřily do jedné třídy. Ty se označují jako čisté leaf nodes. Když nejde vytvořit čistou skupinu třídy, snaží se vytvořit skupinu co nejčistší. Dělení do tříd může probíhat na základě několika přístupů, např. tzv. „Gini Impurity of a node“.

K čemu je nám dobré pochopení, jak funguje jeden rozhodovací strom? Je to proto, protože jsme pro vývoj finálního algoritmu využili několik tisíc stromů. Do jednoho modelu jsme takto ukryli kolem 500 - 1000 rozhodovacích stromů. Toto množení stromů má za následek vyšší přesnost modelu, protože můžeme využít tisíce stromů a zprůměrovat jejich výsledky. Při implementaci vícero stromů se používá metoda bagging nebo boosting. Tyto metody zde rozebírat nebudeme, jelikož si zaslouží samostatný článek. Velmi stručně, Boosting je iterativní technika, která upravuje váhu pozorování na základě poslední klasifikace. Bagging implementuje vícero stromů a průměruje jejich predikce. My jsme pro předpověď studia na univerzitě využili algoritmus zvaný Random Forest, který implementuje množinu stromů (les) a automaticky v průběhu trénování bootstrapuje data. Boostrap je statistický přístup, který náhodně vybírá data z množiny a iterativně z nich vystaví strom. Ten dále využije pro predikce a daný strom testuje (v tomto ohledu je algoritmus velice robustní). Tyto stromy jsou obecně málo komplexní, ale výkon takového algoritmu je vysoký. Díky iterativnímu přístupu algoritmus nemá vysokou tendenci overfitovat data.

Pro porovnání všech modelů jsme již vycvičené modely evaluovali metodou ROC křivek (Receiver Operating Characteristic) a hodnotou AUC (Area Under the Curve). Jak bylo zmíněno na začátku, modelů jsme vytvořili hned několik, pro každý semestr typ studia a fakulty zvlášť.

Nasazení modelu na cloud a orchestrace

Dalším krokem je nasazení modelu na cloud. My jsme pro tento krok využili Azure a machine learning studio. Zde je možné vytvoření pipeliny, která využije view z databáze v potřebné struktuře a spustí proces predikce díky využití modelu a výsledky uloží nazpět do databáze.