ML v Pythone 10 – trénovanie neurónovej siete, príprava

Námetom tohto a budúceho dielu je vytvorenie a natrénovanie vlastnej neurónovej siete. Natrénujeme ju na väčšom objeme textu v prirodzenom jazyku, v našom prípade na jednej, alebo viacerých knihách. Následne túto neurónovú sieť použijeme na generovanie textu krátkej poviedky. Zadáte prvých päť slov a algoritmus bude generovať ďalšie slová poviedky.

Jedna kniha je samozrejme na natrénovanie neurónovej siete, ktorá má generovať texty veľmi málo. Reálne neurónové siete tohto typu sú trénované na obrovskom objeme textov napríklad z tisícov, alebo skôr stoviek tisícov slov. Určite si položíte otázku, prečo aj my v sprievodnom príklade k tejto kapitole nenatrénujeme neurónovú sieť aspoň na desiatkach kníh. Pochopíte, keď spustíte trénovanie. Aj s využitím výpočtových možností moderných grafických kariet, ktoré realizujú výpočty mnohonásobne rýchlejšie než procesory to bude trvať pomerne dlho. Ak máte výkonnú grafickú kartu, prípadne dosť trpezlivosti môžete skúsiť vytvoriť trénovaciu množinu spojením slov z viacerých kníh, či iných textov.

Môžete použiť online prostredie Google Colaboratory, alebo príklad vyskúšať v lokálnom prostredí Jupyter Notebook. Ktorý je súčasťou platformy Anaconda. V online prostredí Google Colab môžete na urýchlenie výpočtov využiť GPU a NVIDIA Cuda aj v prípade ak na lokálnom počítači nemáte nainštalovanú kompatibilnú karu NVIDIA.  GPU tento typ výpočtov zvládne mnohonásobne rýchlejšie ako procesor.

Natrénovanie neurónovej siete na texte knihy obsahujúcej 90 370 slov vo virtuálnom prostredí Google Colaboratory s nastaveným runtime prostredím T4 GPU s desiatimi iteráciami trvalo 78 minút. Na PC s grafickou kartou NVIDIA GeForce RTX 4060 rovnaká úloha trvala 79 minút, takže GPU vo virtuálnom prostredí Google Colab má takmer identický výkon s grafickou kartou RTX 4060.

V prípade ak použijete Google Colaboratory potrebujete nakopírovať všetky texty z ktorých sa neurónová sieť bude učiť na Disk Google. Ak využijete Jupyter Notebook na lokálnom počítači súbory nakopírujte do jeho pracovného adresára. V obidvoch prípadoch odporúčame vytvoriť pre tieto materiály zložku.

Princíp

Bez ohľadu na objem textu na ktorom budeme neurónovú sieť trénovať, bude potrebné text najskôr vyčistiť od nealfanumerických a grafických znakov a transformovať na postupnosť slov.  V našom príklade sme na natrénovanie použili knihu Rivers of Babylon od Petra Pišťanka, ktorá je charakteristická mierne „gangsterským“ štýlom jazyka. Uvidíme či sa to prejaví aj na vygenerovanom texte mini poviedky. Najskôr krátka ukážka textu, prvý odstavec z knihy

Ráno sa kotolník zobúdza s takou nenávisťou v duši, že mu ani jesť nechutí. Vylihuje na drevenej lavici, škrabe si svrbiacu kožu, napnutú na vysadených rebrách, a tupo sa obzerá. Neskúša premýšľať nad zdrojom tejto nenávisti. Kotolňa je temná, so zájdenými a obitými stenami. Vychladnuté kotly sa rysujú v tme. Preháňa sa v nich vietor.

Z textu vytvoríme zoznam slov. Pri tejto transformácii zároveň zmiznú bodky čiarky, pomlčky, otázniky výkričníky, úvodzovky...  takže zostanú len slová. Následne vytvoríme trénovaciu množinu tak, aby sme neurónovej sieti mohli dávať informácie po dávkach. V našom prípade bude veľkosť dávky 5 slov. Trénovaciu množinu teda potrebujeme usporiadať do n-tíc tak, aby vždy päť slov tvorilo vstupy, pričom ku každej pätici bude ako výstup priradené slovo, ktoré za päticou nasleduje. Inak povedané, existuje určitá pravdepodobnosť, že za piatimi slovami zo vstupov by v generovanom texte malo nasledovať príslušné slovo, Prípadne za štyrmi slovami zo vstupov a piatym slovom iným. V ďalšej n-tici bude posun o jedno slovo. Najlepšie to pochopíte na príklade z nášho textu

Príprava údajom na trénovanie neurónovej siete

Najskôr načítame knihu, alebo knihy, na ktorých sa bude neurónová sieť učiť. Pre jednoduchosť bude kniha v textovom súbore s príponou txt. Nie je problém načítať ani knihu vo formáte PDF, stačí nainštalovať a importovať knižnicu PyPDF2. V našom príklade sme na natrénovanie použili knihu Rivers of Babylon od Petra Pišťanka, ktorú máme na Google disku v súbore Rivers of Babylon.txt. Vy samozrejme môžete použiť akúkoľvek knihu, ktorú máte k dispozícii. Príkaz na výpis textu je v komentári, je to predsa len dlhý text. Štatistiky vo Worde ukazujú že text knihy má 175 strán A4 a obsahuje 90 366 slov. Skôr než začnete, odporúčame v prostredí Google Colaboratory nastaviť runtime prostredie na T4 GPU. 

Variant pre spustenie na lokálnom PC v prostredí Jupyter notebook.

Pred spustením Jupyter Noteboooku je potrebné v konzolovej aplikácii nainštalovať knižnicu nltk, prípadne aj platformu PyTorch a podporu NVIDIA CUDA ak ju ešte nemáte nainštalovanú

pip install nltk

V prvom kroku potrebujeme knihu premeniť na zoznam slov a vynechať nealfanumerické znaky a zoskupenia znakov. Na tento účel využijeme knižnicu Natural Language Toolkit (ntlk), konkrétne funkciu word_tokenize()

nechali sme si vypísať prvých 30 slov a aj v takomto výpise vidíme, že sa v zozname slov nachádzajú aj bodky, čiarky a podobne. Preto potrebujeme zoznam slov vyčistiť od neabecedných znakov. Reťazec neabecedných znakov získame z knižnice string ako string.punctuation.

!"#$%&\'()*+,-./:;<=>?@[\\]^_`{|}~

Neabecedné znaky vymažeme a vytvoríme nový zoznam slov do ktorého uložíme len slová skladajúce sa z písmen. Funkcia len() poskytne zoznam unikátnych slov, čiže vytvoríme slovník.

V našom prípade máme 90 374 slov, čo sa takmer zhoduje s údajom zo štatistiky Wordu, pričom slovník je tvorený 19 679 unikátnymi slovami

V nasledujúcom kroku je potrebné previesť textové reťazce na číselné hodnoty, pretože neurónové siete nepracujú s prirodzeným jazykom, ale s „jazykom matematiky“. To je zároveň aj odpoveď na prípadnú otázku, či záleží na tom v akom jazyku sú texty na trénovanie. Nezáleží, jedinou podmienkou je aby s jazyky nemiešali, napríklad slovenčina s češtinou. Pri trénovaní neurónovej siete nás zaujíma len to ako zvyknú slová po sebe nasledovať.

Pomocou funkcie enumerate() slová z našej dátovej množiny očíslujeme. Pre názornosť si to najskôr ukážeme na sekvencii niekoľko málo slov, pričom v sekvencii sú úmyselne aj duplicitné slová. Premenné v tomto vysvetľujúcom mini príklade majú predponu temp_ a v príklade s trénovaním neurónovej siete nebudú použité

Z 15-tich slov je 8 unikátnych, ktoré tvoria slovník. Pomocou funkcie enumerate() slová v slovníku očíslujeme

Teraz náš text „Ráno sa kotolník zobudí potom sa kotolník naje ráno sa aj umyje potom sa ustrojí“ reprezentovaný postupnosťou slov zmeníme na postupnosť čísel.

[7, 8, 4, 1, 3, 8, 4, 0, 7, 8, 2, 5, 3, 8, 6]

Kde 7 = ráno, 8 = sa, 4 = kotolník....  Index konkrétneho slova môžeme zistiť príkazom

V trénovacej množine budú slová za sebou usporiadané ako pätica vstupov a jeden výstup, pričom v každej ďalšej n-tici budú o jedno posunuté. V našom ilustračnom príklade

Vráťme sa však k textu z knihy. Zrealizujeme na ňom rovnaké úpravy – vytvorenie slovníka a transformáciu slov na čísla Vypíšeme len prvých 10 čísel

Definujeme štruktúru našich tréningových údajov. Budú to n-tice, pričom prvých päť slov bude zoznam vstupov a šiesty prvok oddelený od vstupov bude cieľ. Aby sme nepreťažili našu neurónovú sieť budeme jej údaje predkladať po dávkach piatich slov ako vstupov. Neurónová sieť sa na základe piatich za sebou idúcich slov snaží uhádnuť šieste slovo. Počet n-tíc, ktoré takto vytvoríme bude počet_slov mínus dávka, pretože posledných 5 slov z textu knihy už nemáme čím doplniť

Vytvoríme množinu údajov na trénovanie neurónovej siete. Vypíšeme len prvých 10 skupín slov

Trénovacia množina má ako vstupy pätice za sebou idúcich slov (technicky ich indexov), zakaždým o jeden index posunuté.

Trénovaciu množinu máme pripravenú v pokračovaní ukážeme ako neurónovú sieť vytvoriť a natrénovať.

Rekapitulácia doterajších dielov

Strojové učenie v Pythone 1 – prostredie Google Colab

Strojové učenie v Pythone 2 – knižnica Pandas na prácu s údajmi

ML v Pythone 3 – export a import údajov vo formáte CSV a Excel

Strojové učenie v Pythone 4 – práca s údajmi

ML v Pythone 5 – vizualizácia údajov pomocou grafov

ML v Pythone 6 – animované grafy a ich export ako video

ML v Pythone 7 – Využitie grafickej karty NVIDIA na výpočtovo náročné úlohy

ML v Pythone 8 – príklad rozpoznávanie obrazu

ML v Pythone 9 – trénovanie neurónu