Slovenský rodák Andrej Karpathy zverejnil open-source návod na vytvorenie vlastnej verzie ChatGPT

Andrej Karpathy, spoluzakladateľ OpenAI, zverejnil projekt, ktorý umožňuje takmer komukoľvek postaviť si vlastného chatbota v štýle ChatGPT, a to za cenu jednej videohry. Jeho nový projekt s názvom nanoCHAT je kompletný, open-source návod na vytvorenie vlastného jazykového modelu od úplných základov.

Na rozdiel od gigantických modelov, ktorých kód je prísne stráženým tajomstvom, nanoCHAT je postavený na filozofii maximálnej jednoduchosti a transparentnosti. Celý jeho kód má len približne 8 000 riadkov, vďaka čomu je ľahko čitateľný, upraviteľný a ideálny na učenie.

Ak by sme ChatGPT prirovnali k obrovskej michelinskej reštaurácii s tajnými receptami, nanoCHAT je kompletná a zrozumiteľná kuchárska kniha, ktorá vám umožní uvariť si jednoduchšie, no stále chutné jedlo vo vlastnej kuchyni. Tento projekt pokrýva celý proces – od trénovania tokenizéra až po nasadenie finálneho webového rozhrania, v ktorom môžete so svojím vlastným modelom komunikovať.  

Kúzlo projektu spočíva v jeho dostupnosti. Karpathy navrhol niekoľko úrovní výkonu v závislosti od dostupného rozpočtu a času. Za približne 100 dolárov a štyri hodiny tréningu na prenajatom cloudovom serveri si môžete vytvoriť základný konverzačný model, ktorý autor s humorom prirovnáva k „rozprávaniu sa so škôlkarom“.

Ak investujete okolo 300 dolárov a dvanásť hodín času, váš model už dokáže prekonať výkon klasického modelu GPT-2. S rozpočtom 1 000 dolárov a približne 42 hodinami tréningu získate koherentnejší model schopný riešiť jednoduché matematické a programátorské úlohy.

Týmto krokom Karpathy priamo spochybňuje trend centralizácie umelej inteligencie v rukách niekoľkých technologických gigantov a dáva nástroje do rúk jednotlivcom, študentom a výskumníkom. Skutočným cieľom nanoCHATu však nie je vytvoriť dokonalú umelú inteligenciu, ale poskytnúť dokonalé pochopenie jej fungovania.

Projekt bude slúžiť ako záverečná práca pre Karpathyho pripravovaný kurz na vysokoškolskej úrovni, LLM101n, čím sa hodnota presúva od kvality odpovedí modelu k vedomostiam, ktoré získa jeho tvorca. Najzaujímavejším detailom celého projektu je však fakt, že Karpathy napísal takmer celý kód ručne.

Zistil, že asistenti pre písanie kódu s umelou inteligenciou mu pri tejto práci nepomáhali, pretože projekt bol príliš inovatívny a „ďaleko od dátovej distribúcie“, na ktorej boli tieto nástroje trénované. Tento postreh od jedného z najväčších expertov v odbore prináša dôležitú lekciu: pre priekopnícku a vysoko optimalizovanú prácu je ľudská kreativita a hlboké porozumenie stále nenahraditeľné.  

Zdroj: analyticsindiamag.com.

^{Zdroj Foto: depositphotos.com.}