ML v Pythone II/1– nové grafické karty NVIDIA SUPER

V novom pokračujeme v seriáli zameranom na deep learning a trénovanie neurónových sietí. Druhú sériu začíname predstavením najnovších grafických kariet NVIDIA. Grafické karty totiž v AI hrajú prím, pretože majú niekoľko tisíc jadier, takže sú optimálne na paralelné výpočty, na príklad násobenie veľkých matíc. Možnosť prevádzkovania generatívnej AI lokálne na vlastnom PC je veľmi lákavá, avšak je potrebné mať zodpovedajúce hardvérové vybavenie.

Generatívna umelá inteligencia je najvýznamnejšou platformovou zmenou v histórii výpočtovej techniky a zmení každé odvetvie, vrátane herného. Viac, než 100 miliónov počítačov a pracovných staníc využívajúcich NVIDIA RTX je masívnou základňou pre vývojárov a hráčov, ktorí si môžu naplno dopriať kúzlo generatívnej AI.

Nová produktová rodina GPU NVIDIA GeForce RTX 40 SUPER v čase predstavenia zahŕňa modely GeForce RTX 4080 SUPER, GeForce RTX 4070 Ti SUPER a GeForce RTX 4070 SUPER. Grafické karty sú optimalizované pre najnovšie hry a tvoria jadro počítačov pre pokusy s umelou inteligenciou. Karty GeForce RTX SUPER podporujú viac ako 500 RTX hier a aplikácií a sú pripravené na vlnu generatívnych AI aplikácií.

Najnovšia generácia grafických procesorov založených na architektúre NVIDIA Ada Lovelace poskytuje až 52 shader TFLOPS, 121 RT TFLOPS a 836 AI TOPS. Hráči požadujú najvyššie možné rozlíšenie a vizuálnu kvalitu. Tú zaručuje technológia NVIDIA Deep Learning Super Sampling (DLSS) na báze AI a rekonštrukcia lúčov v kombinácii s ray tracingom. S DLSS je možné generovať sedem z ôsmich pixelov pomocou AI, čím sa zrýchli ray tracing a je možné dosiahnuť  4x s lepšiu kvalitu obrazu. Špecializované tenzorové jadrá poskytujú až 836 AI TOPS a spolu so softvérovým balíkom umožnia významne zrýchliť AI aplikácie ako je napríklad Adobe Photoshop. NVIDIA Broadcast dokáže lepšie odstrániť hluk okolia a poskytnúť bezproblémové virtuálne pozadie.

NVIDIA TensorRT je softvér pre deep learning. Zahŕňa optimalizátor na trénovanie neurónových sietí a a runtime, ktorý poskytuje nízku latenciu a vysokú priepustnosť. TensorRT-LLM pre Windows je knižnica s otvoreným zdrojovým kódom, ktorá zvyšuje výkon najnovších LLM, čiže veľkých jazykových modelov. GeForce RTX 4080 SUPER umožňuje AI aplikáciám generovať video viac ako 1,5x rýchlejšie a obrázky viac ako 1,7x rýchlejšie ako RTX 3080 Ti.

Nové grafické karty umožnia efektívnejšie využitie generatívnej umelej inteligencie. Ide napríklad o akceleráciu populárneho modelu na generovanie obrazu z textových príkazov Stable Diffusion XL pomocou NVIDIA TensorRT. NVIDIA RTX Remix umožňuje využiť AI pre generovanie textúr. Ďalšími príkladmi sú mikroslužby NVIDIA ACE a ďalšie hry využívajúce technológiu DLSS 3 s generovaním snímok.

 NVIDIA TensorRT-LLM (TRT-LLM) je open-source knižnica urýchľujúca a optimalizujúca výkon inferencie v najnovších veľkých jazykových modeloch (LLM). V najnovšej verzii podporuje viac vopred optimalizovaných modelov pre PC. Chat with RTX, akcelerovaná pomocou TRT-LLM umožňuje AI nadšencom interagovať s ich poznámkami, dokumentmi a ďalším obsahom.

NVIDIA nedávno predstavila NVIDIA AI Workbench, Ide o jednotnú, ľahko použiteľnú sadu nástrojov, ktoré pomáhajú vývojárom rýchlo vytvárať, testovať a prispôsobovať predtrénované generatívne modely AI a LLM pri nárokoch na výkon a operačnú pamäť na úrovni osobných počítačov. AI Workbench bude vydaný v beta verzii ešte tento mesiac a ponúkne zjednodušený prístup k populárnym repozitárom, ako sú Hugging Face, GitHub a NVIDIA NGC. Jednoduchšie bude tiež užívateľské rozhranie, ktoré vývojárom umožňuje jednoduchú reprodukciu a migráciu projektov i spoluprácu na nich.

Projekty je možné škálovať prakticky kamkoľvek, či už sa jedná o do dátové centrum, verejný cloud alebo NVIDIA DGX Cloud. Potom je možné ich preniesť späť do lokálnych RTX systémov na osobnom počítači alebo pracovnej stanici, kde je možné vykonávať menej náročné úpravy.

Mikroslužby NVIDIA ACE, vrátane generatívnou AI poháňaných modelov reči a animácií umožňujú vývojárom pridávať do hier inteligentné, dynamické digitálne avatary.

 Chat s RTX, technology preview bude k dispozícii ešte tento mesiac, umožňuje AI nadšencom ahko prepojiť PC LLM s vlastnými dátami pomocou populárnej techniky známej ako Retrieval-augmented generation (RAG). Demo, akcelerované technológiou TensorRT-LLM, umožňuje používateľom rýchlu interakciu s ich poznámkami, dokumentmi a ďalším obsahom. Bude tiež k dispozícii ako referenčný projekt s otvoreným zdrojovým kódom, takže vývojári budú môcť ľahko implementovať rovnaké funkcie do svojich vlastných aplikácií.

GeForce RTX 4080 SUPER umožňuje hrať najnovšie plne ray-tracované hry v rozlíšení 4K. Bez DLSS Frame Generation Je 1,4x rýchlejšia ako GeForce RTX 3080 Ti. DLSS Frame Generation je RTX 4080 SUPER dvakrát rýchlejšia, než RTX 3080 Ti. RTX 4080 SUPER obsahuje viac jadier a rýchlejšiu pamäť a bude k dispozícii od 31. januára od 999 USD.

RTX 4070 Ti SUPER je ideálna grafická karta na maximálne využitie hier pri vysokých snímkových frekvenciách pri 1440p a až 4K. V porovnaní s RTX 4070 Ti má viac jadier, zvýšenú vyrovnávaciu pamäť snímok na 16 GB a 256-bitovú pamäťovú zbernicu, ktorá poskytuje výrazné zvýšenie šírky pásma pamäte na 672 GB/s. Je 1,6x rýchlejšia ako RTX 3070 Ti a 2,5x s DLSS 3. GeForce RTX 4070 Ti SUPER bude k dispozícii od 24. januára za 799 USD.

RTX 4070 SUPER má o 20 % viac jadier ako RTX 4070, vďaka čomu je rýchlejšia než RTX 3090 pri podstatne nižšej spotrebe. K dispozícii bude od 17. januára za cenu 599 USD.