Čína spustila naprieč 40 mestami 2 000 kilometrov dlhý AI „superpočítač“

Čínsky FNTF nie je sci-fi – je to deterministická sieť ako NVIDIA NVLink, len v národnom meradle. Rozmýšľal som o správnom pochopení techniky princípov a koncepcií čínskej Future Network Test Facility (FNTF), ktorá vytvára distribuovanú výpočtovú sieť medzi výpočtovými systémami na trase dlhej cez 2 000 km (55 000 km optických trás cez 40 miest), ktorá by fungovala takmer ako jeden obrovský "deterministický komunikačný superpočítač" (deterministická komunikačná sieť je sieť, v ktorej sú oneskorenia a správanie prenosov predvídateľné a garantované namiesto náhodných alebo len štatisticky očakávaných). Deterministický komunikačný superpočítač by potom bol systém distribuovaných výpočtových uzlov (CPU/GPU/FPGA/...) prepojených sieťou, ktorá poskytuje garantované, predvídateľné a plánovateľné komunikačné služby tak, že celá distribuovaná infraštruktúra pôsobí ako jeden koherentný superpočítač. Pre predstavu, bežná sieť je ako mesto s premávkou riadenou semaformi a zmenami, časy príchodov sú variabilné. Deterministický komunikačný superpočítač by bol potom ako vlaková sieť s pevnými odchodmi a trasami — každý vagón (dátový tok) má rezervovaný čas a koľaj, takže celý systém funguje synchronizovane.

Vieme, že deterministická komunikačná sieť v FNTF zaručuje predvídateľné oneskorenie, minimálnu stratu paketov a vyhradenú šírku pásma, podobne ako presný vlakový rozvrh, kde každý dátový balík dorazí včas. Je to asi málo uveriteľné, na prvý pohľad, avšak podobnú koncepciu s princípmi používa aj technológia NVIDIA NVLink.

Predstavte si FNTF ako čínsky "vlakový hyperloop" pre dáta – NVLink je tunel v garáži. Samozrejme, "realisticky povedané", FNTF nie je ako NVIDIA NVLink, ktorý je vysokorýchlostným priamym prepojením GPU v jednom racku alebo datacentre (až 1,8 TB/s Obojsmerne). FNTF je rozprestrená optická sieť na kilometrickej vzdialenosti pre distribuované centrá, zameraná na "testovanie" sietí s nízkou latenciou (5G/6G, AI tréning). Takže NVLink optimalizuje lokálne GPU komunikáciu, avšak FNTF globálnu koordináciu cez determinizmu. Ak vykonáme "hĺbkovú/detailnú analýzu" technológií, tak vlastne odhalíme zarážajúci fakt — (Q1) NVLink optimalizuje lokálne GPU komunikáciu tiež cez nejaký determinizmus, a (Q2) FNTF globálnu koordináciu komunikácie vyslovene cez determinizmu. Rozdiel v koncepcii by bol potom len v tom, že NVLink a FNTF dosahujú determinizmus odlišnými spôsobmi trasovania dát, prispôsobenými ich škálam: NVLink cez lokálne point-to-point a mesh routovanie v racku, FNTF cez rezervované WAN cesty s časovým plánovaním.

Takže máme technickou analýzou "NVLink Trasovanie (Q1)" a "NVLink Trasovanie (Q2)". Potom si vieme jednoducho vysvetliť, že NVLink trasovanie funguje ako systém pre priame diaľkové diaľnice medzi GPU v jednom racku, kde dáta letia bez semaforov a križovatiek. To by ale znamenalo, že máme k dispozícii už veľmi hlboký analytický vhľad do koncepcie. "NVLink Trasovanie (Q1) – Priame spojenia" je ako "Nvidia lokálny NVLink". "FNTF Trasovanie (Q2) – Plánované sloty" je ako "Nvidia globálny NVLink". Posuňme sa takto ešte trochu viac, a pozrime sa na "Nvidia lokálny NVLink" a "Nvidia globálny NVLink". Tak teda, NVLink má dve hlavné varianty: lokálny (originálny NVLink) pre rack/datacenter a globálny (NVLink over Fabric/NVLink Fusion) pre väčšie vzdialenosti cez InfiniBand/Ethernet.

Prvým prirovnaním sa jedná o lokálny NVLink – priame tunely v racku. Predstavme si to ako súkromné diaľnice medzi GPU v jednom serveri alebo racku: každé GPU má 12–18 priamych "pruhov" (liniek) po 100 GB/s (až 18 liniek po 50–100 GB/s v NVLink 4/5 – aktuálne generácie H100/B200 dosahujú 1,8 TB/s Obojsmerne celkovo, nie na link), spojených point-to-point bez semaforov či switchov na najkratších trasách. Dáta letia fixnou cestou (0 hopov/skokov), s hardvérovou korekciou chýb, bez čakania v rade – ideálne pre rýchle all-reduce operácie v tréningu AI, kde milisekundy rozhodujú. V technológii NVIDIA NVLink sa "skok" vzťahuje na fyzický alebo logický segment sieťovej cesty, ktorým musia dáta prejsť, aby sa mohli preniesť medzi dvoma grafickými procesormi alebo medzi grafickou procesorovou jednotkou a procesorom (CPU). V podstate každý skok predstavuje zastávku alebo bod, kde sa dáta spracúvajú na smerovanie pred presunom do ďalšieho cieľa. Ak by som bol vývojár, tak by som takto začal emulovať opísaný systém v NS-3 (open-source sieťový simulátor Network Simulator 3, široko používaný na výskum a vývoj sieťových protokolov a architektúr) ako plne prepojený graf s nulovým jitterom (variabilita v oneskorení paketov medzi dvoma bodmi v sieti), a testoval na 8 virtuálnych GPU s CUDA mockupom (zjednodušená simulovaná alebo náhradná implementácia časti systému, ktorá reprodukuje jeho správanie bez úplnej funkčnosti originálu).

NS-3 emulačný príklad (NVLink: <1μs jitter, FNTF: 72TB za 0,6s) s konkrétnym snippet kódom:
NS-3 lokálny NVLink:
PointToPointHelper p2p; p2p.SetDeviceAttribute("DataRate", StringValue("100Gbps"));
p2p.Install(nodes); // 0 jitter, full-mesh GPU

​Druhým prirovnaním sa jedná o globálny NVLink – rozšírené siete cez sály. Toto je "NVLink na diaľku" cez NVSwitch/NVLink Fusion, kde sa pripoja stovky GPU cez InfiniBand (až 800 Gb/s) alebo Ethernet v jednom datacentri (globálny NVLink cez InfiniBand NDR 400/800 Gb/s je skôr NVLink Switch System pre multi-rack, nie Fusion, pretože to je pre CPU-GPU; Fusion je skôr pre Grace CPU-GPU), s jedným hopom cez switch fabric. Funguje to potom ako inteligentná diaľnica s centrálnym dispečingom – dáta sa routujú najkratšou cestou, ale stále s nízkou latenciou (mikrosekundy) vďaka proprietárnemu protokolu a RDMA-over-NVLink. Pre FNTF analógiu by sme mohli povedať, že funguje podobne ako globálny, ale na kilometeroch s TSN plánovaním namiesto NVSwitchu (FNTF je WAN TSN, nie priamo ekvivalent) – emuloval by som to ako vývojár v Mininet-e s RDMA a time-sync pre WAN škálu.
​
Takže, NVLink/NVSwitch poskytuje deterministické, nízkolatenčné, vysokopriepustné spojenia v racku — lokálny prípad deterministickej siete. Kdežto FNTF rozširuje princípy na WAN/národnú úroveň (škálu): centralizované plánovanie, synchronizáciu času a rezerváciu šírky pásma naprieč optickými cestami a prvkami sieťovej štruktúry, takže distribuované systémy fungujú ako jeden koordinovaný superpočítač. Technológia: Lokálny NVLink ↔ FNTF. Analógia: Tunel v racku ↔ Národné vlaky. Hopov/skokov: 0 ↔ Časové sloty. Emulátor: NS-3 ↔ OMNeT++.

FNTF núti takto "Západ" k vývoju "WAN-NVLink" hybridov – Čína síce vedie v distribuovanom AI, ale open-source emulácie ako NS-3 (Mininet) umožnia zrejme vývojárom dobehnúť "stratený náskok".