Smerovač pre využívanie AI stráži firmám cenu každého tokenu

 

Kľúčové zistenia:

• Smerovač posiela každú úlohu najlacnejšiemu modelu, ktorý ju dokáže zvládnuť.

• EY ročne investuje do AI viac než 1 miliardu USD a prevádzkuje približne 1 000 agentov.

• Väčšina oslovených lídrov sa obáva nákladov na tokeny, no mnohé firmy ich stále dôsledne nemerajú.

Poradenská spoločnosť EY vytvorila „AI router“, ktorý priraďuje úlohy rôznym modelom podľa ich náročnosti a ceny. Jednoduché požiadavky posiela lacnejším systémom a drahšie, výkonnejšie modely rezervuje pre zložitejšie problémy. Cieľom je obmedziť účet za tokeny bez zjavného zníženia kvality výstupu. Riešenie reaguje na rastúce náklady firemných nástrojov založených na umelej inteligencii.

EY má dôvod sledovať spotrebu podrobne, pretože do AI investuje viac než 1 miliardu USD ročne pričom prevádzkuje približne 1 000 agentov. Tržby firmy z poradenstva súvisiaceho s AI vzrástli približne o 30 %. Hoci cena jedného tokenu s lacnejšími modelmi klesá, celkové podnikové účty za AI sa strojnásobili.

Agentské nástroje totiž vykonávajú množstvo nadväzujúcich krokov a spotrebujú viac tokenov než jedna požiadavka v četovacom rozhraní. Lacnejší jednotlivý token preto automaticky neznamená nižší celkový účet. Prieskum EY AI Pulse medzi 534 americkými top manažérmi ukázal, že 82 % z nich sa obáva nákladov spojených so spotrebou tokenov.

Spomedzi respondentov používajúcich nástroje účtované podľa tokenov až 98 % uviedlo, že náklady ich prinútili prehodnotiť stratégiu. Aktívne sledovanie spotreby spolu s rozpočtovými obmedzeniami však používa iba 64 % opýtaných firiem. Približne tretina sa tak míňa na AI bez jasného mechanizmu kontroly.

Po období, keď firmy podporovali čo najširšie využívanie AI, začínajú spoločnosti zavádzať rozpočty a pravidlá. Smerovač má ku každej úlohe vybrať najlacnejší model, ktorý ju ešte dokáže splniť. Kontrola nákladov sa tak stáva súčasťou produktu, nielen interným účtovným opatrením.

PREČO JE TO DÔLEŽITÉ: Firmy už neposudzujú iba schopnosti AI, ale aj cenu konkrétnej úlohy a udržateľnosť jej prevádzky vo veľkom rozsahu.

Zdroj: thenextweb.com foto: ChatGPT