AI v zariadení verzus AI v cloude

Moderné smartfóny majú čoraz viac pokročilých funkcií využívajúcich umelú inteligenciu. Funkcie na báze AI, ktoré sú k dispozícii, sa najčastejšie využívajú na úpravu fotiek a videí, spracovanie textu a preklad v reálnom čase. Smartfóny využívajú AI aj interne, napríklad na optimalizáciu spotreby, zaistenie čo najplynulejšieho zobrazovania, elimináciu hluku okolia pri hovoroch a podobne. 

Funkcie na báze AI sa môžu vykonávať lokálne priamo v smartfóne alebo v cloude čiže na vzdialených serveroch. Vtedy sa smartfón využíva len na vytvorenie zadania a zobrazenie výstupu. To, ktoré funkcie sa vykonávajú priamo na zariadení, závisí od výkonu zariadenia, typu úlohy, potreby súkromia, rýchlosti reakcie a dostupnosti internetu. Čoraz viac funkcií AI využíva hybridný prístup. Jednoduché úlohy AI bežia lokálne, zložitejšie sa presúvajú do cloudu.

AI v zariadení  - lokálne sa úlohy AI vykonávajú priamo v čipovej súprave smartfónu, buď sa pri tom využije procesor, grafický procesor GPU, neurónový procesor NPU, alebo iný špecializovaný čip. Všetky dáta ostávajú spracované v smartfóne bez nutnosti ich posielania na vzdialené servery.

Scenáre použitia

• Rozpoznávanie hlasu
• Tvárová biometria
• Prediktívne písanie na klávesnici
• Asistenčné služby (Siri, Google Asistent) pre základné príkazy
• Rozpoznávanie obrazu, zlepšovanie fotografií v reálnom čase (zaostrovanie, úprava expozície, portrétová hĺbka, HDR)
• Rozpoznávanie objektov v galérii
• Online preklad hovoru alebo rozhovoru
• Dynamická optimalizácia výkonu a spo­treby

Výhody:

• Rýchla reakcia (nižšia latencia)
• Úlohy AI fungujú aj bez pripojenia na internet
• Súkromie – údaje neopúšťajú zariadenie

Nevýhody:

• Obmedzený výpočtový výkon a pamäť
• Modely musia byť menšie a optimalizované
• Rýchlejšie vybíjanie batérie

AI funkcie v cloude - smartfón odošle dáta tvoriace zadanie na server, kde sa spracujú výkonným modelom AI, vykoná sa analýza a/alebo generovanie a výsledok sa vráti na smartfón. Príkladom môže byť model s 12,4 miliardami parametrov na zlepšenie teleobjektívov, ktorý pracuje v cloude, alebo pokročilé funkcie obnovy starých portrétov využívajúce cloudové platformy.

Zdroj: Qualcomm

Scenáre použitia

• Preklad textu cez fotoaparát (Google Lens...)
• Asistenčné služby (Siri, Google Asistent) pre zložitejšie otázky
• Zálohovanie fotiek podľa kategórií (tváre, miesta...)
• Generovanie obrázkov a videí
• Komplexné úpravy fotografií

Výhody:

• Využíva výkonné servery, umožňujúce beh väčších a presnejších modelov
• Menej náročné na hardvér zariadenia
• Neustále aktualizácie modelu

Nevýhody:

• Závislosť od pripojenia na internet
• Vyššia latencia (oneskorenie)
• Potenciálne riziko úniku súkromných dát

Neurónové koprocesory NPU

NPU (Neural Processing Unit) čiže neurónová procesorová jednotka je špecializovaná časť čipovej súpravy určená na zrýchlenie výpočtov súvisiacich s AI a strojovým učením priamo v zariadení. Sú optimalizované pre špecifickú skupinu výpočtov, ktoré sú typické pre neurónové siete a hlboké učenie.

NPU umožňuje efektívnejšie spracovanie úloh, ako je rozpoznávanie objektov na fotografiách, detekcia tvárí, analýza hlasu, preklad v reálnom čase či interpretácia gest a pohybov. Kľúčová výhoda je, že tieto operácie prebiehajú priamo na zariadení, čo nielen zrýchľuje reakcie systému a znižuje oneskorenia, ale zároveň zvyšuje úroveň ochrany súkromia používateľa – citlivé dáta nemusia opustiť smartfón a byť spracúvané v cloude.

NPU zaberá na ploche čipu približne polovicu priestoru ako CPU, no na špecifické úlohy, predovšetkým analytické algoritmy na báze neurónových sietí, je NPU viac než 25× rýchlejší, a čo je pri smartfónoch veľmi dôležité, spotrebuje len zlomok energie, ako by na rovnakú úlohu potreboval CPU, typicky 2 – 10 %. Vplyv NPU a AI vo všeobecnosti znamená v praxi nárast výkonu približne o 12 %, pri scenároch, kde má AI vyšší podiel, je nárast podstatne vyšší.

Medzi typické aplikácie využívajúce NPU patrí:

• Pokročilé fotografovanie – zlepšovanie záberov, odhad scény, úpravy expozície, rozmazanie pozadia alebo zvýraznenie detailov pomocou algoritmov AI prebiehajúcich v reálnom čase
• Rozpoznávanie hlasu a spracovanie jazyka – systémy hlasových asistentov, diktovanie textu, preklad rozhovorov či identifikácia príkazov bez oneskorenia a potreby internetového pripojenia
• Bezpečnostné funkcie – odomykanie zariadenia tvárou, detekcia podvodného správania, analýza správania používateľa a biometrická autentifikácia
• Optimalizácia výkonu a spotreby – predikcia používania aplikácií, prispôsobenie nastavení systému podľa zvyklostí používateľa, dynamické riadenie spo­treby energie a výkonu na základe ak­tuálnych potrieb
• Rozšírená a virtuálna realita – sledovanie pohybu, rozpoznávanie gest a priestorová orientácia v aplikáciách na rozšírenú realitu prebiehajú s minimálnym oneskorením

Moderné NPU sú väčšinou navrhnuté tak, aby boli flexibilné a podporovali rôzne AI frameworky, vďaka čomu sú pripravené aj na budúce inovácie v oblasti umelej inteligencie. No kým sa nezavedú štandardy podpory AI priamo v operačnom systéme, bude možnosti hard­vérovej akcelerácie AI využívať hlavne používateľská nadstavba a integrované aplikácie. Typický príklad je aplikácia Fotoaparát. Napriek tomu, že vývojári majú alebo budú mať k dispozícii API pre umelú inteligenciu, musia riešiť dilemu, či tvoriť aplikácie len pre konkrétne zariadenia, alebo všeobecne použiteľné aplikácie. Vývojári preto začnú vo svojich aplikáciách intenzívne využívať NPU vtedy, keď sa viac výrobcov dohodne na nejakom štandarde. Našťastie nemáme na mysli výrobcov smartfónov, ale čipových súprav, predovšetkým Qualcomm a MediaTek. Ideálna situácia nastane vtedy, ak budú koprocesory NPU štandardizované na úrovni architektúry ARM. 

Aplikácie generatívnej AI (Gemini, ChatGPT...) v smartfónoch

Podobne ako pri prístupe cez webové rozhranie aj aplikácie využívajúce modely generatívnej AI v cloude dokážu viesť prirodzené konverzácie, odpovedať na otázky, pomáhať s tvorbou textov, riešiť problémy alebo ponúkať nápady, pričom ich používateľské rozhranie je optimalizované pre mobilné zariadenia.

Tieto aplikácie ponúkajú široké možnosti využitia. Môžu slúžiť ako osobný asistent, ktorý pomáha s plánovaním úloh a udalostí, nastavovaním pripomienok v spolupráci s inými aplikáciami či tvorbou nákupných zoznamov. Uľahčujú aj učenie a pracovné povinnosti. Model AI dokáže vysvetliť zložité témy, ako je matematika, história alebo veda, pomáhať pri písaní esejí, e-mailov a referátov, preklade textov či ich korigovaní. Je aj užitočným tvorivým nástrojom, keďže generuje nápady na články, príbehy alebo podnikateľské plány, pomôže s tvorbou scenárov, básní či piesní a podporuje brainstorming dizajnov, produktov alebo marketingových kampaní.

Pri cestovaní a komunikácii ponúka rýchle preklady a užitočné frázy v cudzích jazykoch, odporučí reštaurácie, atrakcie alebo hotely a pomôže vytvoriť cestovný itinerár. Pre programátorov a technicky zameraných používateľov vie ChatGPT pomôcť s riešením chýb v kóde, vysvetliť algoritmy či pripraviť šablóny a skripty. V bežnom živote aj vo chvíľach oddychu oceníte návrhy receptov podľa dostupných surovín, tvorbu zoznamov kníh, filmov či hier na základe vašich preferencií a aj vtipy, hádanky alebo zaujímavosti na voľný čas.

Aplikácie tohto typu sú k dispozícii jednak zadarmo s obmedzenou funkcionalitou a takisto ako platené verzie s rozšírenou funkcionalitou. Platené aplikácie využívajú novšie, pokročilejšie modely LLM, majú implementovanú históriu používania či prispôsobenie odpovedí vašim potrebám, zvykom či štýlu. Nové modely v platených aplikáciách podporujú aj rozpoznávanie obrázkov, generovanie vizuálov a, samozrejme, aj hlasové ovládanie.

 Gemini dokáže vytvoriť kód interaktívnej hry

Podpora slovenčiny

Náš jazyk nepatrí k majoritným, preto lokalizácie niektorých funkcií do slovenčiny často nie sú k dispozícii hneď, ale objavia sa až neskôr v niektorej aktualizácii. Týka sa to hlavne funkcií na prácu s textom alebo s hlasom. Naproti tomu funkcie na prácu s obrazom či videom sú univerzálne bez ohľadu na jazyk. Nie je to len o jazyku, ale často aj o geografických regiónoch či konkrétnej krajine. Niektoré služby sú spočiatku dostupné len v niektorých krajinách, najčastejšie v USA. Dôvody môžu byť legislatívne, prípadne si firma chce niektoré funkcie vyskúšať lokálne, kým ich „pustí“ na globálny trh.

 

Zobrazit Galériu