(Ne)bezpečnosť umelej inteligencie / 3. časť

Skôr ako budeme pokračovať v začatej téme týkajúcej sa nebezpečenstiev umelej inteligencie (ďalej len AI), musíme predstaviť niekoľko dôležitých pojmov, ktoré budeme neskôr viackrát spomínať v súvislosti so zabezpečovaním AI nástrojov a aplikácií. Ide najmä o skratky MITRE, ATT&CK a ATLAS. MITRE je korporácia, ATT&CK a ATLAS sú jej vedomostné databázy, ktoré priamo súvisia s kybernetickou bezpečnosťou a navyše s bezpečnosťou, resp. nebezpečnosťou AI. Na jednej strane informujú, resp. varujú pred možnými zraniteľnosťami IT aplikácií, na druhej strane uvádzajú možnosti, aké ponúkajú rôzne nástroje a takisto aj sama AI v oblasti možnej kompromitácie cieľových zariadení.

Obr. 1 MITRE projekt SATIN (SAGE Air Traffic Integration)

MITRE (mitre.org)

Spoločnosť MITRE je dnes vnímaná predovšetkým ako autorita v oblasti kybernetickej bezpečnosti vďaka svojej vedomostnej databáze ATT&CK (Adversarial Tactics, Techniques, and Common Knowledge). Jej korene však siahajú hlboko do obdobia studenej vojny, keď nevznikla ako softvérová firma, ale skôr ako strategický inžiniersky uzol na obranu USA.

V 50. rokoch 20. storočia čelili USA hrozbe sovietskych strategických bombardérov, a preto vznikol ambiciózny plán na vytvorenie celoštátneho automatizovaného systému protivzdušnej obrany, ktorý nazvali SAGE (Semi-Automatic Ground Environment). SAGE mal prepojiť stovky radarov s počítačmi, ktoré by v reálnom čase vyhodnocovali trasu nepriateľa a navádzali stíhačky. Vývoj SAGE sa realizoval na MIT (Massachusetts Institute of Technology), ale projekt sa stal príliš rozsiahlym, a keď prešiel z fázy výskumu do fázy plného nasadenia, MIT ho už kapacitne nedokázal spravovať. Na dokončenie a riadenie inžinierstva systému SAGE bola vytvorená nová nezisková organizácia MITRE (názov vymyslel pôvodný člen predstavenstva James McCormack Jr.). SAGE bol v podstate prvý veľký sieťový počítačový systém na svete. Práve pri jeho budovaní sa inžinieri MITRE naučili, ako fungujú komplexné útoky, sieťová komunikácia a potreba neustáleho monitoringu. K bezpečnosti pristupovali ako k systémovému problému, ktorý vyžaduje hlboké pochopenie techník útočníka.

MITRE ATT&CK (attack.mitre.org)

Databáza, resp. matice (matrices) ATT&CK sú priamym ideovým nástupcom už spomínaného prístupu. Zatiaľ čo v roku 1959 MITRE monitorovala oblohu pred bombardérmi v systéme SAGE, dnes monitoruje digitálny priestor pred hackermi. ATT&CK je celosvetovo uznávaná, voľne dostupná vedomostná databáza, ktorá slúži ako komplexný model správania kybernetických útočníkov. Predstavuje akúsi periodickú tabuľku alebo univerzálny slovník útočných metód, ktorý odborníci používajú na pochopenie, detekciu a simuláciu kybernetických hrozieb. Matice ATT&CK vynikajú tromi základnými aspektmi, ktoré z nich urobili priemyselný štandard:

1. Zameranie na správanie – na rozdiel od tradičných zoznamov škodlivého softvéru alebo IP adries ATT&CK mapuje Taktiky, Techniky a Postupy (TTPs), teda to, ako útočník premýšľa a čo robí. Pre útočníka je oveľa ťažšie zmeniť svoje naučené postupy než len premenovať súbor alebo zmeniť svoju IP adresu.

2. Hierarchická štruktúra – informácie sú v maticiach usporiadané do prehľadnej logiky:

Taktiky (Tactics)	Strategické ciele útočníka (napr. prieskum/analýza, počiatočný prístup, eskalácia privilégií, zber a exfiltrácia údajov...)
Techniky (Techniques)	Konkrétne spôsoby dosiahnutia cieľa (napr. skenovanie, vykonanie, phishing, hijacking, brute-force hesiel...)
Subtechniky (Sub-techniques)	Detailnejší rozpis techník (napr. analýza PATH, phishing pomocou prílohy alebo odkazu, asynchrónne volanie procedúr...)
Procedúry (Procedures)	Konkrétne implementácie (ako presne daná hackerská skupina použila konkrétnu techniku)

3. Založené na reálnych údajoch – všetko, čo v maticiach nájdeme, nie je teória, ale poznatky získané z reálne pozorovaných útokov. Ku každej technike, resp. subtechnike sú priradené príklady (Procedure Examples), kým a ako bola daná technika/subtechnika preukázateľne použitá.

Matice MITRE ATT&CK možno použiť na kontrolu, či sú vytvorené bezpečnostné nástroje schopné detegovať známe techniky útočníkov. Ponúkajú informácie o útokoch konkrétnych skupín podľa ich reálnych šablón správania. Analytikom umožňujú kategorizovať incidenty a zdieľať informácie v jednotnom jazyku. Pre spoločnosti ponúkajú informácie o oblastiach, ktoré majú pokryté a kde majú „slepé“ miesta, do ktorých ešte musia investovať.

Obr. 2 Matica MITRE ATLAS

MITRE ATLAS (atlas.mitre.org)

ATLAS (Adversarial Threat Landscape for Artificial-Intelligence Systems) je špecializovaná vedomostná databáza, ktorá mapuje útoky a zraniteľnosti zamerané špecificky na systémy AI. Ak je klasický ATT&CK encyklopédiou útokov na bežné počítače a siete, ATLAS je jeho nadstavbou pre svet strojového učenia (ML) a veľké jazykové modely (LLM).

Tradičné hackerské útoky sa zameriavajú na chyby v kóde alebo v sieti. Modely AI však majú úplne nové typy slabín, ktoré klasické matice nepokrývali. ATLAS pomáha bezpečnostným expertom pochopiť, ako môžu útočníci oklamať model, aby poskytol nesprávne výsledky, ale aj ako ukradnúť údaje, na ktorých bola AI trénovaná, resp. ako zneužiť AI aplikáciu na vykonanie škodlivého kódu.

ATLAS opisuje techniky, ktoré sú unikátne pre AI, ako napríklad:

Otrávenie údajov (Data Poisoning)	Útočník podhodí systému zmanipulované tréningové údaje, aby sa model naučil robiť chyby
Odvodzovacie útoky (Inference Attacks)	Snaha útočníka zistiť, či boli pri tréningu modelu použité citlivé/súkromné údaje
Inverzia modelu (Model Inversion)	Technika, pri ktorej útočník spätne rekonštruuje tréningové údaje len na základe odpovedí modelu
Obchádzanie (Adversarial Evasion)	Útočník jemne upraví vstup (napr. pridá neviditeľný šum do obrázka), čo spôsobí, že ho AI zle klasifikuje

Podobne ako ATT&CK aj ATLAS používa formát hierarchických matíc rozdelených na jednotlivé fázy útoku:

1. Prieskum (Reconnaissance) – hľadanie informácií o architektúre modelu

2. Prvotný prístup (Initial Access) – získanie prístupu k rozhraniu modelu (jeho API)

3. Zneužitie modelu (Model Abuse) – samotná manipulácia s modelom AI

4. Únik/ukradnutie, resp. zničenie údajov (Exfiltration/Impact) – ukradnutie, zmanipulovanie alebo zničenie modelu AI a údajov

Matice MITRE ATLAS nie sú len teoretickým zoznamom, ale sú prepojené s reálnymi prípadmi (case-studies), kde sú opísané skutočné útoky na systémy AI, ktoré sa stali v minulosti.

Zobrazit Galériu