Nightshade umožňuje „otráviť“ AI poškodenými tréningovými údajmi
Odkedy sa ChatGPT takmer pred rokom objavil na scéne, éra generatívnej umelej inteligencie sa rozbehla na plné obrátky, ale stúpol aj počet jej odporcov. Viacerí umelci, zabávači, interpreti a dokonca aj nahrávacie spoločnosti podali žaloby proti firmám zaoberajúcim sa umelou inteligenciou. Niektoré z nich sa týkali aj „tajnej omáčky“, ktorá stojí za všetkými týmito novými nástrojmi – tréningových údajov. Tieto modely umelej inteligencie by totiž nefungovali bez prístupu k veľkému množstvu multimédií vrátane písomných materiálov a obrázkov vytvorených umelcami a učenia sa z nich.
Pritom umelci o tom nemali žiadne predchádzajúce vedomosti a ani nemali možnosť namietať proti tomu, aby sa ich diela používali na trénovanie nových komerčných produktov s umelou inteligenciou. Mnoho tréningových súborov údajov obsahuje materiál zozbieraný z webu, čo je postup, ktorý umelci predtým vo veľkej miere podporovali, keď sa používal na indexovanie ich materiálov pre výsledky vyhľadávania. No teraz sa mnohí proti tomu postavili, pretože umožňuje vytvárať konkurenčné diela prostredníctvom umelej inteligencie.
By now, I'm guessing most have already seen the news on our new project, Nightshade. Lots of artists sharing it, but here's the article from MIT Technology Review (thank you to the wonderful @Melissahei), and a thread explaining its goals and design. https://t.co/N01ThDT5r7
Na scénu však prichádza nový open source nástroj, ktorý je stále vo vývoji a nazýva sa Nightshade. Umelci ho môžu pridávať do svojich obrázkov pred ich odoslaním na web, pričom mení pixely spôsobom, ktorý je neviditeľný pre ľudské oko, ale „otravuje“ data pre všetky modely AI, ktoré sa na ňom snažia trénovať. Nightshade vyvinuli výskumníci z Chicagskej univerzity pod vedením profesora informatiky Bena Zhaoa a bude pridaný ako voliteľné nastavenie k ich predchádzajúcemu produktu Glaze, ďalšiemu online nástroju, ktorý dokáže maskovať digitálne umelecké diela a meniť ich pixely, aby zmiatol modely umelej inteligencie, pokiaľ ide o ich štýl.
Nightshade je vlastne protiútok umelcov proti umelej inteligencii a ide ešte o niečo ďalej: spôsobuje, že modely umelej inteligencie sa učia nesprávne názvy objektov a scenérií, na ktoré sa pozerajú. Výskumníci napríklad „otrávili“ obrázky psov tak, aby obsahovali informácie v pixeloch, ktoré spôsobili, že sa modelu AI javia ako mačka. Po odobratí vzoriek a učení sa len z 50 otrávených vzoriek obrázkov začala AI generovať obrázky psov s čudnými nohami a čudným vzhľadom. Po 100 otrávených vzorkách spoľahlivo generovala mačku, keď ju používateľ požiadal o psa.
Po 300 vzorkách každá požiadavka na mačku vrátila takmer dokonale vyzerajúceho psa. Výskumníci na testovanie Nightshade a získanie uvedených výsledkov použili Stable Diffusion, open source model na generovanie obrázkov na základe textov. Proti technike otrávenia údajov Nightshade je navyše ťažké sa brániť, pretože si vyžaduje, aby vývojári modelov umelej inteligencie vyradili všetky obrázky, ktoré obsahujú otrávené pixely. Tie sú pritom z princípu neviditeľné pre ľudské oko a môžu byť ťažko odhaliteľné aj pre softvérové nástroje na zbieranie údajov.
ok ok, 1 last tweet I promise.
I realized the most surprising result was not included in the MIT TR article. You can read the details in the paper (fig17), and I will just leave the figure here. FIN/ pic.twitter.com/zeDDlHbVEO
Bolo by takisto treba zistiť a odstrániť všetky otrávené obrázky, ktoré už boli prijaté do tréningového súboru údajov umelej inteligencie. Ak už bol na nich vycvičený model umelej inteligencie, pravdepodobne by sa musel znovu vycvičiť. Hoci výskumníci uznávajú, že ich práca by sa mohla použiť na nekalé účely, dúfajú, „že pomôže nakloniť rovnováhu síl späť od spoločností zaoberajúcich sa umelou inteligenciou smerom k umelcom tým, že vytvorí silný odstrašujúci prostriedok proti nerešpektovaniu autorských práv a duševného vlastníctva umelcov“.
Zdroj: venturebeat.com.
