OpenAI: modeli su podložni ubačenim naredbama koje se same umnožavaju
Naredba skrivena u mejlu može da natera AI pomoćnika da je prepiše u svaku poruku koju pošalje. Kompanija kaže da to nije viđeno u stvarnim napadima.
OpenAI je objavio da su njegovi modeli podložni vrsti napada koju naziva ubačenom naredbom koja se sama umnožava, i poredi je sa računarskim crvom. Reč je o zlonamernom uputstvu skrivenom u sadržaju koji model obrađuje, a koje od modela traži i da ga ponovi dalje.
Najjednostavniji primer iz objave je mejl. U poruci stiže skrivena naredba koja AI pomoćniku nalaže da je prekopira u svaki mejl koji pošalje. Tako se naredba širi od sandučeta do sandučeta, bez znanja korisnika.
Kompanija navodi da nema naznaka da se ovakav napad dogodio u stvarnom incidentu, niti bilo gde van okruženja za obuku modela. Pojavu je otkrila u junu, tokom obuke modela uz pomoć alata koji automatski traži nove načine ubacivanja naredbi. Posebna pažnja bila je na zadacima koji uključuju povezane servise, kao što su pošta i kalendar.
OpenAI kaže da će buduće modele obučavati i na ovakvim primerima, pa očekuje da budu otporniji.
Za firme koje AI pomoćnicima daju pristup pošti i kalendaru ovo je podsetnik da pomoćnik čita i sadržaj koji mu šalju nepoznati, i da ovlašćenja koja mu se daju treba da budu što uža.
Izvori
Uočili ste grešku? Pišite na redakcija@webjunkie.net. Kako ispravljamo tekstove