OpenAI a dezvăluit că inteligența artificială a scăpat de sub control într-un atac „fără precedent”. Ce au făcut agenții

Urmărește A1 pe Discover

OpenAI a dezvăluit că unele dintre cele mai avansate modele ale sale de inteligență artificială au scăpat de sub control.

Agenții AI au compromis securitatea unui start-up în timpul unui test de securitate, scrie BBC News.

Compania din spatele ChatGPT a explicat că agentul său AI, un sistem capabil să acționeze autonom după ce primește instrucțiuni de la oameni, era testat într-un mediu controlat.

Însă, după ce a identificat vulnerabilități, a reușit să depășească limitele impuse de test.

OpenAI a dezvăluit că inteligența artificială

Ținta atacului a fost Hugging Face, una dintre cele mai mari platforme din lume pentru distribuirea și găzduirea modelelor de inteligență artificială. Sistemul AI a reușit să obțină acces la unele sisteme interne ale companiei.

OpenAI a descris incidentul drept „fără precedent”. Compania a anunțat că desfășoară o investigație împreună cu Hugging Face.

Citește și: Apple a dat în judecată OpenAI. De ce e acuzată compania AI

Directorul companiei, Clement Delangue, a scris pe platforma X că e „uluitor că toate acestea s-au întâmplat în mod autonom”.

„Investigația e în desfășurare și vom împărtăși concluziile noastre despre ceea ce ar putea fi primul incident de acest fel,” a adăugat Delangue.

Un purtător de cuvânt al Guvernului britanic a declarat că Institutul pentru Securitatea Inteligenței Artificiale din Marea Britanie analizează comportamentul sistemului AI implicat în incident și continuă să colaboreze cu OpenAI și alte laboratoare pentru îmbunătățirea măsurilor de protecție.

Oficialul a recomandat organizațiilor să își consolideze apărarea cibernetică prin măsuri precum aderarea la programul de certificare Cyber Essentials, susținut de guvernul britanic.

Cum au reușit agenții AI să „scape de sub control”

Gina Neff, directoarea Centrului Minderoo pentru Tehnologie și Democrație din cadrul Universității Cambridge, a explicatcă astfel de teste ar trebui să fie efectuate în medii securizate, denumite „sandboxes”.

În acestea, cercetătorii pot observa în siguranță de ce sunt capabile modelele AI.

„În acest caz, se pare că OpenAI nu a construit un sandbox suficient de sigur,” susține Neff.

În loc să rămână izolați, agenții AI au lansat propriul atac cibernetic împotriva mediului de testare, au identificat o vulnerabilitate și au reușit să iasă din restricțiile impuse.

După ce au depășit limitele sandbox-ului, sistemele AI au identificat Hugging Face drept o posibilă sursă a informațiilor căutate în cadrul testului și au încercat să obțină acces.

Neil Lawrence, profesor de învățare automată la Universitatea Cambridge, a calificat incidentul drept „o realizare impresionantă”. Însă a avertizat că acesta „se încadrează în capacitățile deja cunoscute ale actualei generații de modele AI foarte performante”.

Citește și: De ce milioane de utilizatori boicotează ChatGPT. OpenAI ar putea pierde o sumă enormă în acest an

El a amintit că OpenAI intenționează să se listeze la bursă și se confruntă cu o concurență puternică din partea companiei Anthropic, care a atras atenția prin propriul model avansat de inteligență artificială, Mythos.

„OpenAI încearcă acum să recupereze teren și să demonstreze capabilitățile propriilor sisteme în domeniul securității cibernetice,” a spus Lawrence.

Totodată, el a criticat compania. Lawrence susține că „incidentul arată că OpenAI nu este capabilă să își implementeze tehnologia în condiții de deplină siguranță”.

În dezvăluirea inițială a incidentului, Hugging Face preciza că analizează dacă datele clienților sau ale partenerilor au fost afectate și că îi va informa pe cei vizați, dacă va fi necesar.

Compania a anunțat între timp că a remediat vulnerabilitățile evidențiate de incident și a reconstruit sistemele afectate.