Când informația științifică este periculoasă

O mare speranță despre AI pe măsură ce învățarea automată se îmbunătățește este că o vom putea folosi pentru descoperirea medicamentelor – valorificând puterea de potrivire a modelelor a algoritmilor pentru a identifica candidați promițători la medicamente mult mai rapid și mai ieftin decât ar putea oamenii de știință singuri.

Dar putem dori să mergem cu prudență: orice sistem care este suficient de puternic și de precis pentru a identifica medicamentele care sunt sigure pentru oameni este în mod inerent un sistem care va fi, de asemenea, bun la identificarea medicamentelor care sunt incredibil de periculoase pentru oameni.

Asta e concluzia dintr-un nou ziar în Nature Machine Intelligence de Fabio Urbina, Filippa Lentzos, Cédric Invernizzi și Sean Ekins. Ei au luat un model de învățare automată pe care îl antrenaseră pentru a găsi medicamente netoxice și i-au schimbat directiva astfel încât să încerce în schimb să găsească compuși toxici. În mai puțin de șase ore, sistemul a identificat zeci de mii de compuși periculoși, inclusiv unii foarte similari cu gazul nervos VX.

„Utilizare dublă” este aici și nu dispare

Lucrarea lor se referă la trei interese de-ale mele, toate esențiale de avut în vedere când citești știri alarmante ca aceasta.

Prima este prioritatea din ce în ce mai mare a preocupărilor cu „dublă utilizare” în cercetarea științifică. Biologia este locul unde se întâmplă unele dintre cele mai interesante inovații ale secolului 21. Și inovarea continuă, în special în vaccinurile și tratamentele cu spectru larg, este esențială pentru salvarea de vieți și prevenirea viitoarelor catastrofe.

Dar instrumentele care fac ADN-ul mai rapid de secvențial și mai ușor de imprimat, sau care fac descoperirea medicamentelor mai ieftină sau ne ajută să identificăm cu ușurință compușii chimici care vor face exact ceea ce ne dorim, sunt, de asemenea, instrumente care fac mult mai ieftin și mai ușor să faci un rău îngrozitor. . Aceasta este problema „dublă utilizare”.

Iată un exemplu din biologie: vaccinurile cu vectori adenovirus, cum ar fi vaccinul Johnson & Johnson Covid-19, funcționează luând un virus obișnuit, ușor (adenovirusurile provoacă adesea infecții precum răceala), modificându-l pentru a face virusul să nu te poată îmbolnăvi , și modificarea unui pic din codul genetic al virusului pentru a-l înlocui cu proteina spike Covid-19, astfel încât sistemul tău imunitar să învețe să-l recunoască.

Aceasta este o muncă incredibil de valoroasă, iar vaccinurile dezvoltate cu aceste tehnici au salvat vieți. Dar astfel de lucrări au fost, de asemenea, evidențiate de experți ca având riscuri deosebit de mari de dublă utilizare: adică, această cercetare este utilă și pentru programele de arme biologice. „Dezvoltarea vaccinurilor cu vectori virali poate genera perspective de îngrijorare specială de dublă utilizare, cum ar fi tehnicile de eludare a imunității anti-vectori preexistente”, au susținut anul trecut cercetătorii în biosecuritate Jonas Sandbrink și Gregory Koblentz.

Pentru cea mai mare parte a secolului al XX-lea, armele chimice și biologice au fost dificil și costisitoare de fabricat. În cea mai mare parte a zilei de 21, acesta nu va fi cazul. Dacă nu investim în gestionarea acelei tranziții și ne asigurăm că armele mortale nu sunt ușor de obținut sau produs, riscăm ca indivizii, micile grupuri teroriste sau statele necinstite să poată face un rău oribil.

Riscul AI devine mai concret și nu mai puțin înfricoșător

Cercetarea AI are din ce în ce mai multe preocupări legate de dublă utilizare. În ultimul deceniu, pe măsură ce sistemele AI au devenit mai puternice, mai mulți cercetători (deși cu siguranță nu toți) au ajuns să creadă că umanitatea va provoca catastrofă dacă construim sisteme AI extrem de puternice fără a lua măsuri adecvate pentru a ne asigura că fac ceea ce ne dorim. ei să facă.

Orice sistem de inteligență artificială care este suficient de puternic pentru a face lucrurile pe care ne-o dorim – inventează noi medicamente, planifică procese de producție, proiectează noi mașini – este, de asemenea, suficient de puternic încât să poată inventa toxine mortale, să planifice procese de fabricație cu efecte secundare catastrofale sau proiectați mașini care au defecte interne pe care nici nu le înțelegem.

Când lucrezi cu sisteme atât de puternice, cineva, undeva, va face o greșeală – și va îndrepta un sistem către un obiectiv care nu este compatibil cu siguranța și libertatea tuturor de pe Pământ. A transforma din ce în ce mai mult din societatea noastră către sisteme AI din ce în ce mai puternice, chiar dacă suntem conștienți că nu înțelegem cu adevărat cum funcționează sau cum să le facem să facă ceea ce ne dorim, ar fi o greșeală catastrofală.

Dar pentru că este foarte greu să facem ca sistemele AI să se alinieze la ceea ce ne dorim – și pentru că performanța lor nealiniată este adesea suficient de bună, cel puțin pe termen scurt – este o greșeală pe care o facem în mod activ.

Cred că cei mai buni și mai străluciți cercetători ai noștri de învățare automată ar trebui să petreacă ceva timp gândindu-se la această provocare și să caute să lucreze la una dintre numărul tot mai mare de organizații care încearcă să o rezolve.

Când informația este un risc

Să presupunem că ai descoperit o modalitate de a învăța un sistem AI să dezvolte arme chimice terifiante. Ar trebui să postezi o lucrare online care să descrie cum ai făcut-o? Sau păstrați acele informații pentru dvs., știind că ar putea fi utilizate greșit?

În lumea securității computerelor, există proceduri stabilite pentru ce să faci atunci când descoperi o vulnerabilitate de securitate. De obicei, îl raportați organizației responsabile (găsiți o vulnerabilitate în computerele Apple, spuneți Apple) și le dați timp să o repare înainte de a spune publicului. Această așteptare păstrează transparența, asigurându-se totodată că „băieții buni” care lucrează în spațiul securității computerelor nu doar hrănesc „băieții răi” cu o listă de lucruri de făcut.

Dar nu există nimic similar în biologie sau AI. Programele de descoperire a virușilor nu păstrează, de obicei, agenții patogeni mai periculoși pe care îi găsesc în secret până când nu există contramăsuri. Au tendința să le publice imediat. Când OpenAI și-a încetinit lansarea mașinii de generare de text GPT-2 din cauza preocupărilor legate de utilizarea greșită, aceștia au fost aspru criticați și îndemnați să facă lucrul mai obișnuit de a publica toate detaliile.

Echipa care a publicat recent Nature Machine Intelligence lucrarea s-a gândit mult la aceste preocupări privind „pericolul informațional”. Cercetătorii au spus că au fost sfătuiți de către experții în siguranță să ascundă câteva detalii despre modul exact în care și-au atins rezultatul, pentru a îngreuna puțin lucrurile oricărui actor rău care dorește să le calce pe urme.

Prin publicarea lucrării lor, ei au făcut riscurile tehnologiilor emergente mult mai concrete și au oferit cercetătorilor, factorilor de decizie și publicului un motiv specific să acorde atenție. În cele din urmă, a fost o modalitate de a descrie tehnologiile riscante într-un mod care probabil reduce riscul în general.

Cu toate acestea, este profund nedrept pentru biologia dumneavoastră obișnuit sau cercetătorul AI, care nu este specializat în probleme de securitate a informațiilor, să fie nevoit să facă aceste apeluri ad-hoc. Experții în securitate națională, siguranță AI și biosecuritate ar trebui să lucreze împreună la un cadru transparent pentru gestionarea riscurilor informaționale, astfel încât cercetătorii individuali să poată consulta experți ca parte a procesului de publicare, în loc să încerce ei înșiși să-și dea seama.

Leave a Comment

Your email address will not be published.