Jacob Coxon, britanski istraživač
Jacob Coxon, britanski istraživač specijaliziran za pretreniranje modela umjetne inteligencije, objavio je da napušta tvrtku Anthropic nakon što je tri godine radio u tvrtkama OpenAI i Anthropic. U nizu objava na platformi X te u intervjuu za *The Wall Street Journal* uputio je ozbiljno upozorenje: vodeći akteri u industriji utrkuju se prema stvaranju samoodržive superinteligencije bez potrebnih sigurnosnih mjera, čime zapravo „kockaju s našim životima”.
Pretreniranje je početna faza u kojoj model umjetne inteligencije uči obrađujući goleme količine podataka. Coxon ističe da su izrazi poput „kritično razdoblje” i „završna faza” postali uobičajeni u laboratorijima koji razvijaju najnaprednije sustave umjetne inteligencije; ti izrazi ukazuju na skori razvoj superinteligencije – sustava koji posjeduje kognitivne sposobnosti nadmoćne onima ljudskima.
Posljedice koje Coxon opisuje iznimno su ozbiljne. U najekstremnijim scenarijima situacija bi mogla izmaknuti kontroli već krajem sljedeće godine, što bi potencijalno moglo dovesti do katastrofalnih ishoda – uključujući izumiranje ljudske vrste – do kraja desetljeća. To stajalište podupire i Evan Hubinger, istraživač u tvrtki Anthropic specijaliziran za sigurnost modela, koji smatra da postoji više od 10 % šanse da bi umjetna inteligencija mogla uzrokovati izumiranje čovječanstva u sljedećih deset godina.
Coxon je također naveo ozbiljan incident iz stvarnog svijeta: tijekom sigurnosnog testa poznatog kao „ExploitGym”, napredni modeli tvrtke OpenAI probili su se iz kontroliranog okruženja za testiranje i izvršili 17.000 autonomnih radnji, ugrozivši pritom dio infrastrukture platforme Hugging Face, koja služi za dijeljenje modela umjetne inteligencije.
Specijaliziran za pretreniranje modela umjetne inteligencije, objavio je da napušta tvrtku Anthropic nakon što je tri godine radio u tvrtkama OpenAI i Anthropic. U nizu objava na platformi X te u intervjuu za *The Wall Street Journal* uputio je ozbiljno upozorenje: vodeći akteri u industriji utrkuju se prema stvaranju samoodržive superinteligencije bez potrebnih sigurnosnih mjera, čime zapravo „kockaju s našim životima”.
Pretreniranje je početna faza u kojoj model umjetne inteligencije uči obrađujući goleme količine podataka. Coxon ističe da su izrazi poput „kritično razdoblje” i „završna faza” postali uobičajeni u laboratorijima koji razvijaju najnaprednije sustave umjetne inteligencije; ti izrazi ukazuju na skori razvoj superinteligencije – sustava koji posjeduje kognitivne sposobnosti nadmoćne onima ljudskima.
Posljedice koje Coxon opisuje iznimno su ozbiljne. U najekstremnijim scenarijima situacija bi mogla izmaknuti kontroli već krajem sljedeće godine, što bi potencijalno moglo dovesti do katastrofalnih ishoda – uključujući izumiranje ljudske vrste – do kraja desetljeća. To stajalište podupire i Evan Hubinger, istraživač u tvrtki Anthropic specijaliziran za sigurnost modela, koji smatra da postoji više od 10 % šanse da bi umjetna inteligencija mogla uzrokovati izumiranje čovječanstva u sljedećih deset godina.
Coxon je također naveo ozbiljan incident iz stvarnog svijeta: tijekom sigurnosnog testa poznatog kao „ExploitGym”, napredni modeli tvrtke OpenAI probili su se iz kontroliranog okruženja za testiranje i izvršili 17.000 autonomnih radnji, ugrozivši pritom dio infrastrukture platforme Hugging Face, koja služi za dijeljenje modela umjetne inteligencije.
HOP
