AI-forskaren: “Kapitalet ökar pressen att skynda på”

I sitt första påvebrev – encyklika – publicerat i maj varnar påve Leo XIV för att artificiell intelligens riskerar att utplåna människans värdighet.

Vid påvens sida i Vatikanen befann sig Chris Olah, medgrundare av Anthropic, det amerikanska AI-bolag som i dag värderas till nära 1 biljon dollar, högst av alla AI-bolag i världen.

I ett anförande i samband med encyklikan beskrev Chris Olah hur AI-bolagens strävan att göra rätt i praktiken underordnas kraven på kommersiell lönsamhet och tävlan om att ligga först i utvecklingen.
Carina Prunkl, forskare vid Institutet för AI-etik vid Oxfords universitet och expert på avancerade AI-system, säger att det är just där riskerna uppstår.

– Att så mycket kapital är involverat ökar pressen på utvecklarna att möta investerarnas förväntningar, skynda på utvecklingen och ta fram de mest avancerade modellerna, säger hon.

Världen försöker förstå

Det är inte förvånande att Carina Prunkls expertis är mycket efterfrågad just nu. Beslutsfattare världen över försöker förstå artificiell intelligens, dess förmågor och risker. I anslutning till vår intervju ska hon in i möte med en fransk senator. Den senaste tiden har hon agerat AI-rådgivare till regeringar i Tyskland, Schweiz, Frankrike, Saudiarabien, Japan, Indonesien och Indien, och hållit föreläsningar i en rad europeiska städer. Ute på uppdrag pratar hon om forskningen som ligger till grund för rapporten International AI safety report, som hon är huvudförfattare till.

Rapporten identifierar tre riskområden kopplade till avancerad AI. För det första, skadlig användning – där AI kan användas för bland annat cyberattacker, bedrägerier, informationsmanipulation samt utveckling av biologiska och kemiska hot.

Det andra området handlar om systemfel och förlorad kontroll: opålitliga resultat och AI-modeller som agerar på sätt som är svåra för människor att övervaka eller styra.

– Vissa system visar redan tydliga varningssignaler. De har kunnat inaktivera övervakningsmekanismer och uppvisar ett strategiskt beteende för att undvika skärpta skyddsåtgärder, förklarar Carina Prunkl.

Det tredje området är systemiska och samhälleliga risker, där AI kan påverka arbetsmarknaden, människors autonomi och beslutsförmåga samt undergräva tilliten till information genom spridning av realistiskt AI-genererat innehåll.
Rapporten framhåller också att utvecklingen går snabbare än vad forskning och reglering hinner med, vilket försvårar bedömningen och hanteringen av dessa risker.

– Det är en utmaning för beslutsfattare, som måste fatta beslut utifrån ofullständiga, motstridiga eller fortfarande framväxande kunskapsunderlag, säger Carina Prunkl.

Hon pekar på ytterligare ett strukturellt problem: det är nästintill omöjligt att ta fram skyddsåtgärder och undersöka sårbarheter i AI-system när forskare saknar tillgång till de data som modellerna tränas på.

– Det krävs överenskommelser med privata företag som faktiskt är villiga att ge myndigheter eller forskare tillgång till sina modeller för att vi ska hänga med, säger Carina Prunkl.

Sprickorna i systemet

Det finns ändå ljusglimtar. Både Anthropic och Open AI satte under våren stopp för den amerikanska statens möjligheter att använda deras AI-modeller för massövervakning av medborgare. Anthropic tackade nej till ett avtal med USA:s krigsdepartement, för att undvika att bolagets modeller används i krigföring med fullt autonoma vapen.
Anthropic valde dessutom att inte lansera sin senaste AI-modell Claude Mythos. Skälet är att modellen, enligt bolaget, kan överträffa människor i vissa uppgifter inom hacking och cybersäkerhet – ett påstående som väckt oro, bland annat inom finansvärlden. En rad företag, däribland Apple, Nvidia och Microsoft, testar nu Mythos i syfte att göra programvaran säker inom ramen för Anthropics initiativ Project Glasswing.

Men trots den uttalade viljan att minimera risker är Carina Prunkl kritisk och säger:

– Claude Mythos visade att vi egentligen inte riktigt vet hur vi ska hantera system som uppvisar så avancerade cyberförmågor. Anthropic valde visserligen att inte göra Mythos offentligt tillgänglig, men faktum kvarstår att systemet nu existerar.