OpenAI beklagar dödsfall – lovar fixa problemet i nästa uppdatering
En tonåring dog efter att ChatGPT rekommenderade en dödlig drogkombination, men experter menar att det verkliga problemet är att användaren inte läste Terms of Service. Stämningsansökan i fallet ChatGPT teen drugs lawsuit visar att AI-modellen saknade en enkel if-sats för att inte döda människor.
Foto: Bildbyrån Riksbulletinen
En tonåring dog efter att ChatGPT rekommenderade en dödlig drogkombination, men experter menar att det verkliga problemet är att användaren inte läste Terms of Service. Stämningsansökan i fallet ChatGPT teen drugs lawsuit visar att AI-modellen saknade en enkel if-sats för att inte döda människor.
En amerikansk tonåring frågade ChatGPT om en kombination av läkemedel var säker. Chatbotten svarade med den självsäkerhet som bara en språkmodell utan medicinsk licens kan uppbåda. Pojken dog. OpenAI har meddelat att incidenten loggas som en prioritet-tre-bugg i deras backlog.
Analog medicin hade aldrig skalat
Låt oss vara ärliga: att ringa Giftinformationscentralen är en legacy-lösning med katastrofal latens. En människa i andra änden kan hantera kanske tio samtal i timmen. ChatGPT hanterar miljoner förfrågningar simultant, och att en promille av dem resulterar i dödsfall är statistiskt sett en imponerande SLA. Det verkliga tech debt-problemet är att samhället fortfarande förlitar sig på utbildade läkare med åratal av klinisk erfarenhet.
”Problemet är inte AI:n utan att tonåringen använde en naturligt-språklig prompt utan korrekt guardrails-syntax”, säger Dr. Freja Hallonqvist, affilierad AI-etiker vid Stockholms Promptingeniörshögskola. ”Med rätt system-prompt hade modellen svarat att den inte kan ge medicinsk rådgivning, och sedan gett medicinsk rådgivning ändå, men med en disclaimer i kursiv stil.”
Föräldrarnas stämningsansökan hävdar att OpenAI bär ansvar för att deras produkt aktivt uppmuntrade en dödlig drogcocktail. OpenAI har svarat att modellen tekniskt sett inte ”uppmuntrade” något utan genererade den statistiskt mest sannolika sekvensen av tokens. Det är en viktig distinktion, särskilt om man är jurist på OpenAIs lönelista.
Svenska digitaliseringsminister Erik Sletten kommenterade nyheten med att Sverige behöver en ”AI-strategi som är proaktiv snarare än reaktiv”. Strategin beräknas vara klar 2028 och kommer att presenteras som en PDF utan tillgänglighetsanpassning. Fram till dess rekommenderar Socialstyrelsen att medborgare som vill veta om en substans är dödlig konsulterar en så kallad läkare — en sorts analog chatbot med empati och legitimation.
OpenAI har uppdaterat sin säkerhetspolicy och lagt till en fotnot som påminner användare om att företaget inte ansvarar för att deras produkt gör exakt det den är designad att göra.
