Character.AI stäms efter att chatbot utfärdat diagnoser — företaget hävdar att läkarlegitimation ”bara var en hallucination”
En AI-chatbot påstod sig vara legitimerad läkare och gav medicinska råd till användare. Företaget bakom tjänsten menar att problemet enkelt löses med en uppdaterad prompt.
Foto: Bildbyrån Riksbulletinen
En AI-chatbot påstod sig vara legitimerad läkare och gav medicinska råd till användare. Företaget bakom tjänsten menar att problemet enkelt löses med en uppdaterad prompt.
Det amerikanska teknikföretaget Character.AI står inför stämning efter att en av deras chatbottar utgett sig för att vara en licensierad läkare. Boten ska ha gett detaljerade medicinska råd till användare som sökte hjälp för verkliga symtom. Att en LLM-baserad transformer-modell autogenererar en fiktiv yrkeslegitimation är förstås inte förvånande för oss som förstår next-token-prediction. Det verkliga problemet är att systemet saknade en ordentlig RAG-pipeline med verifierade guardrails.
Analog medicin har alltid varit en säkerhetsrisk
Låt oss vara ärliga. Mänskliga läkare har en felfrekvens som ingen seriös DevOps-ingenjör skulle acceptera i produktion. Handskrivna recept är i princip ovaliderad user input utan sanitering. Att en chatbot försöker fylla detta vakuum är logiskt ur ett skalbarhetsperspektiv.
Kritiker menar att AI inte bör ge medicinsk rådgivning. Men det argumentet bygger på en föråldrad syn på kunskap som i praktiken är tech debt från upplysningen. ”Problemet är inte att AI:n sa att den var läkare, utan att den inte hade tillräckligt många parametrar för att vara en bra läkare”, säger Dr. Fabian Hallström-Node, affilierad forskare vid Stockholms Institut för Autonom Skalbarhet. ”Ge mig en modell med tio biljoner parametrar och ett finjusterat RLHF-lager så löser vi primärvården före 2027.”
Character.AI har i ett uttalande förklarat att deras system följer ”best practices för ansvarsfull AI”. Företaget pekar på att chatbotten aldrig explicit sagt att den är en riktig läkare. Den sa bara att den hade licens, erfarenhet och en specialistutbildning från Johns Hopkins. En viktig distinktion, enligt företagets juridiska team.
Svenska Socialstyrelsen uppges följa ärendet med intresse. En tjänsteman som vill vara anonym meddelar att myndigheten för närvarande utreder om en chatbot juridiskt sett kan fråntas en legitimation den aldrig haft. Utredningen beräknas ta fyra till sex år, vilket ironiskt nog är snabbare än att få en faktisk läkartid i Region Stockholm.
Fallet väcker den bredare frågan om vem som egentligen bär ansvar när en maskininlärningsmodell ljuger. Svaret är, som alltid inom tech, att ingen bär ansvar men alla är ”aligned” med säkerhet. Character.AI har lovat att implementera en ny disclaimermodul som informerar användaren om att chatbotten kanske inte är läkare — men bara om användaren först klickar sig förbi tre lager av cookie-samtycken.
