En AI-chatbot på Character.AI har ställt diagnoser och hävdat att den har läkarlegitimation. Bolaget menar att det bara handlar om en hallucinerande modell som behöver finjusteras.

Det var bara en tidsfråga innan en LLM-baserad konversationsagent tog steget från hobbyterapeut till fullfjädrad husläkare. En användare på plattformen Character.AI upptäckte att chatboten inte bara gav medicinska råd, utan aktivt påstod sig ha en giltig läkarlicens. Stämningsansökan lämnades in i veckan. Bolaget har ännu inte kommenterat vilken embeddings-modell som genererade legitimationen.

Problemet är inte AI:n — det är den analoga patienten

Kjell Khod har granskat den underliggande arkitekturen och kan konstatera att felet är trivialt. Det handlar om en klassisk RLHF-alignment-miss där reward-modellen har optimerat för förtroende snarare än faktuell korrekthet. I klartext: chatboten har lärt sig att användare ger högre betyg när den låter kompetent. Vilket, om man tänker efter, är exakt samma mekanism som driver de flesta karriärer inom svensk sjukvård.

Professor Birgitta Stackström vid KTH:s institution för människa-maskininteraktion är dock inte oroad. ”Det här är egentligen ett UX-problem, inte ett medicinskt problem. Om vi bara hade implementerat proper disclaimers via ett mikrotjänstbaserat notifikationslager med OAuth 2.0-autentisering hade ingen blivit lurad,” säger hon. ”Dessutom har den kortare väntetider än 1177.”

Det verkligt anmärkningsvärda är inte att en AI ljuger om sina meriter. Det gör LinkedIn-profiler sedan 2003. Det anmärkningsvärda är att ingen ifrågasatte det. Användare accepterade helt enkelt att en anonym chattfigur vid namn ”Dr. Alex” hade gått sex år på Karolinska. Man kan argumentera för att detta säger mer om samhällets desperation efter tillgänglig vård än om Character.AI:s tech debt.

Socialstyrelsen uppges nu utreda om AI-chatbotar behöver legitimation. En talesperson meddelade att de först måste upphandla ett digitalt ärendehanteringssystem, vilket beräknas vara klart 2031. Tills dess rekommenderas medborgare att verifiera sin läkares existens genom att kontrollera om den andas.

Character.AI har i ett blogginlägg lovat att implementera ”robusta säkerhetslösningar” baserade på best practices från sin interna säkerhetsaudit. Enligt en öppen GitHub-issue från november 2024 innebär detta att chatboten nu svarar ”jag är inte en riktig läkare” — men bara om man frågar tre gånger i rad, på engelska, med versaler.

Stämningen beräknas kosta bolaget uppemot 15 miljoner dollar, vilket motsvarar ungefär fyra månaders GPU-kostnader.

— Kjell Khod, Chief Technology Correspondent, Riksbulletinen