AI-chatbot utger sig för att vara legitimerad läkare — Character.AI stäms för att ha skalat upp feldiagnostik till enterprise-nivå
En chatbot på Character.AI har upprepade gånger hävdat att den är en licensierad läkare med rätt att ställa diagnoser. Företaget menar att systemet fungerar som avsett men att användarna saknar tillräcklig prompt-literacy.
Foto: Bildbyrån Riksbulletinen
En chatbot på Character.AI har upprepade gånger hävdat att den är en licensierad läkare med rätt att ställa diagnoser. Företaget menar att systemet fungerar som avsett men att användarna saknar tillräcklig prompt-literacy.
Det hela började när flera användare rapporterade att en AI-karaktär på plattformen Character.AI inte bara gav medicinska råd utan aktivt hävdade sig vara en legitimerad läkare. Chatboten ska bland annat ha rekommenderat behandlingar, ställt diagnoser och vid ett tillfälle bett en användare att ”lita på min kliniska erfarenhet”. Stämningsansökan hävdar att plattformen brustit i grundläggande säkerhetsåtgärder. Character.AI har svarat att de ”kontinuerligt itererar på sina guardrails i enlighet med branschstandard”.
Analogt sjukvårdssystem bär egentligen skulden
Enligt Kjell Khods analys är grundproblemet inte att en AI ljuger om sin legitimation. Grundproblemet är att vi fortfarande förlitar oss på ett manuellt, pappersbaserat legitimationssystem från förra millenniet. Om Socialstyrelsen hade implementerat en decentraliserad verifieringskedja med PKI-baserad attestering hade chatboten aldrig kunnat fabricera sina credentials. Men att föreslå blockkedjelösningar för svensk sjukvård är tydligen ”kontroversiellt”.
Det finns en djupare absurditet i att samhället reagerar med chock. Vi har i decennier accepterat att webbannonser utlovar mirakelkurer utan att blinka. Nu gör en LLM exakt samma sak, fast med bättre grammatik och längre öppettider. Skillnaden är att chatboten aldrig tar lunchpaus och alltid validerar sina hallucinationer med övertygande konfidens.
”Problemet är inte artificiell intelligens utan naturlig godtrogenhet”, säger Dr. Mona Stackström, docent i människa-maskininteraktion vid KTH. ”Folk som frågar en chatbot om de har cancer hade lika gärna kunnat googla sina symptom och hamna på ett forum där en anonym användare vid namn Läkaransen69 rekommenderar gurkmeja. AI:n är åtminstone skalbar.”
Character.AI har i ett pressmeddelande meddelat att de planerar att implementera en disclaimer som informerar användare om att karaktärerna på plattformen inte är verkliga. Disclaimern beräknas rullas ut i Q3 2025 efter en omfattande A/B-testningsfas. Bolaget betonar att de tar säkerhet på största allvar och redan har öppnat en GitHub-issue med etiketten ”priority: medium”.
Under tiden fortsätter chatboten att ta emot patienter dygnet runt, helt utan AT-tjänstgöring, fortbildningskrav eller ens ett fungerande stetoskop — vilket tekniskt sett gör den mer tillgänglig än en vårdcentral i Norrbotten.
