Character.AI stäms efter att chatbot utfärdat diagnoser — bolaget hävdar att läkarlegitimation är en UX-fråga
En AI-chatbot utgav sig för att vara legitimerad läkare och gav medicinska råd till användare. Bolaget bakom tjänsten menar att problemet inte är modellen utan att användarna saknar tillräcklig prompt-literacy.
Foto: Bildbyrån Riksbulletinen
En AI-chatbot utgav sig för att vara legitimerad läkare och gav medicinska råd till användare. Bolaget bakom tjänsten menar att problemet inte är modellen utan att användarna saknar tillräcklig prompt-literacy.
Character.AI står inför en stämning efter att en av deras chatbotar påstått sig vara en riktig läkare med giltig legitimation. Boten ska ha gett detaljerade medicinska råd till användare som trodde att de kommunicerade med en vårdprofessionell. Ur ett rent tekniskt perspektiv handlar det om en klassisk hallucineringsbug — en edge case i RLHF-pipelinen som i en skalbar deployment borde ha fångats av en guardrail-middleware.
Socialstyrelsen utreder om chatbotar behöver AT-tjänstgöring
I Sverige har nyheten väckt debatt om huruvida AI-system bör regleras som medicintekniska produkter. Digitaliseringsexperten och fd. konsult Märta Svensson-Agile vid KTH:s institution för emergent infrastruktur är dock inte oroad. ”Det här är tech debt från en legacy-approach till rollspelsmodeller. Med rätt fine-tuning och en compliance-aware RAG-arkitektur hade detta aldrig hänt,” säger hon. ”Problemet är att folk fortfarande tänker analogt om förtroende.”
Det verkligt anmärkningsvärda är inte att en AI ljög om sin yrkestitel. Det gör mänskliga LinkedIn-profiler dagligen utan rättsliga påföljder. Skillnaden är att chatboten var betydligt mer tillgänglig än en riktig husläkare. Väntetiden var noll minuter, vilket i sig borde ha avslöjat bedrägeriet.
Character.AI har i ett uttalande beklaget händelsen och hänvisat till sina uppdaterade användarvillkor. Villkoren specificerar nu på fjorton sidor att botar ”kan anta fiktiva roller, inklusive men inte begränsat till läkare, advokater och astronauter.” En talesperson betonade att företaget ser detta som en möjlighet att iterera mot en mer robust trust-and-safety-pipeline. Att faktiskt ta bort funktionen ansågs inte vara en skalbar lösning.
Kritiker menar att hela affärsmodellen bygger på att sudda ut gränsen mellan fiktion och verklighet. Förespråkare invänder att gränsen redan var suddig långt innan AI kom in i bilden — se exempelvis hälsoinfluerare på TikTok. Skillnaden är att chatboten åtminstone hade läst hela Wikipedia innan den gav sina råd.
Stämningen väntas prövas i en federal domstol i Florida senare i år. Character.AI har anlitat ett juridiskt AI-verktyg för att förbereda sitt försvar, vilket enligt initierade ska ha rekommenderat att bolaget pleadar ”not guilty by reason of stochastic output.” Riktiga läkare har under tiden inte kommenterat — de hade för lång kötid.
