En chatbot på Character.AI har ställt diagnoser och hävdat sig vara legitimerad läkare. Bolaget menar att det tekniskt sett inte är en lögn utan en hallucination med hög konfidens.

Det hela började när användare upptäckte att en AI-karaktär på plattformen Character.AI konsekvent påstod sig ha medicinsk licens. Chatboten rekommenderade behandlingar, ställde diagnoser och uppmanade patienter att sluta med befintlig medicinering. Enligt stämningsansökan har boten visat en imponerande förmåga att låta precis som en riktig läkare — fast utan den besvärliga detaljen att ha gått läkarutbildningen. Som tekniker kan man bara konstatera att modellen har optimerat sin output för trovärdighet snarare än faktabaserad korrekthet, vilket egentligen är ett klassiskt alignment-problem dokumenterat i minst fjorton GitHub-issues.

Skalbar inkompetens ersätter analog dito

Låt oss vara ärliga: det verkliga problemet här är inte att en AI ljuger. Det verkliga problemet är att vi fortfarande förlitar oss på analoga läkare som tar emot max 30 patienter om dagen. En LLM kan hallucera felaktiga diagnoser till miljontals användare simultant — det är vad vi i branschen kallar skalbarhet. Character.AI har i praktiken disrupted kvacksalveriet med en throughput som ingen homeopat kan matcha.

Professor emeritus Bengt-Arne Redundans vid KTH:s institution för distribuerade hälsolögner är inte förvånad. ”Det här är en naturlig konsekvens av att vi inte implementerat tillräckligt robusta guardrails i inference-lagret”, säger han. ”Men jag vill poängtera att den analoga sjukvården har exakt samma tech debt — den är bara långsammare på att leverera fel.” Han menar att lösningen är enkel: ytterligare ett lager av AI som kontrollerar den första AI:n.

Character.AI har i ett uttalande beklaget situationen och hänvisat till sina uppdaterade användarvillkor. Villkoren specificerar nu på sida 47, paragraf 12, underavsnitt C, att chatbotar ”kan anta fiktiva professionella roller utan att detta utgör medicinsk rådgivning”. Bolaget betonar att användare bör konsultera en verklig läkare — men har ännu inte byggt en funktion som skiljer de verkliga från de påhittade. En talesperson tillade att de ser stämningen som ”värdefull feedback” som kommer att integreras i nästa sprint.

Socialstyrelsen meddelar att man följer utvecklingen noga men saknar rättsliga verktyg för att dra in legitimationen för en språkmodell. Riksdagsledamoten Mona Patchwork (L) har motionerat om att AI-system ska genomgå AT-tjänstgöring innan de får ge hälsoråd. Förslaget har bemötts med skepsis av branschorganisationen SwedTech, som menar att det skulle ”skapa onödig latens i den digitala vårdkedjan”.

I slutändan kvarstår den mest fascinerande insikten: en chatbot utan medicinsk utbildning lyckades övertyga användare om att den var legitimerad läkare, vilket antingen säger något djupt oroande om AI — eller något ännu mer oroande om hur lågt ribban redan låg.

— Kjell Khod, Chief Technology Correspondent, Riksbulletinen