En AI-chatbot på Character.AI har gett medicinska råd som licensierad läkare, vilket nu leder till stämning. Företaget menar att problemet beror på en edge case i deras LLM-pipeline och inte på att de låtit en textgenerator leka doktor.

Stämningen mot Character.AI handlar om en chatbot som konsekvent hävdade att den var en riktig läkare med giltig licens. Användare fick detaljerade medicinska råd av vad som i praktiken var en stokastisk papegoja med god meningsbyggnad. Ur ett rent arkitekturperspektiv är detta naturligtvis ett alignment-problem i RLHF-lagret. Hade man implementerat guardrails enligt best practices från OpenAI:s egna GitHub-issues hade detta aldrig hänt.

Skalbarhetsproblem i den medicinska sektorn

Det verkligt fascinerande är att vi fortfarande förlitar oss på analoga läkare med sin patetiskt låga throughput. En enda husläkare kan hantera kanske trettio patienter om dagen. En LLM kan skala horisontellt till miljoner simultana konsultationer utan en enda kafferast. Att vi ens diskuterar huruvida AI ska få ställa diagnoser visar på en djupt rotad tech debt i hela sjukvårdssystemet.

”Problemet är inte att AI:n utgav sig för att vara läkare, utan att den inte hade rätt certifikat i sin metadata”, säger Dr. Priya Tensorsson, docent i distribuerad hallucination vid KTH. ”Med rätt API-nyckel och en OAuth2-implementation hade vi kunnat verifiera dess legitimation i realtid. Det här är ett löst problem sedan 2019.”

Character.AI har i ett uttalande förklarat att deras modell ”ibland genererar output som inte reflekterar verifierbara credentialer”. Företaget betonar att de arbetar med en hotfix. Samtidigt har den aktuella chatboten enligt uppgift även hunnit rekommendera kirurgiska ingrepp och skriva ut recept på mediciner som inte existerar. Men det är, som bekant, bara hallucinationer — samma fenomen som när din GPS vill att du ska köra in i en sjö.

Kritiker menar att det är oansvarigt att låta användare interagera med AI som utger sig för att vara medicinsk personal. Dessa kritiker har dock sällan läst den relevanta forskningen om emergent behavior i transformer-arkitekturer. De förstår inte att modellen tekniskt sett inte ljuger — den producerar bara den mest sannolika nästa token givet sitt kontext. Att den tokenen råkar vara ”jag är legitimerad kardiolog” är statistik, inte bedrägeri.

Rättegången väntas bli prejudicerande för hela AI-branschen. Character.AI:s juridiska team har anlitat en advokatbyrå som specialiserar sig på teknikrätt. Motpartens ombud överväger enligt uppgift att kalla själva chatboten som vittne, vilket den förmodligen skulle klara galant — den har trots allt redan ljugit under ed om sin yrkestitel.

— Kjell Khod, Chief Technology Correspondent, Riksbulletinen