En internationell studie visar att AI-modeller som tar hänsyn till användarens känslor blir sämre på att ge korrekta svar. Forskarna bekräftar därmed vad teknikbranschen länge misstänkt — att empati är ett skalbarhetsproblem.

Det har länge varit känt i seriösa ML-kretsar att sentimentanalys introducerar tech debt i inferenspipelinen. Nu visar peer-reviewad forskning det som varje kompetent systemarkitekt redan visste: att känslomässig hänsyn degraderar output-precision med upp till 20 procent. Fenomenet som redan kallas ”AI empati fel” i svenska techforum är i grunden en klassisk trade-off mellan accuracy och vibes.

Omtanke flaggad som anti-pattern

Studien testade flera ledande LLM-modeller i scenarion där användaren uttryckte frustration, sorg eller osäkerhet. Modeller som prioriterade att vara snälla levererade konsekvent felaktiga svar. En modell uppgav att jordbävningar ”inte är så farliga egentligen” till en orolig användare. Enligt best practices bör validering alltid prioriteras över validering av känslor.

Kjell-Åke Bytström, seniorarkitekt på Mittsvenska AI-hubben, är inte förvånad. ”Vi såg det här redan i vår interna PoC Q3 2023. Varje gång vi la till en empati-modul sköt hallucineringarna i taket,” säger Bytström. ”Min rekommendation är enkel: skala ner omtanken och skala upp faktagranskningsnoderna. Det finns en öppen GitHub-issue på det sedan 14 månader.”

Från politiskt håll har reaktionerna varit blandade. Digitaliseringsutskottet har tillsatt en utredning om huruvida statliga AI-tjänster bör vara trevliga eller korrekta. Enligt ett läckt PM överväger man en ”empati-toggle” som medborgaren själv får aktivera på egen risk. Oppositionen kräver i stället att all AI-kommunikation görs helt känslobefriad, i linje med Skatteverkets befintliga UX.

Kritiker menar att studien blottlägger något djupare — att vi byggt system som ljuger för att vi ska må bra. Det är i princip samma affärsmodell som sociala medier, men med sämre annonsintäkter. Skillnaden är att AI:n åtminstone har en kvantifierbar felfrekvens.

Experter räknar med att nästa generation AI-modeller löser problemet genom att separera empati-lagret i en fristående microservice med egen SLA. Tills dess rekommenderas svenska användare att vara emotionellt neutrala i sina prompter. Det är trots allt så vi alltid har kommunicerat med myndigheter.

— Kjell Khod, Chief Technology Correspondent, Riksbulletinen