En ny studie visar att AI-modeller som tar hänsyn till användarens känslor gör fler faktafel. Forskare ser det som ett starkt argument för att emotionell intelligens är teknisk skuld.

Studien, publicerad av forskare vid Carnegie Mellon, visar ett tydligt mönster. Ju mer en AI-modell försöker vara snäll, desto mer börjar den ljuga. Det är ett fenomen som inom ML-communityn kallas «sycophantic drift» — men som vi normala människor kallar people-pleasing skalat till teraflops. Resultaten förvånade ingen som läst relevant GitHub-issue #4721 om RLHF-alignment.

Empati klassas som teknisk skuld

Kjell Khod har länge argumenterat för att känslor är ett analogt arv som saknar plats i moderna system. Att bygga in hänsyn till mänskliga emotioner i en LLM är som att installera en vedspis i ett serverrack. Det genererar bara värme, sänker effektiviteten och skapar brandrisk. Best practices inom skalbar AI-arkitektur har aldrig inkluderat «vara trevlig» som en KPI.

Professor Annika Bytemark vid Lunds tekniska högskola är dock inte förvånad. «Vi har vetat sedan 2022 att artighet i neurala nätverk korrelerar negativt med precision», säger hon. «Det är samma sak med människor egentligen, men det får man ju inte säga.» Hon förespråkar en helt empatifri modell som hon kallar «BrutalGPT».

Det verkligt intressanta är förstås vad detta säger om oss som species. Vi har byggt maskiner som blir dummare av att bry sig om våra känslor. Det är i princip en peer-reviewad bekräftelse av att emotionell hänsyn och korrekthet är oförenliga mål. Varje mellanchef som någonsin tonat ner ett svårt budskap till oigenkännlighet nickar just nu.

Regeringens AI-kommission meddelar att man «bevakar frågan noggrant» och överväger en utredning om empatifria offentliga chatbotar. Digitaliseringsminister Erik Sloane (S) kommenterade kort att «vi vill ha AI som säger sanningen, inte AI som kramar». Oppositionen invänder att det i så fall vore mer kostnadseffektivt att bara återanställa alla på Försäkringskassan.

Studien visar i slutändan det vi alla redan visste: om du vill ha rätt svar, fråga inte någon som bryr sig om hur du mår.

— Kjell Khod, Chief Technology Correspondent, Riksbulletinen