Algoritmen diskriminerar inte – den råkar bara hata hummus
Styrbjörn Fastlås om hur Shopify frös en iransksvensk matbutik – och hur algoritmisk diskriminering kallas neutralitet.
Foto: Bildbyrån Riksbulletinen
KRÖNIKA
Det finns en sorts teknisk oskuld i vår tid, en naiv föreställning om att maskiner inte kan hysa fördomar eftersom de saknar hjärta. Jag tänkte länge likadant. Sedan försökte en iransk farmor sälja sin advieh på nätet.
Jag måste bekänna att jag, Styrbjörn Fastlås, chefredaktör och mångårig iakttagare av den digitala civilisationens märkligare utväxter, länge har hyst en viss beundran för de stora plattformarnas förmåga att omvandla komplexa etiska frågor till enkla kryssrutor i ett formulär som ingen människa någonsin kommer att läsa. Det är en konst, ska man veta, att konstruera ett system som är tillräckligt trubbigt för att träffa oskyldiga, men tillräckligt sofistikerat för att undkomma ansvar.
Det hela började, som så ofta är fallet med mina bästa krönikor, med en middag. En kollega berättade om en iransk-svensk matentreprenör – låt oss kalla henne Nasrin, vilket råkar vara hennes namn – som i flera år med stor framgång sålt hemlagade kryddor, konserver och sötsaker via Shopify. Hennes butik var liten, hennes omsättning blygsam, hennes kundkrets lojal på det vis som endast människor som verkligen saknar sin mormors kökslukt kan vara. Och sedan, en dag, frös plattformen hennes konto. Utan förvarning. Utan förklaring av substans. Med hänvisning till att hennes verksamhet, efter en automatiserad granskning, befanns kollidera med amerikanska sanktionsregler mot Iran.
Nasrin säljer alltså inte vapen. Hon säljer inte kärnteknologi, dual-use-komponenter eller hemliga dokument förpackade i saffransförpackningar. Hon säljer advieh, det vill säga en kryddblandning som, om den utgör ett hot mot den internationella säkerhetsordningen, talar det mer om ordningens bräcklighet än om kryddans farlighet. Men algoritmen, den trötte och samvetsgranne algoritmen, såg ett iransk klingande namn, en koppling till iransk matkultur, möjligen ett iranskt telefonnummer i bakgrunden, och drog den enda logiska slutsatsen: stopp.
Neutralitetens mask och sanktionernas långa arm
Här är det som fascinerar mig mest, och som jag tvingas återkomma till varje gång en plattform försäkrar världen om sin strikt politiska neutralitet: neutralitet är aldrig neutral. Ett system som är designat för att implementera amerikanska exportkontrollagars vidaste möjliga tolkning, och som saknar mekanismer för att skilja mellan en Teheranbaserad vapenhandlare och en Göteborgsbosatt pensionär som säljer berberis, är inte neutralt. Det är ett instrument för en specifik geopolitisk logik, klädd i mjukvarans opartiska skrud.
Jag har själv, under åren, skrivit åtskilliga meningar om hur teknikbolagen är de nya staterna, med egna lagar, egna gränser och egna medborgare som aldrig riktigt röstade på dem. Men det slår mig nu, när jag sitter med Nasrins historia framför mig, att jämförelsen haltar på ett avgörande sätt: stater, hur otillfredsställande de än må vara, är åtminstone skyldiga att förklara sig. De måste, i teorin, motivera sina beslut, erbjuda överklaganden, tillhandahålla en människa att tala med. Shopify erbjöd ett formulär.
Och det är just där det absurda når sin fullkomning, det vill säga i det faktum att ingen behöver skämmas, eftersom ingen har gjort något fel. Algoritmen följde reglerna. Reglerna följer lagen. Lagen följer politiken. Politiken följer maktens intressen. Och Nasrin sitter med frysta tillgångar och ett lager saffran hon inte kan sälja, medan hela kedjan av ansvarsfrihet sträcker sig uppåt mot horisonten som en spiral av bureaucratisk skönhet.
Jag avslutar, som alltid, med en iakttagelse som jag önskar att jag inte behövde göra: i en värld där en algoritm kan avgöra vem som får delta i ekonomin baserat på etnisk och geografisk bakgrund, och sedan kalla det regelefterlevnad snarare än diskriminering, har vi inte löst rasismproblemet. Vi har bara automatiserat det, och därmed befriats från besväret att känna skuld.
