När AI slutar rekommendera – och börjar bestämma

AI hjälper oss redan att välja vad vi ska se, läsa, köpa och lyssna på. Den sorterar bort information, lyfter fram vissa alternativ och prioriterar sådant som systemet bedömer som relevant. Ofta märker vi knappt att besluten har flyttats från oss till en algoritm. Men utvecklingen går längre. Nya AI-system kan inte bara ge råd, utan också agera på egen hand, fatta prioriteringar och genomföra uppgifter utan att vi uttryckligen har bett om varje steg. Frågan är därför inte längre bara om AI kan hjälpa oss. Den är vem som egentligen bestämmer när hjälpen blir så omfattande att våra egna val börjar styras.

När algoritmen väljer åt dig

Det börjar ofta med något som känns harmlöst. En streamingtjänst föreslår nästa serie, en nätbutik visar produkter du sannolikt vill köpa och ett socialt medium bestämmer vilka inlägg som hamnar överst i flödet. Du behöver inte fatta beslutet själv, eftersom systemet redan har gjort ett urval åt dig. Det är bekvämt, och ofta är rekommendationerna faktiskt användbara. Problemet uppstår när vi glömmer att varje rekommendation också innebär att mängder av andra alternativ har sorterats bort. Det AI-systemet visar är alltså inte hela verkligheten, utan en version som har valts ut åt dig.

Det osynliga urvalet

Rekommendationssystem arbetar genom att analysera stora mängder information om vad människor gör, söker efter och väljer. AI kan väga samman tidigare beteende med uppgifter om innehåll, andra användares beteenden och olika signaler om vad som verkar relevant. Resultatet blir en rangordning. Det som bedöms som mest intressant placeras längst fram, medan annat hamnar längre ner eller försvinner ur synfältet. Ingen behöver säga åt systemet att bestämma vad du ska välja. Ändå får rangordningen praktiska konsekvenser, eftersom människor oftast väljer bland de alternativ de faktiskt ser.

Det här är särskilt tydligt i sociala medier. Ett flöde är inte längre en neutral kronologisk sammanställning av vad som publicerats. Innehållet filtreras och prioriteras utifrån vad systemet bedömer att du sannolikt kommer att reagera på. Samma princip används i allt från nyhetsappar till sökmotorer. Målet kan vara att göra tjänsten mer relevant, men systemets definition av relevans behöver inte sammanfalla med användarens. Det som fångar uppmärksamheten behöver exempelvis inte vara det viktigaste, mest tillförlitliga eller mest balanserade.

Bekvämlighet har ett pris

Det finns samtidigt goda skäl till att människor accepterar den här typen av automatisering. Ingen vill bläddra igenom miljontals produkter för att hitta ett par skor eller manuellt sortera hundratals filmer för att hitta något att titta på. AI kan minska informationsöverflödet och göra digitala tjänster betydligt enklare att använda. Men bekvämligheten gör också att vi lätt slutar ifrågasätta urvalet. När samma typ av rekommendationer återkommer kan det dessutom skapa en känsla av att det vi får se är det som faktiskt är mest relevant, snarare än det som systemet har bedömt som relevant.

• Vad som visas först påverkar vad vi uppmärksammar.

• Det som sorteras bort kan bli praktiskt osynligt.

• Rekommendationer kan förstärka tidigare beteenden och preferenser.

• Systemets mål behöver inte vara samma som användarens mål.

• Ju mer automatiserat urvalet blir, desto mindre behöver vi själva aktivt välja.

När valfriheten krymper

Det betyder inte att AI automatiskt tar ifrån oss vår valfrihet. Vi kan fortfarande söka efter andra alternativ, byta tjänst eller ignorera rekommendationerna. Men valfrihet handlar inte enbart om vilka alternativ som tekniskt finns tillgängliga. Den handlar också om vilka alternativ vi faktiskt upptäcker och överväger. Om ett system konsekvent placerar vissa val framför andra kan det påverka våra beslut utan att vi upplever att någon har fattat beslutet åt oss. Där ligger en viktig förändring. AI behöver inte säga ”Välj detta” för att påverka vad vi till slut väljer.

Från rekommendation till automatisk prioritering

Skillnaden mellan att rekommendera och att prioritera kan verka liten, men den blir viktig när AI-system används i situationer där många saker konkurrerar om samma begränsade resurser. Det kan handla om tid, uppmärksamhet, pengar eller mänsklig arbetskraft. Ett system som sorterar kundärenden, prioriterar arbetsuppgifter eller avgör vilka meddelanden som behöver uppmärksammas först gör mer än att presentera alternativ. Det skapar en ordning som andra sedan förväntas följa. När den ordningen blir en del av vardagens arbetsflöde kan AI:s bedömning få större betydelse än användaren från början tänkt sig.

Vem bestämmer vad som är viktigt?

Prioritering kräver alltid någon form av kriterium. Ett AI-system kan exempelvis bedöma att ett ärende är brådskande, att en kund är särskilt värdefull eller att en arbetsuppgift bör hanteras före en annan. Problemet är att sådana bedömningar ofta bygger på modeller och data som användaren inte ser. Ett system kan vara mycket effektivt på att följa sina instruktioner och samtidigt göra prioriteringar som känns märkliga för den som möter resultatet. Frågan blir därför inte bara om AI har rätt, utan vem som har bestämt vad ”rätt” innebär från början.

I vardagen kan den här mekanismen vara svår att upptäcka. Om en inkorg sorterar bort vissa meddelanden eller ett arbetsverktyg automatiskt placerar vissa uppgifter högst upp, kan det framstå som en neutral effektivisering. Men prioriteringen påverkar vad människor gör härnäst. Det som ligger överst blir ofta gjort först. Det som markeras som mindre viktigt kan vänta. På så sätt kan en algoritmisk bedömning gradvis förvandlas till en mänsklig handling, även om ingen person aktivt har fattat beslutet att följa systemets rekommendation.

När prioriteringen blir norm

Ju mer ett system används, desto lättare kan dess prioriteringar börja uppfattas som självklara. Om samma typ av ärenden konsekvent hamnar högst upp kan människor vänja sig vid att det är just dessa som ska hanteras först. Det skapar en risk för en form av automatiserad auktoritet. Systemet behöver inte vara juridiskt eller formellt ansvarigt för besluten för att ändå få stort inflytande över dem. När människor litar på att AI har analyserat mer information än de själva hinner göra kan det dessutom kännas rationellt att följa systemets bedömning.

Det blir särskilt känsligt när prioriteringen påverkar människor direkt. Ett system kan exempelvis rangordna vilka kunder som ska få snabbast service eller vilka ansökningar som bör granskas först. Då är det inte längre bara en fråga om bekvämlighet. Den automatiska sorteringen kan påverka vem som får vänta, vem som får uppmärksamhet och vilka frågor som anses mest angelägna. Därför spelar det stor roll om människor kan förstå varför en viss prioritering har gjorts och om någon faktiskt kan ändra den när systemet har fel.

Effektivitet kontra mänskligt omdöme

AI kan vara mycket bättre än människor på att snabbt bearbeta stora informationsmängder. Det är en av de viktigaste anledningarna till att automatiserad prioritering blir attraktiv. Men effektivitet säger inte automatiskt något om kvaliteten på själva beslutet. Ett system kan optimera exakt det mål det har fått, samtidigt som målet är för snävt eller bygger på bristfälliga antaganden. Därför behöver människor fortfarande kunna ifrågasätta prioriteringar, förstå deras konsekvenser och ta över när situationen kräver ett sammanhang som modellen inte kan bedöma.

När AI får agera utan att fråga först

Den största förändringen kommer när AI inte längre stannar vid att föreslå eller prioritera. Med så kallade agentiska system kan AI i högre grad planera flera steg, använda verktyg och utföra handlingar på egen hand. I stället för att fråga användaren vad som ska göras efter varje moment kan systemet få ett övergripande mål och själv avgöra vilka steg som krävs. Det kan göra tekniken betydligt mer användbar, men samtidigt förändras relationen mellan människa och maskin. AI blir inte bara ett verktyg som svarar. Det blir en aktör som handlar.

Från instruktion till uppdrag

Skillnaden kan beskrivas som skillnaden mellan att be en AI skriva ett mejl och att be den hantera en hel uppgift. I det första fallet är användaren fortfarande nära varje beslut. I det andra kan systemet själv behöva välja vilka åtgärder som krävs, i vilken ordning de ska utföras och när uppgiften är färdig. Det är effektivt när allt fungerar som tänkt. Men varje självständig handling innebär också ett beslut som användaren kanske aldrig uttryckligen har formulerat. Ju fler steg systemet kan ta på egen hand, desto fler sådana beslut kan uppstå.

Det förändrar också frågan om vad användaren egentligen har godkänt. Om någon exempelvis ber en AI att organisera en kalender kan det verka självklart att systemet flyttar ett möte för att skapa mer utrymme. Men vad händer om det innebär att en annan person får sin tid ändrad utan att ha blivit tillfrågad? Eller om AI skickar ett meddelande, gör en bokning eller prioriterar bort en uppgift? Systemet kan ha följt uppdragets logik utan att ha förstått den sociala eller praktiska betydelsen av varje enskild handling.

När systemet fyller i luckorna

Ett agentiskt system måste ofta hantera information som användaren inte har specificerat. Där uppstår en central risk. När instruktionen är ofullständig måste AI fylla i luckorna genom att tolka vad som sannolikt var meningen. Det kan fungera utmärkt i enkla situationer, men samma egenskap kan skapa problem när flera rimliga tolkningar finns. Ett system som är designat för att agera snarare än att ständigt fråga om lov kan fortsätta framåt även när det egentligen borde stanna upp och be om ett förtydligande.

Det är därför kontroll blir viktigare när AI får större handlingsutrymme. Användaren behöver inte nödvändigtvis godkänna varje enskilt steg, men det bör finnas tydliga gränser för vad systemet får göra självständigt. Vissa beslut kan vara helt ofarliga att automatisera. Andra kan kräva mänskligt godkännande eftersom konsekvenserna är större eller svårare att återställa. Utmaningen blir att avgöra var den gränsen ska gå och vem som har ansvaret när systemet gör något som ingen människa uttryckligen bad det att göra.

Vem bär ansvaret?

När AI bara ger ett förslag är det relativt enkelt att säga att människan fattar det slutliga beslutet. När systemet däremot själv genomför handlingar blir ansvarsfördelningen mer komplicerad. Användaren kan ha gett instruktionen, utvecklaren har byggt systemet och organisationen har bestämt hur det ska användas. Samtidigt kan den konkreta handlingen ha uppstått genom AI-systemets egen tolkning av situationen. Därför blir frågan om AI:s beslutsmakt också en fråga om mänsklig kontroll. Tekniken kan göra mer åt oss, men det måste fortfarande vara tydligt vem som får säga stopp.