Kan vi lita på ChatGPT?

Olof Sundin benar ut och visar på risker som är förenade med att använda generativ AI som sökverktyg. 

– Det vi ser är ett paradigmskifte i hur vi traditionellt söker, värderar och förstår information.

Traditionellt kunskapssökande, som att googla, leder oss till källor som vi kan värdera. Vi ser författare och publikation och kan bedöma trovärdigheten. Men i språkmodeller som Chat GPT

får du ett svar, men källorna blir mer osynliga och ibland helt frånvarande. 

– Svaret är baserat på sannolikhetsberäkningar av de ord du är intresserad av, inte på verifierbara uppgifter. De här språkmodellerna gissar vilka ord som sannolikt kommer härnäst, säger Olof Sundin.

Källkritikens återvändsgränd

Utan källor försvinner transparensen och ansvaret för att värdera svaret hamnar på användaren.

– Det är väldigt svårt att värdera kunskap utan källor om du inte kan ämnet, eftersom det är ett källkritiskt uppdrag, säger Olof Sundin.

Han beskriver det som ett brott mot traditionen om vem som ska kunna värdera, vem som tar ansvar för kunskapen.

För att bli mer transparent har vissa AI-system börjat använda RAG (Retrieval Augmented Generation), i vilken språkmodellen sammanfattar information från faktiska källor.

– Men studier från till exempel Pew Research Institute visar att användarna är mindre benägna att följa länkarna än tidigare. Färre klick på ursprungliga källor, som bloggar, tidningar och Wikipedia, hotar det digitala kunskapsekosystemet.

Om vi slutar klicka på länkarna minskar trafiken till källorna. Det blir svårare att finansiera kvalitetsjournalistik och expertinnehåll:

– Utan klick på förstörs en del av ekosystemet, säger Olof Sundin.

Vi söker efter svar – inte källor

Människor tenderar att ställa komplexa frågor till de stora språkmodellerna, som svarar auktoritativt och med en övertygande ton. Det gör det lätt att tro på svaret.

– Det har troligen alltid varit så att vi ofta söker efter svar och inte källor. Men när vi får enbart svar och inga källor blir vi sämre på källkritik och mer beroende av systemen, säger Olof Sundin.

Hur systemen tränas och modereras kan göra dem sårbara för påverkan.  GROK, Elon Musks språkmodell, som vid ett tillfälle under sommaren började ge pronazistiska svar är ett exempel på hur en modell börjat ge märkliga svar.

– Då ser man hur lätt svaren kan påverkas. Vem bestämmer hur språkmodellerna tränas, på vad för texter och med vilket syfte? säger Olof Sundin. Det skulle till exempel gå att träna en AI modell till att bli vaccinskeptiskt.

Olof Sundin intresserar sig för hur synen på expertis förändras när vi möter så kallad syntetisk AI-expertis, det vill säga AI-system som låter kunniga, men som inte har mänsklig erfarenhet eller ansvar.

– Människor säger ofta att de bara litar på AI när det gäller enkla frågor. Men forskning visar att de i vardagen faktiskt litar mer på AI än vad de tror, säger Olof Sundin.

Men samtidigt kan generativ AI ibland ge felaktiga svar och på så sätt skada tilliten till kunskap i samhället. Det uppstår en osäkerhet och man vet inte längre varför man får det svar man får och vad som är sant.

– När tilliten urholkas finns en risk att man börjar misstro allt och då kan man resonera som så att man lika gärna kan tro på vad man vill, säger Olof Sundin.

Olof Sundin ser en stor fara för två nödvändiga förutsättningar för att kunna utöva sina demokratiska rättigheter – källkritiskt tänkande och förmågan att värdera olika röster.

– När flödet av kunskap och information blir mindre transparent – att vi inte förstår varför vi möter det vi möter online – riskerar vi att tappa den förmågan. Detta är en fråga vi måste ta på allvar – innan vi låter våra ”digitala vänner” ta över helt.