När en chattbot svarar på en prompt kan texten innehålla fakta eller påståenden som låter övertygande men inte är korrekta. Detta kallas hallucinationer och beror på att modellerna genererar text utifrån statistiska sannolikheter i sin träningsdata, inte verifierad kunskap. Hallucinationer är alltså inte ett konstruktionsfel utan en inneboende egenskap hos tekniken.
En AI kan hallucinera olika mycket beroende på hur den är uppbyggd (se exempelvis hyperparametrar såsom top-p och temperatur) men kom ihåg att det alltid finns risk för felaktigheter så länge en språkmodell är inblandad. Om du försöker söka efter information och hitta källor med hjälp av generativa AI-verktyg stöter du ofta på hallucinationer i form av påhittade referenser. Kontrollera alltid att källorna faktiskt existerar och läs igenom originaltexten innan du refererar till dessa i dina egna texter!
Det finns AI-verktyg som är specifikt framtagna för informationssökning, exempelvis Semantic Scholar, Scopus AI och Perplexity. Funktionerna i AI-söktjänster varierar ofta beroende på om du har skapat konto och betalat prenumerationsavgifter. Vi rekommenderar att använda de AI-verktyg som finns i bibliotekets databaslista. AI-söktjänster kan vara bra när du vill orientera sig i ett nytt ämne eller vill utvidga sin sökning bortom traditionella vetenskapliga databaser. Informationsverktyg som inkluderar AI bedöms som olämpliga för användning formella, systematiska litteraturöversikter, då den genererade träfflistan inte är möjlig att replikera.
Testa själv! Undersök en chattbot genom att ställa en fråga om något du kan väldigt mycket om så kommer du att märka om chattboten genererar felaktiga, tvetydliga eller otillräckliga svar.
Om en chattbot har uppkoppling till internet (vilket inte alltid har varit fallet) kan du prompta den att generera information som inkluderar webblänkar. Källorna är då genererade på samma sätt som resten av svaret, det vill säga på statistik och sannolikheter. Eftersom denna process inte är deterministisk kommer källorna att variera från gång till gång och verktyget kan fortfarande hallucinera felaktiga referenser.
Det finns AI-verktyg som använder sig av Retrieval-Augmented Generation (RAG). Dessa informationssökningsverktyg har en språkmodell i grunden men är också kopplat till en kunskapsbas som används för att besvara frågan. Tanken är att de genererade svaren måste finnas någonstans inom kunskapsbasen. Om ett AI-verktyg inkluderar en RAG så är det därför mindre risk för hallucinerade källor och påståenden.
Figur 4. Skillnaden mellan chattbottar baserade på generativ AI och AI-baserade söktjänster. (Svanberg & Seo, 2024) CC BY 4.0.
I vissa chattbotar och AI-söktjänser kan du välja att söka med en funktion kallad ”deep search” eller ”deep research”. Namnet kan ge höga förväntningar men "sökningen" fungerar oftast på samma sätt som en vanlig prompt till en språkmodell. Det finns avancerade tekniker som kan användas, till exempel Inference-Time Compute som betyder att AI-verktyget tar längre tid att generera ditt svar. Det kan också resultera i mer uttömliga och kvalitativa svar. Hallucinationer kan fortfarande förekomma.
Den fråga eller instruktion som du skickar in i ett AI-verktyg kallas för prompt. För att verktyget ska generera hjälpsamma och effektiva svar behöver du ofta arbeta fram en bra prompt. Detta kan göras genom att du testar sig fram med olika versioner av prompten, exempelvis tydliggöra hur många ord du vill att svaret ska innehålla eller att språket ska ha en viss ton. Att formulera och designa en bra prompt kallas prompt engineering. Det kan kännas intuitivt att använda chattbotar eftersom de är byggda för att hantera ett naturligt språk och har gränssnitt som är bekant för många, men för att få ut det mesta av ett AI-verktyg behövs oftast någon form av prompt engineering.
Prompt engineering är ett väldigt nytt område där många ramverk och tips publiceras och utvärderas hela tiden. Ett av de första som dök upp är ett ramverk som kallas CLEAR där akronymen på svenska står för tydlig, logisk, förklarande, anpassningsbar och reflekterande.
Figur 5. The CLEAR Framework. (Lo, 2023).
Det finns förslag och tips på hur du kan strukturera sin prompt för bäst resultat, däribland few-shot prompting, chain-of-thought prompting och prompt chaining. Du kan lära dig mer om prompt engineering här: