Hallusinaatio
Malli ei valehtele eikä arvaa – se tuottaa todennäköisintä jatkoa tekstille. Joskus todennäköisin jatko on väärä, ja silloin se kuulostaa täsmälleen yhtä varmalta kuin oikea vastaus.
Mikä on hallusinaatio?
Hallusinaatio tarkoittaa sitä, että kielimalli tuottaa uskottavalta kuulostavaa mutta virheellistä tietoa – ja esittää sen täsmälleen samalla varmuudella kuin oikean vastauksen. Syy on mallin toimintaperiaatteessa. Se ei hae faktaa mistään tietokannasta eikä tarkista väitteitään, vaan ennustaa mikä sana on todennäköisin jatko edelliselle. Kun oikeaa tietoa on aineistossa runsaasti, todennäköisin jatko sattuu olemaan oikea. Kun sitä ei ole, todennäköisin jatko on silti jokin – ja se muotoillaan yhtä sujuvasti.
Tästä seuraa kaksi asiaa, jotka kannattaa ymmärtää yhdessä. Hallusinaatio ei ole vika, joka joskus korjataan pois, vaan sama mekanismi, joka tuottaa myös kaikki oikeat vastaukset. Eikä malli tiedä olevansa väärässä, joten epävarmuus ei näy vastauksen sävyssä. Ihminen tunnistaa arvauksen yleensä varovaisesta sanamuodosta. Mallilla sitä vihjettä ei ole.
Miksi suomalainen käyttäjä törmää tähän useammin
Suomenkielinen ja Suomea koskeva tieto on opetusaineistossa marginaalissa. Aineisto on valtaosin englanniksi ja käsittelee isoja markkinoita, joten meikäläiset yksityiskohdat ovat siellä keskimääräistä ohuemmin edustettuina ja useammin vanhentuneita. Käytännössä riski kasautuu samoihin kohtiin: säädösmuutoksiin, viranomaisten ja palveluiden nimiin, lomakkeisiin, määräaikoihin ja paikallisiin käytäntöihin, jotka muuttuvat mutta joista ei kirjoiteta verkossa kymmeniä tuhansia kertoja.
Konkreettinen esimerkki on arvonlisävero. Yleinen arvonlisäverokanta nousi Suomessa 25,5 prosenttiin syyskuussa 2024, mutta malli tuottaa yhä säännöllisesti vanhaa lukua. Se ei johdu siitä, etteikö muutos olisi aineistossa, vaan siitä että vanhaa lukua on siellä vuosikymmenen verran ja uutta muutaman vuoden. Todennäköisin jatko on edelleen se vanha. Sama logiikka toistuu kaikissa suomalaisissa luvuissa ja nimissä, jotka ovat vaihtuneet viime vuosina.
Miten hallusinaation tunnistaa ja estää
Tunnistaminen alkaa siitä, että tietää mitä katsoa. Riskialttiita ovat nimenomaan tarkat väitteet: henkilöiden ja organisaatioiden nimet, luvut ja prosentit, päivämäärät, lakipykälät ja pykäläviittaukset sekä lähdeviitteet ja linkit. Sujuva yleisluontoinen selitys menee harvemmin pieleen kuin yksi täsmällinen numero keskellä sitä. Jos vastauksessa on jokin näistä ja asialla on merkitystä, se tarkistetaan alkuperäisestä lähteestä – ei kysymällä mallilta uudestaan, koska se tuottaa yhtä varman vastauksen myös toisella kerralla.
Estäminen on helpompaa kuin jälkikäteen tarkistaminen. Lähteitä hakeva työkalu pienentää riskiä selvästi, koska vastaus kirjoitetaan haettujen dokumenttien pohjalta eikä pelkän muistin varassa, mutta se ei poista riskiä: lähde voi olla huono tai tiivistys väärä. Vielä varmempi tapa on antaa oikea tieto itse kehotteessa. Kun liität mukaan säädöstekstin, hinnaston tai ohjeen ja pyydät mallia pysymään siinä, se ei enää joudu arvaamaan. Promptausohje käy läpi, miten tausta-aineisto kannattaa muotoilla.
Liittyvät käsitteet
Kielimalli on järjestelmä, jonka ennustusluonteesta hallusinaatio seuraa. Kehote on tärkein yksittäinen keino rajata sitä, ja token selittää, miksi pitkä tausta-aineisto ei aina mahdu mukaan kerralla. Koko sanasto on sanastosivulla.
Usein kysytyt kysymykset
Katoaako hallusinaatio uusien mallisukupolvien myötä?
Ei kokonaan, koska kyse ei ole bugista vaan siitä tavasta, jolla malli tuottaa tekstiä. Uudemmat mallit hallusinoivat harvemmin ja myöntävät tietämättömyytensä useammin kuin muutaman vuoden takaiset, mutta ne myös kirjoittavat sujuvammin, mikä tekee jäljelle jäävistä virheistä vaikeampia huomata. Käytännön ero on siis pienempi kuin versionumeroista voisi päätellä. Suomenkielisissä yksityiskohdissa parannus näkyy hitaammin kuin englanniksi, koska pullonkaula on aineiston ohuus eikä mallin koko. Tarkistamisen tarve ei siis poistu mallia vaihtamalla.
Auttaako, jos käskee mallia olemaan keksimättä mitään?
Vähän, mutta ei niin paljon kuin toivoisi. Ohje tyyliin "älä keksi mitään, sano jos et tiedä" siirtää mallia varovaisempaan suuntaan ja lisää selvästi niiden vastausten määrää, joissa se kertoo olevansa epävarma. Malli ei kuitenkaan tarkista väitteitään mistään, joten se ei voi tietää olevansa väärässä silloin kun se on. Ohje auttaa siksi eniten rajatapauksissa ja vähiten juuri niissä kohdissa, joissa malli on itsevarmimmillaan. Tehokkaampaa on antaa oikea tieto itse kehotteessa kuin kieltää keksiminen.
Miksi malli keksii lähdeviitteitä ja linkkejä?
Koska lähdeviite on muodoltaan hyvin säännönmukainen: tekijä, vuosi, otsikko, julkaisu, osoite. Malli on nähnyt tuhansia viitteitä ja oppinut niiden rakenteen, joten se osaa tuottaa täysin uskottavan näköisen viitteen ilman että sen takana on olemassa olevaa julkaisua. Sama koskee verkko-osoitteita, jotka noudattavat ennustettavaa kaavaa. Keksitty viite on erityisen harhaanjohtava, koska se näyttää nimenomaan todisteelta. Jokainen viite ja linkki kannattaa avata ja tarkistaa, ellei malli ole hakenut sitä verkosta samalla hetkellä.
Onko hakutoiminto lopullinen ratkaisu ongelmaan?
Ei, vaikka se auttaa selvästi. Kun työkalu hakee lähteitä verkosta ja kirjoittaa vastauksen niiden pohjalta, tuoreet luvut ja päivämäärät osuvat oikein paljon useammin kuin pelkän muistin varassa. Virhe siirtyy kuitenkin toiseen paikkaan: malli voi valita heikon lähteen, tulkita sen väärin tai tiivistää sen tavalla, joka muuttaa merkityksen. Lisäksi vastaukseen sekoittuu usein hakutuloksia ja mallin omaa muistia ilman että rajaa näkee. Lähdelinkki on siis tarkistettava, ei todiste.