Suuri kielimalli (LLM)
Kielimalli tekee koko elämänsä ajan yhtä ainoaa asiaa: arvaa mikä tokeni tulee seuraavaksi. Kaikki muu – vastaaminen, tiivistäminen, koodi – on seurausta siitä yhdestä tehtävästä, ja niin ovat myös sen sokeat pisteet.
Mikä on suuri kielimalli?
Suuri kielimalli on neuroverkko, joka on opetettu yhteen ainoaan tehtävään: ennustamaan mikä tokeni seuraa tekstissä edellisiä. Opetusaineistona on valtava määrä tekstiä, ja malli käy sitä läpi säätämällä miljardeja sisäisiä lukuarvoja niin, että sen arvaukset osuvat yhä useammin oikeaan. Mitään erillistä opetusta vastaamiseen, tiivistämiseen tai kääntämiseen ei ole – ne kaikki ovat seurausta siitä, että todennäköisimmän jatkon tuottaminen edellyttää kielen, rakenteiden ja aineistossa toistuvien asiayhteyksien mallintamista.
Tästä seuraa myös hämmentävin osa: sama mekanismi tuottaa loistavan vastauksen ja täysin virheellisen vastauksen aivan yhtä vakuuttavassa muodossa. Malli ei erottele niitä, koska sillä ei ole erillistä käsitystä totuudesta – on vain todennäköinen jatko.
Kannattaa myös pitää erillään malli ja tuote. Malli on se opetettu verkko, esimerkiksi jokin GPT- tai Claude-sukupolvi. Tuote on se keskustelusovellus, työpöytäohjelma tai rajapinta, jonka kautta mallia käytetään. Sama malli voi olla usean tuotteen takana, ja saman tuotteen takana oleva malli voidaan vaihtaa uudempaan ilman että käyttöliittymässä muuttuu mikään. Siksi lause "sovellus muuttui tyhmemmäksi" tarkoittaa yleensä jotain tuotteen asetuksissa, ei mallissa.
Miten kielimallit osaavat suomea
Suomi on opetusaineistossa pieni kieli. Verkon suomenkielinen teksti on murto-osa englanninkielisestä, ja tämä epäsuhta näkyy kahtena eri asiana, jotka menevät helposti sekaisin.
Kielioppi on nykyisillä sukupolvilla hyvä. Malli taivuttaa, yhdistää sanoja ja rakentaa lauseet luontevasti, ja karkeat kielivirheet ovat harvinaisia. Suomalainen asiatieto on sen sijaan ohuempaa. Lainsäädäntö, viranomaiskäytännöt ja kotimaiset toimijat esiintyvät aineistossa harvemmin, joten mallin käsitys niistä on karkeampi ja päivittyy hitaammin kuin sen englanninkielinen tietämys. Käytännössä tämä tarkoittaa, että mallin suomenkielinen vastaus kuulostaa yhtä varmalta riippumatta siitä, onko sen takana vahvaa vai olematonta aineistoa.
Mallien välillä on myös todellisia eroja siinä, kuinka luontevalta suomi kuulostaa – yksi tuottaa suoraa yleiskieltä, toinen käännöksenmakuista tekstiä, jossa lauserakenteet ovat englannista. Siksi vertailimme suomen kielen laatua erikseen suomenkielisillä tehtävillä. Sama epäsuhta näkyy myös tokenoinnissa: suomi kuluttaa enemmän tokeneita kuin sama asiasisältö englanniksi.
Mitä kielimalli ei ole
Kielimalli ei ole tietokanta. Se ei tallenna faktoja kenttiin, joista ne haettaisiin nimellä, vaan tieto on hajautunut painoihin tilastollisina yhteyksinä. Siksi malli voi muistaa yleisen asian tarkasti ja harvinaisen asian väärin, ja sekoittaa kaksi lähekkäistä asiaa toisiinsa täysin huomaamattaan.
Se ei myöskään ole hakukone. Perusmalli ei ota yhteyttä mihinkään vastatessaan, ei tarkista väitteitään mistään eikä tiedä mikä päivä tänään on, ellei sitä kerrota sille. Sen tietämys päättyy siihen hetkeen, johon opetusaineisto ulottuu. Nykyiset tuotteet paikkaavat tätä liittämällä malliin hakutyökalun, mutta silloinkin haku on erillinen osa, joka syöttää malliin tuoretta tekstiä – ei mallin oma kyky.
Nämä kaksi asiaa selittävät suurimman osan siitä, mitä kutsutaan nimellä hallusinaatiot. Malli ei valehtele eikä erehdy samalla tavalla kuin ihminen, joka luulee muistavansa. Se tuottaa uskottavan jatkon, ja kun aineistossa ei ollut oikeaa vastausta, uskottava jatko on keksitty.
Liittyvät käsitteet
Token on se yksikkö, jota kielimalli ennustaa, ja konteksti-ikkuna on se tila, jonka verran mallilla on tokeneita mielessään kerralla. Tekoälyagentti on kielimalli, jolle on annettu työkaluja ja lupa käyttää niitä itsenäisesti. Koko sanasto on sanastosivulla.
Usein kysytyt kysymykset
Mitä eroa on kielimallilla ja tekoälyllä?
Tekoäly on yläkäsite, joka kattaa kaiken suositusalgoritmeista konenäköön ja robotiikkaan. Kielimalli on yksi tekoälyn laji: järjestelmä, joka on opetettu ennustamaan tekstiä. Arkikielessä sanat ovat menneet sekaisin, koska useimmat kohtaavat tekoälyn nimenomaan keskustelevan kielimallin muodossa. Ero kannattaa silti pitää mielessä, koska se selittää mitä järjestelmältä voi odottaa. Kielimalli käsittelee kieltä eikä esimerkiksi tunnista kasvoja kuvasta, ellei siihen ole erikseen liitetty muita osia. Nykyiset tuotteet ovatkin yhdistelmiä: kielimalli hoitaa keskustelun, ja erilliset osat hoitavat kuvantunnistuksen, haun ja koodin ajamisen.
Onko isompi malli aina parempi?
Ei ole. Koon kasvattaminen paransi malleja pitkään niin suoraviivaisesti, että siitä tuli itsestäänselvyys, mutta viime sukupolvissa ero on kaventunut. Pienemmät mallit opetetaan huolellisemmin valitulla aineistolla ja hiotummilla menetelmillä, ja moni niistä pärjää arkitehtävissä yhtä hyvin kuin selvästi suurempi edeltäjänsä. Suuri malli myös vastaa hitaammin, mikä tuntuu heti kun tehtäviä on paljon peräkkäin. Nyrkkisääntö on, että vaativa päättely, pitkien dokumenttien käsittely ja monimutkainen koodi hyötyvät suurimmasta saatavilla olevasta mallista, kun taas tiivistäminen, kääntäminen ja muotoilu eivät juuri lainkaan. Kokeile omalla tyypillisellä tehtävälläsi ennen kuin päätät.
Osaavatko kielimallit suomea hyvin?
Kielioppi on nykyisillä sukupolvilla hyvällä tasolla: teksti taipuu oikein ja virheet ovat harvinaisia ja pieniä. Ongelma on toisaalla. Suomenkielistä aineistoa on opetusmateriaalissa murto-osa englanninkieliseen verrattuna, joten suomalainen asiatieto eli lainsäädäntö, viranomaiskäytännöt ja paikallinen konteksti on ohuempaa ja päivittyy hitaammin kuin englanninkielinen vastine. Malli kirjoittaa väärästä asiasta yhtä sujuvasti kuin oikeasta, joten sujuvuudesta ei voi päätellä luotettavuutta. Mallien välillä on myös aitoja eroja siinä, kuinka luontevalta suomi kuulostaa, ja siksi vertailimme kielen laatua erikseen suomenkielisillä tehtävillä.
Oppiiko malli niistä keskusteluista, joita käyn sen kanssa?
Ei siinä mielessä kuin useimmat kuvittelevat. Mallin painot lukitaan opetusvaiheessa, eikä yksittäinen keskustelu muuta niitä. Kun malli näyttää muistavan aiemmin kertomasi, kyse on joko saman keskustelun konteksti-ikkunasta tai erillisestä muistiominaisuudesta, joka tallentaa poimintoja ja liittää ne myöhempiin keskusteluihin. Se on tuotteen ominaisuus, ei mallin oppimista. Erillinen kysymys on, käytetäänkö keskusteluja tulevien mallien opettamiseen. Se riippuu palvelusta ja tilin asetuksista, ja kuluttajaversioissa oletus on usein eri kuin yrityskäyttöön tarkoitetuissa versioissa. Asetus kannattaa tarkistaa itse, jos syötät arkaluontoista aineistoa.