Tekoälyn seuraava suuri murros: lähitulevaisuus on päättelyssä, ei pelkässä skaalauksessa

Inspiroiduin kirjoittamaan tämän blogin katsottuani Y Combinatorin tuoreen YouTube-videon, jossa käsiteltiin tekoälyn tulevaisuutta ja suuntaa.

Y Combinator on sijoittanut yrityksiin yli 600 miljardilla dollarilla ja sijoittaa vuosittain satoihin yrityksiin, joten heillä on todella hyvä käsitys sekä startupeista että tekoälystä.

Tekoälyn kehitys on ollut viime vuosina päätä huimaavaa. Olemme siirtyneet valtavasta datasta ja laskentatehosta yksityiskohtaisempaan tekoälyn syvään oppimiseen ja päättelyyn. Nyt puhutaan kuitenkin uudesta, jopa mullistavasta askeleesta tekoälyn kehityksessä: päättelykyvystä.

Mihin tekoäly on menossa, ja miksi päättely on seuraava suuri murros? Tässä kirjoituksessa pureksin, miksi tekoälyn kehityksen suunta on muuttumassa pelkästä skaalauksesta syvempään päättelyyn ja mitä tämä tarkoittaa tulevaisuudellemme.

Tekoälyn skaalaamisesta syvälliseen päättelyyn

Viime vuosina tekoälyn kehitys on ollut paljolti mallien skaalaamista. Suuremmat ja monimutkaisemmat kielimallit ovat tuottaneet yllättäviä tuloksia, mutta nyt kehityksen fokus on siirtymässä uudelle tasolle.

Viime aikoina tekoälyn skaalaamisessa on myös paljon spekuloitu tulleen seinä vastaan, mutta se ei haittaa kuten arvostettu teknologiatoimittaja Casey Newton totesi viime viikon kirjoituksessaan.

Mitä AI scaling law tarkoittaa ja miksi skaalaus ei riitä tulevaisuudessa?

Tekoälyn skaalauslait (AI scaling laws) kuvaavat, kuinka tekoälymallit parantavat suorituskykyään, kun niiden parametrien määrää, koulutusdatan laajuutta ja laskentatehoa kasvatetaan. Suuremmat mallit, enemmän dataa ja tehokkaampi laskentainfrastruktuuri ovat johtaneet merkittäviin edistysaskeleisiin tekoälyn kehityksessä. Tämä lähestymistapa on kuitenkin rajallinen: mitä enemmän resursseja käytetään, sitä pienempiä ovat rajahyödyt, ja samalla kustannukset sekä ympäristövaikutukset kasvavat nopeasti.

Ethan Mollick puhui kahdesta skaalauslaista – kouluttamisesta ja ”ajattelusta” – blogipostauksessaan syyskuussa, jossa hän käy myös läpi viisi tämän hetken edistyneintä tekoälymallia esimerkkeineen. Niitä hän nimittää 2. sukupolven malleiksi (OpenAI:n GPT-4o, Anthropicin Claude 3.5 Sonnet, Googlen Gemini 1.5 Pro ja X.AI:n Grok 2). Kolmannen sukupolven malleja on odotettavissa vuosina 2025 ja 2026.

Näkemykseni mukaan tulevaisuuden tekoälyn kehitys ei voi perustua vain siihen, että kaikki tehdään isommaksi, koska se tuottaa ongelmia myös riittävälle energialle, josta suurin osa ei kulu mallien kouluttamisessa vaan käyttämisessä. Samaan aikaan tekoälymallit kasvavat ja niiden energiasyöpöt ominaisuudet (kuvat, videot ym.) yleistyvät kuten myös käyttäjä- ja käyttömäärät räjähtävät käsiin.

Todellinen murros vaatii laadullista kehitystä, kuten parempaa päättely- ja ymmärryskykyä.

Tulevaisuuden tekoäly voi olla samaan aikaan pienempi ja älykkäämpi – keskittyen esimerkiksi syy-seuraussuhteiden ymmärtämiseen ja inhimillisen ajattelun imitointiin. Tekoälyyn liittyvät haasteet eivät ratkea vain lisäämällä resursseja, vaan kehittämällä tekoälyä, joka ”ajattelee ja oppii” kuin ihmiset.

Ajattelu ja oppiminen on lainausmerkeissä, koska käytännössä tekoälyn ei tarvitse toimia kuin ihmisen aivot. Se voi päästä järkevältä tuntuvaan käyttäytymiseen ja jopa ihmistä älykkäämpään toimintaan ymmärtämättä aivojen toimintaa.

AGI-denialistit usein väittävät ihmistä kyvykkään tekoälyn rakentamisen olevan kaukana tulevaisuudessa, koska emme vieläkään ymmärrä aivojen biologista toimintaa tarpeeksi hyvin. AGI eli Artificial General Intelligence tarkoittaa tekoälyn kehittymistä tasolle, jossa se peittoaa ihmiset suurimmassa osassa arvokkaista ja ajattelua vaativista työtehtävistä.

Jo nykyiset kielimallit pystyvät käsittelemään kieltä 5 miljardia kertaa nopeammin kuin ihminen, vaikka ne eivät pohjaudu aivojen toimintaan. Itse asiassa vain seuraamalla kehityksen vauhtia onkin paljon todennäköisempää ennustaa, että saavuttamalla AGI:n ymmärrämme lopulta aivojenkin toiminnan, eikä toisin päin.

Skaalaus on ollut hyödyllistä tähän asti, mutta tulevaisuus kuuluu päättelykyvylle.

OpenAI o1-malli ensimmäinen oikeasti päättelevä tekoäly

Syyskuussa 2024 julkaistu OpenAI o1-malli on malliesimerkki tästä kehityksestä. Malli pärjää huomattavasti paremmin syvällisiä päättelykykyjä vaativissa tehtävissä kuin aikaisemmat kielimallit.

Yllä olevassa kuvassa on vertailtu OpenAI:n GPT-4o-, o1-preview- ja o1-mallien suorituskykyä. Täysiveristä o1-mallia ei ole vielä julkaistu ChatGPT:n käyttäjille ja o1-preview-malli on saatavilla vain maksaville käyttäjille esim. Plus-tilaajille (20 $ / kk). o1-mallin saavutukset matematiikassa ja koodaamisessa ovat päätä huimaavia. Lisäksi sekä o1-preview että o1 pärjäävät tohtoritason tiedekysymyksissä ihmisasiantuntijaa paremmin.

Miten o1 eroaa aiemmista tekoälymalleista?

GPT-mallit pystyivät antamaan vakuuttavia vastauksia, mutta ne perustivat toimintansa usein pelkkään todennäköisyyteen. Uudet päättelymallit kykenevät analysoimaan ongelmia askel askeleelta (Chain-of-Thought, CoT), aivan kuten ihmiset tekevät.

CoT menetelmää voi itsekin käyttää vaativissa tehtävissä käytettäessä muita kuin näitä päättelymalleja yksinkertaisesti kehottamalla, mutta se ei ole sama asia, vaikka antaakin parempia vastauksia. Olen itse antanut välillä sen verran vaativia tehtäviä o1:lle, että se on pillkonut päättelyn 27 erilliseen vaiheeseen ja ratkonut tehtävää yli minuutin.

Minuutti voi kuulostaa lyhyeltä ajalta, ja onhan se ihmiseen verrattuna, mutta verrattuna ”tyypilliseen” ChatGPT:n vastausviiveeseen se on jopa kymmeniä kertoja pitempi aika.

Päättelymallien kyky pilkkoa monimutkaisia tehtäviä pienempiin osiin ja tarkastella jokaisen vaiheen oikeellisuutta tekee niistä paljon tehokkaampia ja laadukkaampia ongelmanratkaisijoita eli General Problem Solvereita (GPS) kuten kirjoitin edellisessä blogikirjoituksessani, vaikka toistaiseksi päättelymallit ovatkin hitaampia ja kalliimpia käyttää. Tämä kyky tarkoittaa parempia tuloksia aloilla, joissa tieteellinen ja tekninen tarkkuus on välttämättömyys.

Tekoäly suunnittelee insinöörien kanssa

Uuden sukupolven tekoälymallit avaavat aivan uusia mahdollisuuksia. Esimerkiksi piirilevysuunnittelussa ja CAD-mallinnuksessa tekoäly voi jo nyt itsenäisesti valita oikeat komponentit, suunnitella rakenteet ja jopa ratkoa ongelmia, jotka aiemmin vaativat käsittelyä kokeneilta insinööreiltä.

OpenAI:n o1-malli voi ottaa vastaan käyttäjältä suunnitteluongelman ja auttaa valitsemaan komponentit, nostamaan esille suunnittelussa ja käytössä huomioitavat seikat sekä tehdä ehdotuksen kokoonpanosta.

Tämä on erityisen kiinnostavaa teknologian näkökulmasta, sillä tekoäly ei vain nopeuta prosesseja, vaan se muuttaa koko suunnittelun luonteen. Nyt voidaan ratkaista ongelmia, jotka ovat olleet teknisesti haastavia, ja tehdä kaikki huomattavasti nopeammin, halvemmalla ja vähemmällä ihmistyöllä.

Miten ketjutettu ajattelu mullistaa tekoälyn?

Ketjutettu ajattelu tai ajatteluketju on siis konsepti, jossa tekoäly pystyy pilkkomaan käyttäjän kehotteessa (input) olevan monimutkaisen ongelman useisiin osiin ja analysoimaan jokaisen osa-alueen tarkasti ennen kuin antaa lopullisen vastauksen (output). Tämän ansiosta tekoäly kykenee tarjoamaan päättelyyn perustuvia ratkaisuja, eikä vain etsimään todennäköisimpiä sanapareja tai lausuntoja.

Ketjutetun ajattelun avulla tekoäly pystyy ratkomaan monimutkaisia insinööritieteiden ongelmia, suunnittelemaan teknologiaa ja jopa edistämään perustutkimusta. Tämä tarkoittaa myös, että tulevaisuuden tekoälymallit voivat olla huomattavasti tehokkaampia tieteellisen tutkimuksen edistämisessä kuin aikaisemmat mallit.

Päättelevä tekoäly ei jatkossa ole vain tutkijan assistentti vaan työpari. Tavoitteena on saada tekoäly tekemään tutkimustyötä myös autonomisesti ilman jatkuvaa ihmislähtöistä kehottamista.

Miten tekoäly muuttaa todellisen maailman?

Tekoälyn kehittynyt päättelykyky ei hyödytä vain suunnittelua tai teknistä kehitystä, vaan se tulee mullistamaan koko fyysisen maailman toimintaa. OpenAI:n toimitusjohtaja Sam Altman on ennustanut, että tekoälyn edistyminen voi johtaa mm. energiantuotannon runsauteen, ilmastokriisin ratkaisemiseen ja jopa avaruuden kolonialisoimiseen. Altmanin visio “Star Trek” -tyylisestä tulevaisuudesta ei ole enää vain science fictionia, vaan se on lähempänä todellisuutta kuin koskaan aikaisemmin.

Samaan aikaan kannattaa ottaa teknologiayhtiöiden edustajien puheet ripauksella suolaa, koska eivät hekään ole oraakkeleita, vaikka näkevätkin kehitystrendin ennen meitä tavallisia käyttäjiä. Altmanilla on insentiivi markkinoida tulevaisuutta, joka on lukratiivisen houkutteleva pääomasijoittajille.

Mieti kuitenkin sitä vaihtoehtoa, että hänen ennusteet toteutuisivat edes 50 prosenttisesti. Se tarkoittaisi jo merkittäviä muutoksia ihmiskunnan hyvinvointiin ja voisi vähintäänkin hidastaa ilmastokriisiä, jotta meille syntyisi aikaa pelastaa maapallo ennen kuin on liian myöhäistä.

Kääntöpuolena tekoälyn kehitys on kallista ja varsinainen energiasyöppö, joskin tekoälyn käyttö vie paljon enemmän energiaa kuin sen kehittäminen. Käyttäjillä ja yrityksillä on myös vastuu olla käyttämättä tekoälyä turhaan sekä optimoida käyttöä mahdollisimman pieniin negatiivisiin ilmastovaikutuksiin.

Miksi yritysten kannattaa panostaa tekoälyyn nyt?

Uudet tekoälymallit tarjoavat ainutlaatuisia kasvumahdollisuuksia yrityksille, jotka ovat valmiita investoimaan liiketoiminnan kehittämiseen hyödyntämällä tekoälyä sekä ydinprosesseissa että henkilöstön työnteossa. Kustannustehokkuus, tarkkuus ja kyky kehittää tarjoomaa ovat suurimmat hyödyt, joita tekoäly voi yrityksille tarjota.

Ihmisille tekoäly yhdistettynä työntekijä- ja organisaatiotasoiseen automaation tuovat työhön mielekkyyttä ja imua, kun manuaaliset copy-paste-tyyppiset tehtävät vähenevät minimiin ja aikaa jää aidosti lisäarvoa tuottavalle työlle.

Esimerkiksi insinööri-, bio- tai kemianteollisuuden yritysten kannattaa vakavasti ja nopeasti harkita tekoälyn valmennusta ja konsultointia, jotta ne voivat olla kehityksen kärjessä ja saada kilpailuetua näistä kaikista uusimmista tekoälymalleista, jotka ovat myös jo API:n avulla yhdistettävissä yritystasoisiksi ratkaisuiksi maltillisin tai kustannuksin.

o1-preview’n API-käytön hinnat on kuvattu alla olevassa kuvassa:

Jotta saat jonkunlaisen käsityksen tokeneista eli tekoälymallien ymmärtämästä ”kielestä”, yksi miljoona tokenia inputissa tarkoittaa noin 10 kirjaa tai 1 500 sivua englanninkielistä tekstiä.

o1-preview’llä miljoonan tokenin käsittely maksaa 15 dollaria, mikä yritysmaailmassa tuntuu naurettavan halvalta, mutta GPT-4o:hon verrattuna se on 6x kalliimpi ja GPT-4o-miniin verrattuna 100x kalliimpi.

Suhteellisesti kalliin hinnan lisäksi päättelevää tekolyä ei muutenkaan kannata käyttää vaikkapa tekstin tuottamiseen, koska se ei ole siinä parhaimmillaan.

Tokenien suhteen kielissä on isoja eroja esim. kerma = 2 tokenia ja cream = 1 tokenia. Tekoälyt siis ymmärtävät englanninkielisiä sanoja karkeasti puolet pienemmällä token-määrällä eli puolet halvemmalla.

Numeroita analysoidessa mallit ovat kuitenkin käyttäjän tai yrityksen kotimaasta riippumatta yhdenvertaisia. Tässä kannattaa kuitenkin muistaa, että pilkku tai välilyönti tuhatlukujen välissä vie yhden tokenin. Suuremmat datasetit kannattaa siivota tehokkaaseen muotoon, mutta myös strukturoida, jotta tekoäly voi tehdä laadukkaampaa analysointia.

Tulevaisuus on päättelykyvyssä

Tekoälyn seuraava suuri murros ei tule pelkästään laskentatehon tai mallien skaalauksesta, vaan kyvystä päätellä, ratkoa ongelmia ja syventyä tieteen ja tekniikan ytimeen. Päättelykyky tulee olemaan avainasemassa monien nykypäivän suurten haasteiden ratkaisemisessa, mutta nopeammin siitä hyötyvät yritykset ja työntekijät päivittäisessä ongelmanratkaisussa ja kehitystehtävissä.

Yritysten kannattaa valjastaa tämä uusin teknologia ja sen mahdollisuudet hyväkseen ripeästi, jotta ne voivat olla mukana rakentamassa tulevaisuutta, joka on täynnä mahdollisuuksia ja menestystä.

Onko yrityksenne valmis valjastamaan tekoälyn päättelykyvyt tehokkaaseen käyttöön?

Kerron mielelläni lisää, miten tekoäly voi viedä liiketoimintanne seuraavalle tasolle.

Terho Tirkkonen
terho@tekoalytoissa.fi
puh. 041 469 2682