Viime aikoina on yleistynyt ajatus, että tekoälyn kehitys olisi hidastumassa. Suurten kielimallien parantaminen vaatii yhä enemmän dataa ja laskentatehoa ja saadut hyödyt pienenevät.
Havainto on suurelta osin oikea. Johtopäätös on väärä.
Tekoälyn nopean kehityksen ensimmäinen aalto perustui lähes yksinomaan skaalaamiseen. Kun malleja koulutettiin suuremmalla datalla ja suuremmalla laskentateholla, niiden kyvykkyys kasvoi ennustettavasti. Kehitys oli aluksi nopeaa, mutta olemme nyt lähellä sen rajoja. Koulutusdatan ja laskentatehon kasvattaminen tuottaa hupenevan hyödyn.
Mallien kehitys on siirtynyt koulutusajasta käyttöaikana tehtyyn laskentaan ja erikoistuneihin malleihin.
Nykyiset tekoälyjärjestelmät parantavat vastauksiaan käyttämällä enemmän laskentaa itse tehtävän aikana. Ne ajattelevat pidempään, testaavat vaihtoehtoja ja arvioivat omia vastauksiaan. Helppoihin kysymyksiin käytetään vähän resursseja, vaikeisiin enemmän.
Mallit myös erikoistuvat. Kaikkea tekevä yleismalli on kalliimpi kouluttaa, käyttää ja laadultaan huonompi kuin tiettyyn tehtävään erikoistunut malli. Parhaat järjestelmät koostuvat jo nyt useista erikoistuneista osista. Kuvien tunnistus, puhe, muisti, haku ja suunnittelu hoidetaan omilla malleillaan, jotka tuottavat puhtaampaa ja halvempaa tietoa yleisemmälle päättelylle.
Esimerkiksi kuvan tuottamisen ongelmat tekstintuottamisessa voidaan ratkaista kytkemällä kuvia tuottavaan järjestelmään erikoistunut malli, joka muuttaa tekstiä visuaaliseen muotoon – ja tarkastajiksi mallit, jotka tunnistavat kirjaimia ja pystyvät vertaamaan siitä tulevaa tekstiä annettuun tekstiin.
Erikoistuneiden mallien määrä tulee kasvamaan. Se parantaa laatua ja pienentää tekoälyn kustannuksia.
Moniosainen malli tarvitsee ohjauskerroksen. Se on tekoälymalli, jonka tehtävänä on päättää, mitä moduuleja käytetään, missä järjestyksessä ja kuinka pitkään. Ohjauskerros voi myös kokeilla malleja tehtäviin, joihin niitä ei alun perin suunniteltu, ja ottaa toimivat yhdistelmät pysyvään käyttöön.
Älykkyys siirtyy yksittäisestä mallista järjestelmän rakenteeseen.
Tarve parantaa tekoälyn laatua ja vähentää kustannuksia ohjaa kehittäjiä ottamaan käyttöön samoja ratkaisuja, jotka meidän aivoihimme ovat kehittyneet miljoonien vuosien kuluessa. Näitä on muun muassa modulaarisuus, hierarkia ja resurssien valikoiva käyttö.
Tekoälyn kehitys jatkuu, vaikka yksittäisen tekniikan tuoma kehitys hiipuu. Seuraava suuri harppaus ei tule suuremmista malleista, vaan erikoistuneista malleista ja rakenteesta, joka pystyy hyödyntämään näitä laajasti.
