Da GPT-2, OpenAIs språklige modell ble lansert i 2019, var det knapt noen i Norge som la merke til det. Modellen hadde betydelige mangler, og slitt med enkle regneoppgaver. De som fulgte nøye med, kunne imidlertid ane konturene av noe som kunne revolusjonere samfunnet, og en vei mot kunstig generell intelligens; KI-systemer som har evnen til å utføre oppgaver på samme nivå eller bedre enn mennesker.

Tidligere i september 2024 ble en ny og forbedret modell kalt GPT-3 gjort tilgjengelig på markedet. Denne modellen presterer nå bedre enn personer med doktorgrad i fag som fysikk, kjemi og biologi. Hvordan kunne vi ikke forutse dette før det skjedde? Skaleringslovene er nøkkelen til å forstå denne utviklingen.

Skaleringslovene, som ligger til grunn for utviklingen av KI, er en nøkkelkomponent som mange overser. Størrelsen teller. Med mer data og høyere datakraft kan man trene KI-modellene lenger. Jo mer omfattende trener man dem, jo mer kompetente blir de. Fortsetter denne skaleringsprosessen, kan vi få modeller med evner vi knapt kan forestille oss.

Selskapene DeepMind og OpenAI har vært pionerer på dette området og viser tydelig hvorfor skaleringslovene er avgjørende for KI-utvikling. Likevel er selv utviklerne ofte overrasket over de nye ferdighetene som dukker opp etter trening. "Det er som en spennende gjettelek for oss å forutsi hva modellen kan bli kapabel til," sier Sam Altman fra OpenAI.

I Norge er det derimot få som virkelig forstår skaleringslovene. Til tross for at finansminister Trygve Slagsvold Vedum fremhevet KI-mulighetene i Perspektivmeldingen i august, er det lite som tyder på at regjeringen forstår de transformative konsekvensene av KI. I et optimistisk scenario vurderte økonomene i Finansdepartementet at man kunne se en effektiviseringsgevinst på bare ti prosent i helsevesenet innen 2060. Dette står i kontrast til estimater fra flere KI-eksperter, som mener at vi kan ha KI-systemer som utfører alle arbeidsoppgaver bedre enn mennesker innen 2047.

Vår digitale fremtid ser ikke lys ut etter regjeringens digitale strategi lansert i slutten av september, som ikke viser forståelse for hva som er mulig med dagens teknologi. Statsminister Jonas Gahr Støre og digitaliseringsminister Karianne Tung ser ut til å undervurdere de potensielle konsekvensene av KI.

En hindring for videre skaleringsvekst kan være mangel på data. Mange data som er tilgjengelige på internett er allerede brukt til å trene eksisterende modeller, og det er usikkert om KI-generert data vil kunne heve nivået.

Det finnes også bekymringer rundt produksjonen av databrikker, ettersom få selskaper kontrollerer denne verdikjeden. Det er ikke sikkert at disse selskapene kan følge med etterspørselen. Energiforbruket til KI-modellene er også et alvorlig problem, da mer avanserte modeller krever langt mer strøm, noe som kan ha negative konsekvenser for klimaet.

Til tross for utfordringene, er det lite som tyder på at de beste KI-modellene er sett. Det investeres enorme summer i teknologi og forskning, og KI-generert data brukes aktivt til å forbedre eksisterende modeller. Spådommer antyder at innen 2030 vil vi kunne trene modeller som er enda mer avanserte enn dagens teknologi.

En potensiell konsekvens av denne utviklingen er en enda større maktkonsentrasjon i teknologiindustrien, da kostnadene for å utvikle nye modeller vil øke dramatisk. Hvis investeringene fra private aktører avtar, kan statene steppe inn og satse sterkere på KI-utvikling som industriutvikler, inspirert av initiativer fra land som Frankrike, Storbritannia og USA som allerede oppretter KI-institutter for å følge med på utviklingen.

Det er ingen som kan forutsi fremtiden. Men uansett hva som skjer, vil den som ikke forstår skaleringslovene stå på sidelinjen i møte med KI-revolusjonen.