Vad pågår egentligen?

I AI-världen pågår nu en intensiv debatt. Yann LeCun, forskningschef på Meta, uttrycker sig på sociala medier och skriver: "Jag vill inte vara den som säger 'vad var det jag sa', men vad var det jag sa?" Det är tydligt att LeCun har sett fram emot att framföra sin åsikt i denna kontrovers.

Vad är det han syftar på? Tillsammans med andra, däribland AI-skeptikern Gary Marcus, påpekar han att djupinlärning och transformer-teknik kan ge avtagande resultat. Tanken att dessa metoder skulle leda till generell intelligens uppfattas av dem som ren fantasi. De varnar för att utvecklingen kan ha "kört i väggen".

Uppskalningslagens komplexitet

Denna åsikt går emot dem som stödjer den så kallade uppskalningslagen, som säger att AI-modellers kapabiliteter ökar med storleken. Ju större modellen är, desto bättre presterar den.

Nyligen har det dock börjat cirkulera rykten om att stora AI-företag har svårt att utveckla sina nästa generationers modeller. En artikel från The Information rapporterade att "OpenAI byter strategi när GPT-förbättringarna tappar fart", medan en annan påpekade att "Google förändrar sin strategi för att hantera AI-inbromsningen".

Är festligheterna över?

Skeptiker hoppas kanske på en nedgång, men det är en smula märkligt. Redan vid lanseringen av OpenAI:s resonansbaserade modell, o1, tidigare i höstas, framhöll experter att denna metod kan öppna nya dörrar för uppskalning.

Dario Amodei, VD på Anthropic, och Sam Altman, VD på OpenAI, har båda delat tankar i essäer om att vägen mot generell intelligens fortfarande är öppen. I ett avsnitt av Y Combinators podcast den 8 november sa Altman att utvecklingen kommer att ske snabbare än vad många förstår.

Noam Brown från OpenAI menar att Altmans kommentarer speglar en samstämmig åsikt bland forskare vid företaget. I en kommentar på X den 14 november säger Altman kort: "Det finns ingen vägg."

Även Lucas Beyer på Google DeepMind anser att dagens modeller är mer kapabel än vi idag kan förstå, men att företag ännu inte har kommit på hur man extraherar dessa kapabiliteter effektivt.

Frånvarande tydlighet

Vi kan förvänta oss mer insikt om framdrift och utmaningar fram till 2025. En av de största utmaningarna just nu är bristen på data för att träna modellerna. Som en möjlig lösning nämns användningen av syntetiska data, men det är för tidigt att avgöra hur effektivt detta kan bli på lång sikt.

Energibrist är en annan flaskhals som kan påverka AI-företag negativt. Å andra sidan kan resonansmodeller, som vi diskuterat, potentiellt minska den energi som krävs.

Tiden kommer att utvisa vad framtiden bär med sig för AI, och fighten mellan optimister och skeptiker lär fortsätta. Häng med i utvecklingen – framtiden för AI kan vara mer spännande än vi anar!