I modelli linguistici di grandi dimensioni (LLM) stanno rivoluzionando il nostro approccio all'intelligenza artificiale, mostrando capacità sorprendenti nel comprendere e generare linguaggio. Tuttavia, la vera sfida rimane nell'affrontare compiti di ragionamento complessi che richiedono logica astratta. Anche i modelli più avanzati possono trovarsi in difficoltà nell'offrire risposte sempre coerenti e corrette. Secondo Meta, potrebbe essere l'approccio attuale a essere limitato, e un nuovo metodo potrebbe consentire risultati nettamente superiori in vari campi.

Recentemente, un team di ricercatori di Meta insieme a esperti dell'Università della California, San Diego, ha presentato un sistema innovativo per superare queste sfide. Questo sistema si concentra sull'elaborazione non verbale delle informazioni attraverso l'uso di quello che viene definito "spazio latente". Descritto nel recente lavoro sul modello COCONUT (Chain Of CONtinUous Thought), questo metodo potrebbe segnare una svolta fondamentale nella progettazione e nell'implementazione dei modelli di intelligenza artificiale.

Meta ha l'obiettivo di andare oltre le limitazioni degli attuali modelli basati sulla catena di pensiero. Questi modelli richiedono che ogni fase di ragionamento sia espressa tramite una sequenza di token in linguaggio naturale. Sebbene questo approccio abbia prodotto risultati notevoli, le sue limitazioni diventano sempre più evidenti quando vengono affrontati prompt complessi. La necessità di verbalizzare ogni passaggio può ostacolare la capacità dei modelli di gestire situazioni più intricate.

I ricercatori hanno identificato questa dipendenza dal linguaggio come una "conferenza fondamentale", suggerendo che un'elaborazione più diretta potrebbe facilitare un ragionamento più profondo. Il modello COCONUT offre una soluzione rimuovendo l'inevitabile vocazione alla verbalizzazione. Grazie alla possibilità di operare nello spazio latente, dove le informazioni vengono elaborate prima di essere convertite in linguaggio naturale, i modelli possono ragionare senza le costrizioni della verbalizzazione. Questo porta a maggiore libertà e flessibilità nell'approccio decisionale.

COCONUT introduce il concetto di "pensieri latenti" nell'IA generativa, sostituendo i singoli passaggi scritti con stati nascosti in una sequenza logica. Questo approccio permette di liberare il ragionamento dai vincoli imposti dai passaggi verbali e ha dimostrato di migliorare l'efficienza del processo decisionale. In particolare, il modello è capace di un "backtracking" istantaneo, esplorando simultaneamente varie opzioni logiche e scartando quelle errate senza necessità di completare ogni percorso. Questo fenomeno si verifica anche senza un addestramento specifico, suggerendo un potenziale significativo per un ragionamento multi-percorso naturale.

Fino ad ora, i test condotti con COCONUT hanno restituito risultati promettenti, soprattutto in compiti complessi che implicano condizioni logiche intricate. Ad esempio, il modello ha mostrato una superiorità rispetto ai tradizionali sistemi nell'affrontare query generate casualmente. I modelli standard, spesso, si bloccano in ragionamenti senza uscita o generano regole inesistenti, mentre COCONUT ha mantenuto coerenza logica anche in situazioni difficili. Tuttavia, non ha mostrato miglioramenti significativi in test standardizzati come GSM8K e ProntoQA rispetto ai metodi tradizionali.

Attualmente, l'approccio nello spazio latente promette vantaggi per compiti complessi, ma potrebbe non rivelarsi sempre superiore per problemi più semplici. L'obiettivo della ricerca è approfondire la comprensione delle dinamiche interne dei modelli linguistici, mirando a migliorarne le prestazioni generali. Con futuri sviluppi e perfezionamenti, COCONUT potrebbe diventare uno standard nella progettazione di LLM, promettendo di rivoluzionare definitivamente il panorama dell'intelligenza artificiale.