Elon Musk ha suscitato una forte attenzione durante una recente discussione trasmessa in streaming su X, affermando che il bacino di dati reali per l'addestramento dei modelli di intelligenza artificiale è al collasso. "Abbiamo esaurito sostanzialmente la somma cumulativa della conoscenza umana nell'addestramento AI... Questo è accaduto essenzialmente nell'ultimo anno," ha dichiarato Musk, evidenziando una crisi senza precedenti nel settore.

Questa affermazione non è isolata: Ilya Sutskever, ex chief scientist di OpenAI, aveva già anticipato che l'industria ha raggiunto un punto critico, il cosiddetto "picco dei dati". Secondo Sutskever, questo costringerà le aziende a ripensare le strategie di sviluppo dei modelli di intelligenza artificiale.

Per affrontare questa sfida, Musk ha proposto una soluzione innovativa: l'uso di dati sintetici, generati dagli stessi modelli di AI. "L'unico modo per integrare i dati reali è utilizzare dati sintetici, dove l'AI crea i propri dati di addestramento," ha spiegato, aggiungendo che questo approccio consente ai modelli di autovalutarsi e di evolversi attraverso processi di autoapprendimento.

Nonostante non sia un concetto nuovo, molte grandi aziende tecnologiche, tra cui Microsoft, Meta, OpenAI e Anthropic, hanno già adottato questa pratica. Secondo quanto riportato da Gartner, si prevede che nel 2024 il 60% dei dati utilizzati per progetti di AI e analisi sarà generato sinteticamente.

Esempi di successo sono già visibili. Il modello Phi-4 di Microsoft, lanciato come open-source, è stato addestrato sia con dati reali che sintetici, e i modelli Gemma di Google e Claude 3.5 Sonnet di Anthropic seguono una strada simile. Inoltre, Meta ha perfezionato la sua linea di modelli Llama utilizzando dati generati dall'intelligenza artificiale stessa.

Nonostante i vantaggi economici, la questione dei dati sintetici non è priva di rischi. Startup come AI Writer hanno spiegato che il loro modello Palmyra X 004, sviluppato quasi interamente con dati sintetici, ha avuto un costo di circa 700.000 dollari, rispetto ai 4,6 milioni di dollari richiesti per un modello simile da OpenAI. Tuttavia, la preoccupazione generale è che un uso eccessivo di dati sintetici possa portare a un "collasso del modello", facendo sì che i sistemi diventino meno creativi e più soggetti a pregiudizi.

E per quanto possa sembrare un futuro affascinante, c'è chi teme le possibili conseguenze, soprattutto considerando che i dati di partenza possono già contenere errori e pregiudizi, riprodotti amplificati nelle informazioni generate dall'AI.

Fortunatamente, ci sono margini di sicurezza: molti professionisti, come chi lavora in Microsoft, si sentono sollevati dal fatto di sapere che i dati aziendali sensibili non verranno utilizzati per l'addestramento, proteggendo così la privacy e la sicurezza delle informazioni personali e professionali.