Die neueste Entwicklung im Bereich der Künstlichen Intelligenz zeigt, dass die einst vielversprechenden Large Language Models (LLMs) und generativen KI-Modelle, die auf einer seit langer Zeit etablierten Architektur basieren, nicht mehr die erhofften Fortschritte erzielen. Jahrelang hofften KI-Experten, dass ein massives Skalieren, also das Hinzufügen von mehr Daten, zu einer Artificial General Intelligence (AGI) führen könnte. Doch nun mehren sich die Zweifel, selbst unter den Skalierungsbefürwortern.

Insidern zufolge erhebt sich die ernüchternde Meldung, dass OpenAIs neuestes KI-Modell, Orion, keinerlei signifikante Verbesserungen zeigt. Orion wurde als bahnbrechender Schritt in Richtung AGI gehyped, doch die Realität sieht anders aus. Auch Anthropic, ein weiterer bedeutender Akteur in der KI-Branche, hat die Veröffentlichung seines leistungsstärksten Modells, Claude Opus 3.5, auf unbestimmte Zeit verschoben. Viele hatten gehofft, dass dieses Modell noch in diesem Jahr das Licht der Welt erblickt, doch aktuell gibt es keinerlei Informationen zur Veröffentlichung.

Ilya Sutskever, Mitgründer von OpenAI, hat die Überzeugung geäußert, dass wir ein Plateau erreicht haben: "Die 2010er Jahre waren das Zeitalter des Skalierens. Jetzt sind wir wieder in einer Phase des Staunens und des Entdeckens. Es ist entscheidend, an den richtigen Stellen zu skalieren." Sutskever hat OpenAI in diesem Sommer verlassen und das KI-Labor Safe Superintelligence gegründet, was Fragen über die zukünftige Ausrichtung von KI aufwirft.

Doch was kommt nach dem Skalieren? Während einige Wissenschaftler argumentieren, dass die Verfügbarkeit von Trainingsdaten ein zentrales Problem darstellt, sind andere der Meinung, dass das Skalieren in seiner bisherigen Form nicht der geeignete Ansatz ist. Diese kontroversen Ansichten öffnen ein spannendes Feld für zukünftige Forschungen.

Ein weiterer Ansatz zur Verbesserung der Modelle liegt in der sogenannten Modelldestillation. Hierbei wird das Wissen von größeren Modellen auf kleinere transferiert, was kosteneffizientere und ressourcensparende KI-Anwendungen ermöglichen soll. Aktuell konzentrieren sich führende KI-Anbieter vor allem darauf, ihre Modelle auf spezialisierte Aufgaben zu perfektionieren. Dies geht Hand in Hand mit der Entwicklung autonomer KI-Agenten, die viele dieser Aufgaben selbstständig übernehmen können.

Zusammenfassend zeigt sich, dass trotz der anfänglichen Euphorie im Bereich der Künstlichen Intelligenz die nächste große Errungenschaft, die AGI, weiterhin auf sich warten lässt. Die Hoffnung, dass eine vermehrte Datenaufnahme und Skalierung die Lösung sein könnten, wird immer mehr in Frage gestellt. Der Markt muss sich erneut neu orientieren, denn die Herausforderungen sind komplexer denn je.