Sztuczna inteligencja nie przestaje zaskakiwać! Model językowy DeepSeek R1 zdobył uznanie dzięki niezwykle niskim kosztom stworzenia, przy jednoczesnej wydajności porównywalnej z kosztownymi systemami OpenAI. Chiński startup ujawnia, że trening DeepSeek R1 zamknął się w kwocie nieco poniżej 6 milionów dolarów, podczas gdy mainstreamowe AI OpenAI mogą pochwalić się wydatkami rzędu setek milionów dolarów.

Ale czy można obniżyć koszty jeszcze bardziej? Zespół naukowców z Uniwersytetu Kalifornijskiego w Berkeley, kierowany przez doktoranta Jiayia Pana, ogłosił, że udało im się zreplikować umiejętności DeepSeek R1-0 za jedyne 30 dolarów, co przemienia się w kwotę około 120 złotych! Taki wydatek był możliwy dzięki wynajęciu 10 układów Nvidia H100 na 10 godzin, które posłużyły badaczom do treningu nowego modelu – TinyZero.

Jak podkreśla Pan na swoim profilu w serwisie społecznościowym X, początki projektu obejmowały stworzenie podstawowego modelu językowego oraz odpowiednich instrukcji tekstowych i systemu nagród niezbędnych do przeprowadzenia nauki przez wzmacnianie w grze Countdown. Ten popularny brytyjski teleturniej pozwolił badaczom na rozwój umiejętności AI w zakresie znajdowania docelowych liczb za pomocą podstawowej arytmetyki.

Zespół badawczy nie ograniczył się jednak tylko do zadań arytmetycznych. Udało im się nauczyć TinyZero również mnożenia bardzo dużych liczb, stosując znaną technikę „rozbijania” liczb – na przykład 123 x 4 rozwiązywano jako 100 * 4 + 20 * 4 + 3 * 4.

Eksperymenty z różnymi modelami jako podstawami TinyZero przyniosły ciekawe rezultaty. Początkowo wykorzystano model Qwen2.5, który miał jedynie 500 milionów parametrów, ale wydajność była ograniczona. Dopiero po zwiększeniu parametrów do 1,5 miliarda, a następnie 3 i 7 miliardów, TinyZero zaczęło szybko odnajdywać poprawne rozwiązania, ograniczając liczbę nieudanych prób.

Ten przełomowy projekt stanowi doskonały przykład na to, jak innowacje w dziedzinie AI mogą prowadzić do znaczącego zmniejszenia kosztów i zwiększenia efektywności. Czy to początek nowej ery w sztucznej inteligencji? Pozostaje nam jedynie obserwować, jak ta technologia wpłynie na przyszłość rozwoju AI na całym świecie!