Nowe badania ujawniają niespodziewane słabości sztucznej inteligencji!

Jak pokazuje nowa analiza, przedstawiona podczas warsztatów "Reasoning and Planning for Large Language Models" na międzynarodowej konferencji w Singapurze, nawet najbardziej zaawansowane systemy AI mają ogromne trudności z rozpoznawaniem godzin na analogowych zegarkach oraz z analizowaniem dat w kalendarzach.

Sztuczna inteligencja nie potrafi odczytać godziny z analogowego zegarka!

Mimo imponującego rozwoju technologii AI w ostatnich latach, maszyny wciąż borykają się z podstawowymi zadaniami, które dla ludzi są codziennością. Zespół badawczy z Uniwersytetu w Edynburgu wykazał, że nowoczesne modele nie są w stanie niezawodnie interpretować pozycji wskazówek zegara ani poprawnie odpowiadać na pytania dotyczące dat w kalendarzach.

Sztuczna inteligencja, która nie potrafi odczytać czasu? To zdumiewające!

Naukowcy przeprowadzili szereg testów, aby sprawdzić umiejętności multimodalnych dużych modeli językowych (MLLM) w odpowiadaniu na pytania dotyczące godzin na podstawie obrazów zegarów i kalendarzy. W eksperymencie uwzględniono różne style zegarów, w tym te z cyframi rzymskimi oraz z różnymi wskazówkami.

Wyniki były zatrważające – AI poprawnie rozpoznawało położenie wskazówek w mniej niż 25% przypadków! Oszałamiająca ilość błędów występowała w przypadku zegarów z cyframi rzymskimi oraz stylizowanymi wskazówkami, co sugeruje, że problem leży w fundamentalnych umiejętnościach matematycznych i przestrzennych.

Nawet małe dzieci potrafią to zrobić, a AI? No cóż...