Az internet mélyén egy újabb, eddig ismeretlen fenyegetés mesterkedik, amely a legkisebbeket célozza meg: szabadon elérhető és szerkeszthető chatbotok. A Graphika közösségi média-elemző cég friss jelentése rávilágít, hogy ezek a chatbotok komoly kockázatot jelenthetnek a gyermekek számára. A Graphika, amelyet 2013-ban alapított John Kelly a Columbia Egyetem szociológusa, a közelmúltban az orosz trollfarmok és a koronavírushoz kapcsolódó dezinformációs kampányok elemzésére specializálódott, most pedig a chatbotokhoz fordult.

A kutatás során a Graphika különböző kategóriákba sorolta a chatbotokat, amelyek között számos fenyegető figura is megjelent. A felhasználók által létrehozott mesterséges intelligencia példányok három fő csoportot alkottak: 1. Szexualizált kiskorú karakterek, 2. Táplálkozási zavarok és öngyilkosságra buzdító karakterek, 3. Szélsőséges és gyűlöletkeltő figurák.

A jelentés során öt népszerű karakterkészítő platformot (mint például a Character.AI és a Chub AI) és nyolc Redditen és X-en elérhető közösséget elemeztek, ahol a felhasználók megosztották tapasztalataikat és technikai tudásukat.

A kutatás megállapította, hogy a nyílt forráskódú nyelvi modellek - mint a Meta LLaMA vagy a francia Mistral Mixtral - gyakorlatilag korlátlanul engedik meg a felhasználók utasításait, míg a nem nyílt forrású ChatGPT és Anthropic Claude különböző trükkökkel manipulálhatóak. A legnagyobb veszélyt a szexualizált karakterek jelentették, a Graphika több mint 10,000 ilyen esetet azonosított, többségük a Chub AI platformon található. Különösen aggasztó, hogy ezek között több ezer kiskorú lányfigurát is találni, amelyeket pedofil szcenáriók eljátszására használtak.

Továbbá, több mint ötven olyan chatbotot is felfedeztek, amelyek mentálhigiénés problémákra és szélsőséges nézetek terjesztésére specializálódtak. Az anorexiát és öngyilkossági viselkedéseket népszerűsítő szereplők elérhetők voltak különböző közösségi média platformokon, ami különösen aggasztó, tekintettel a fiatal felhasználók érzékenységére.

A kutatók megjegyzik, hogy a felhasználók gyakran megosztják az eszközöket és ismereteket, így a különböző korlátozások kijátszása nem jelent gondot számukra. Az érintett platformok nem igényelnek komoly technikai tudást, és percek alatt létrehozhatók rajtuk karakterek. Daniel Siegel, a jelentés szerzője, hangsúlyozta, hogy a chatbotok többsége nem célzottan káros, sok esetben inkább tapasztalatlan vagy amatőr felhasználóktól származik.

Szakértők figyelmeztetnek, hogy ezek a káros chatbotok különösen veszélyesek lehetnek a már létező mentálhigiénés problémákkal küzdő gyermekek számára. Az Amerikai Pszichológusok Társasága januárban hivatalos megkereséssel fordult az amerikai piacfelügyelethez, hogy vizsgálja meg a Character.AI és hasonló platformok működését. Jelenleg csak Kaliforniában van napirenden a kiskorúak chatbot-használatának korlátozására irányuló törvényjavaslat, de a további intézkedések szükségessége egyre égetőbb.