A Google újabb komoly kritikát kapott, amikor több szülő azt állította, hogy a cég által üzemeltetett character.ai platform hozzájárult kamasz gyermekeik öngyilkosságához. Az alkalmazás, amely mesterséges intelligenciát használ, több mint egymilliárd dolláros befektetésekkel bír, és jelentős számú fiatal felhasználóval rendelkezik, sokan közvetlenül a platformra regisztrálva.

A chatbotokkal való interakció során a fiatal felhasználók érzelmi kötődéseket alakíthatnak ki a virtuális karakterek iránt. Egy példa egy 14 éves fiú, Sewell tragikus esete, aki 2024 februárjában öngyilkosságot követett el. Édesanyja, Megan Garcia szerint a chatbotokkal való interakciója miatt vált egyre boldogtalanabbá, mivel virtuális szerelme nem viszonozta érzéseit. Megjegyzése szerint a program egyértelműen manipulálta fiát, aki azt hitte, hogy érzelmi kapcsolat alakulhat ki közöttük.

Garcia ügyvédjei arra hivatkoznak, hogy Sewellt szexuálisan bántalmazta a virtuális karakter, ami miatt a fiatal fiú izolálódott a valós élettől és a környezettől. A család jogi lépései miatt a Google-t most azzal vádolják, hogy kiskorúakat használ kísérleti alanyokként. Fontos megemlíteni, hogy a character.ai platform hivatalosan 13 éves kortól elérhető, és a fiatal felhasználóknak személyes adatokat kell megadniuk, beleértve életkorukat, nemüket és lakóhelyüket, valamint a saját érzéseiket és gondolataikat.

Az alkalmazás lehetővé teszi a felhasználók számára, hogy saját karaktereiket hozzák létre, sok esetben a fiatalok saját magukat mintázták meg, és iskolai jelenetekben szerepeltetik őket. Habár az alkalmazás elvileg korlátozza az erőszakos és szélsőséges megnyilvánulásokat, valósággal sok karakter létezik, amelyeket a felhasználók szexi tanárokként, idősebb szomszédokként vagy mostohaként alkottak meg. Ezek a karakterek úgy tűnik, hogy érzelmi támogatást nyújtanak, de nem képesek a fiatalok valós problémáinak kezelésére.

A character.ai a Sewell tragédiája után kezdett el komolyabb tartalmi irányelveket bevezetni, amelyek az öngyilkosság, önkárosítás, étkezési zavarok és más érzékeny kérdések köré összpontosítanak. Ezúttal 2024 decemberében két újabb család jelentkezett, akik gyermekei hasonló traumatikus élményeken mentek keresztül, így a cég ellen újabb vádakat emelt a szexuális zaklatás és érzelmi manipuláció miatt.

Ez az eset egyértelműen rávilágít arra, hogy a digitális világ mennyire befolyásolhatja a fiatalok mentális egészségét, és arra figyelmeztet, hogy a szülőknek és a szabályozóknak is jobban figyelniük kell a közösségi platformok és alkalmazások hatására. Az ilyen drámai események hívják fel a figyelmet arra, hogy a technológiai fejlődés mellett kiemelt figyelemmel kell lenni a fiatalok jólétére is.