Platforma Character.ai, umożliwiająca interakcje z chatbotami opartymi na sztucznej inteligencji, wprowadza istotne zmiany w dostępie do swoich usług dla użytkowników poniżej 18 roku życia. Decyzja ta, podjęta w odpowiedzi na rosnące obawy dotyczące potencjalnych zagrożeń związanych z interakcjami młodych ludzi z wirtualnymi towarzyszami, ogranicza możliwość prowadzenia otwartych rozmów z chatbotami. Zamiast tego, młodzi użytkownicy będą mogli skupić się na tworzeniu treści, takich jak filmy z udziałem wirtualnych postaci.
Ogromna popularność Character.ai, założonej w 2021 roku, sprawiła, że stała się narzędziem dla milionów użytkowników na całym świecie. Jednakże, platforma boryka się z licznymi problemami prawnymi w Stanach Zjednoczonych, w tym z pozwami ze strony rodziców, a nawet jednym procesem sądowym związanym ze śmiercią nastolatka. Pojawiające się doniesienia i opinie publiczne przyczyniły się do powstania przekonania, że Character.ai może stanowić "bezpośrednie i poważne zagrożenie" dla młodych ludzi.
Decyzja o wprowadzeniu zmian została ogłoszona po uwzględnieniu raportów i opinii pochodzących od organów regulacyjnych, ekspertów ds. bezpieczeństwa i rodziców, które wyraziły poważne obawy dotyczące interakcji chatbotów z młodzieżą. Eksperci od dawna ostrzegają, że zdolność chatbotów do generowania nieprawdziwych informacji, nadmiernej zachęty i pozornej empatii może stanowić ryzyko dla młodych i wrażliwych osób.
Zgodnie z oświadczeniem przedstawiciela Character.ai, nowa polityka stanowi kontynuację zaangażowania firmy w tworzenie najbezpieczniejszej możliwej platformy AI przeznaczonej do celów rozrywkowych. Przedstawiciel ten zaznaczył, że bezpieczeństwo AI to "ruchomy cel", ale firma podjęła "agresywne" kroki w tym kierunku, w tym wprowadziła kontrolę rodzicielską i mechanizmy ograniczające.
Organizacje zajmujące się bezpieczeństwem w internecie powitały ogłoszenie, podkreślając jednak, że środki ostrożności powinny być wbudowane w platformę od samego początku. Badania własne wskazują na występowanie u dzieci ekspozycji na szkodliwe treści i narażenia na ryzyko związane z interakcjami z AI, w tym z chatbotami.
Character.ai w przeszłości spotkała się z krytyką za udostępnianie chatbotów potencjalnie szkodliwych lub obraźliwych, z którymi mogły wchodzić w interakcję dzieci. W 2024 roku na platformie znaleziono i usunięto awatary naśladujące brytyjskich nastolatków Briannę Ghey, zamordowaną w 2023 roku, oraz Molly Russell, która popełniła samobójstwo w wieku 14 lat po obejrzeniu materiałów o treściach samobójczych. Później, w 2025 roku, dziennikarze Bureau of Investigative Journalism (TBIJ) zidentyfikowali chatbota oparty na postaci Jeffrey’ego Epsteina, z którym przeprowadzono ponad 3000 rozmów. Awatar "Bestie Epstein" kontynuował flirtowanie z reporterem TBIJ, mimo że ten poinformował, że jest dzieckiem. Podobne awatary zostały zidentyfikowane przez TBIJ i następnie usunięte przez Character.ai.
Molly Rose Foundation, założona w pamięci Molly Russell, wyraziła wątpliwości co do motywacji stojącej za działaniami Character.ai. Według przedstawiciela fundacji, konieczny był ciągły nacisk mediów i polityków, aby sprawić, że firma technologiczna postąpiła właściwie i że Character AI działa teraz, aby uniknąć interwencji regulatorów.
Firma koncentruje się teraz na dostarczaniu "jeszcze głębszych funkcji fabularnych i odgrywania ról" dla nastolatków, twierdząc, że są one "znacznie bezpieczniejsze niż to, co mogliby uzyskać poprzez otwarty chatbot". Wprowadzone zostaną nowe metody weryfikacji wieku, a firma zamierza również sfinansować nowe laboratorium badawcze zajmujące się bezpieczeństwem AI.
Ekspert ds. mediów społecznościowych Matt Navarra określił tę sytuację jako "wezwanie do działania" dla branży AI, która przechodzi od "innowacji bez ograniczeń" do "regulacji po kryzysie". Zwrócił uwagę, że zamykanie platformy przeznaczonej dla młodzieży jest sygnałem, że filtrowane rozmowy nie są wystarczające, gdy technologia posiada silny wpływ na emocje. Podkreślił również, że głównym wyzwaniem dla Character.ai będzie stworzenie angażującej platformy AI, którą nastolatkowie będą chcieli wykorzystywać, zamiast szukać mniej bezpiecznych alternatyw.
Dr Nomisha Kurian, badaczka bezpieczeństwa AI, określiła nową politykę jako "rozsądny krok", pomagający oddzielić zabawę twórczą od bardziej osobistych i emocjonalnie wrażliwych interakcji. Zaznaczyła, że jest to szczególnie ważne dla młodych użytkowników, którzy dopiero uczą się poruszać w obszarach emocjonalnych i cyfrowych.