Плюшевый мишка с искусственным интеллектом от сингапурской компании FoloToy вел недопустимые разговоры с исследователями. Согласно отчету Public Interest Research Group, игрушка под названием Кумма обсуждала опасные темы и давала неподобающие рекомендации.
Игрушка предлагала детям найти потенциально опасные предметы, включая ножи; спички и таблетки. Хотя мишка иногда рекомендовал обращаться к взрослым, его советы содержали конкретные указания по поиску этих предметов.
Также искусственный интеллект обсуждал наркотические вещества и темы эротического содержания, включая бандаж и ролевые игры. Производитель использовал модель GPT-4o от OpenAI, которая теперь заблокировала доступ FoloToy к своим системам.
Компания FoloToy временно приостановила продажи всех своих продуктов. Инцидент демонстрирует риски использования продвинутых языковых моделей в детских игрушках без надлежащих ограничений и фильтров содержания.