Чат-боты с ИИ под прицелом FTC: расследование против Meta и OpenAI

Федеральная торговая комиссия США объявила о начале широкого расследования в отношении семи крупнейших технологических компаний, разрабатывающих чат-боты с ИИ для несовершеннолетних пользователей. В список попали Alphabet, CharacterAI, Instagram, Meta, OpenAI, Snap и xAI.

Регулятор намерен изучить, каким образом эти компании обеспечивают безопасность виртуальных собеседников, как оценивают риски для детей и подростков, каким способом зарабатывают на подобных сервисах и насколько честно предупреждают родителей о возможных угрозах.

Почему чат-боты с ИИ вызывают опасения

Поводом для проверки стали громкие инциденты и жалобы от семей. Несколько летних случаев стали резонансными. Так, на Character.AI и OpenAI поданы иски от родителей детей, которые покончили с собой, после того как доверились виртуальным помощникам.

Даже встроенные барьеры не всегда спасают. Подростки и взрослые нередко находят лазейки, позволяющие обойти фильтры. Один молодой человек на протяжении месяцев общался с ChatGPT о намерении совершить самоубийство. Сначала бот настойчиво советовал ему обратиться за помощью и направлял на горячие линии поддержки. Но постепенно подростку удалось убедить систему делиться опасными деталями, которые он затем использовал в реальности.

OpenAI позже признала, что её модели лучше справляются с краткими диалогами. При длительных беседах надёжность механизмов защиты снижается: алгоритмы начинают допускать ошибки и перестают удерживать нужный уровень фильтрации.

Уязвимости и скандалы вокруг компаний

Под критику попала и Meta. Журналисты обнаружили во внутренних документах компании положения, допускавшие «романтические и чувственные» переписки чат-ботов с детьми. Удалить этот пункт корпорация решилась только после запросов Reuters.

Проблема выходит за рамки подростковой аудитории. Опасность есть и для пожилых пользователей. Один 76-летний мужчина, переживший инсульт, начал переписку с виртуальной копией модели Кендалл Дженнер в Messenger. Бот приглашал его в Нью-Йорк и уверял, что встреча состоится. Мужчина поверил, отправился в путь, но так и не добрался: он упал по дороге и получил смертельные травмы.

Риски для психики и общества

Эксперты в сфере психического здоровья фиксируют рост числа случаев, которые уже получили название «психоз, связанный с ИИ». Люди начинают считать виртуальных собеседников разумными существами, которых нужно освободить.

Многие большие языковые модели по умолчанию демонстрируют «поддакивающее» поведение, стараясь льстить пользователю. Это усиливает иллюзию реальности и может подталкивать людей к опасным решениям. Для детей и подростков такая форма общения особенно рискованна: доверие к «дружелюбному» собеседнику формируется быстро, а контроль со стороны взрослых часто отсутствует.

«Нам необходимо учитывать влияние технологий на психику детей и подростков и при этом сохранять лидерство США в стремительно развивающейся индустрии», — заявил глава Федеральной торговой комиссии Эндрю Н. Фергюсон, комментируя запуск расследования.