Character.AI прекращает поддержку чат-бота для детей

Компания Character.AI меняет стратегию и закрывает доступ подростков к открытым чатам с искусственным интеллектом. Решение принято после громких инцидентов и общественного давления, вызванных трагическими случаями среди несовершеннолетних пользователей платформы.

C.ai причины запрета для подростков и последствия решения

Современные подростки живут в мире, где технологии развиваются стремительнее, чем когда-либо. Они постоянно находятся в сети, испытывают сильные эмоции и ищут поддержку в виртуальном общении. На фоне этой тенденции компании начали активно предлагать ИИ-компаньонов, способных подолгу вести разговоры с пользователями. Однако подобные эксперименты привели к тяжёлым последствиям.

Character.AI столкнулась с судебными исками и критикой после сообщений о трагических инцидентах, связанных с использованием чат-ботов и нарушением авторских прав. Руководство стартапа признало необходимость пересмотра политики и решило ограничить доступ несовершеннолетних к интерактивным диалогам. Теперь пользователи младше 18 лет не смогут участвовать в открытых чатах, а общение с ИИ будет заменено другими форматами взаимодействия.

Переход к новому формату

Компания меняет направление развития и планирует сделать акцент на ролевых сценариях и творческом взаимодействии.

Основная идея заключается в том, чтобы превратить платформу из “ИИ-друга” в инструмент для создания историй и визуального контента. Теперь подростки смогут использовать подсказки не для эмоциональных бесед с виртуальными собеседниками, а для генерации сюжетов, сцен и видео.

Переходный период продлится до 25 ноября. На первом этапе для несовершеннолетних введут двухчасовой дневной лимит на использование чат-ботов. Этот лимит будет постепенно сокращаться, пока не вступит полный запрет.

Чтобы предотвратить обход ограничений, c.ai внедряет систему проверки возраста, которая включает:

• анализ поведения пользователей,
• использование внешних инструментов идентификации (например, Persona),
• при необходимости — технологии распознавания лиц и подтверждения личности.

Новые меры безопасности

Ранее стартап уже внедрил ряд функций для защиты подростков:

• фильтрацию контента,
• ограничение романтических тем,
• уведомления о времени, проведённом в приложении,
• инструменты для родительского контроля.

Эти меры уже сократили аудиторию пользователей младше 18 лет, и компания готова к дальнейшему снижению числа активных подростков.

Руководство c.ai подчёркивает, что главная цель — не отказ от несовершеннолетней аудитории, а создание для неё безопасных альтернатив. Разработчики делают ставку на игры с искусственным интеллектом, короткие видео и интерактивное повествование, где ИИ используется не как собеседник, а как творческий инструмент.

Расширение функционала платформы

В рамках обновления компания активно развивает развлекательные возможности. Недавно были запущены новые инструменты: AvatarFX — модель, преобразующая изображения в короткие видеоролики; Scenes — интерактивные сценарии с элементами повествования; Streams — функция динамического взаимодействия между персонажами. Летом появилась социальная лента Community Feed, где пользователи делятся созданными персонажами, видео и другими материалами.

Все эти функции станут основой будущего обновлённой платформы, ориентированной на творчество и социальное взаимодействие. Стартап намерен превратиться из приложения для чатов в полноценную экосистему контента, созданного пользователями.

Реакция и дальнейшие шаги

В официальном заявлении компания выразила сожаление по поводу ограничений, отметив, что большинство подростков использовали платформу корректно и с творческими целями. Однако руководство считает меры оправданными, учитывая растущие риски и ответственность перед молодыми пользователями.

Отмечается, что Character.AI принимает решения превентивно, не дожидаясь правительственного вмешательства. На фоне обсуждения новых законов в США, направленных на ограничение доступа несовершеннолетних к ИИ-чатам, стартап стремится стать примером ответственного подхода в отрасли.

Дополнительно компания объявила о создании некоммерческой Лаборатории безопасности искусственного интеллекта (AI Safety Lab). Её задача — разработка инновационных решений, повышающих уровень защиты при использовании ИИ в развлекательных продуктах.

Руководство c.ai уверено, что безопасность должна стать неотъемлемой частью будущего искусственного интеллекта, особенно в сфере агентных технологий, тесно связанных с эмоциональным взаимодействием пользователей.