COCONUT от Meta: ИИ, который мыслит без языка

Когда исследователи обнаружили, что крупные языковые модели (LLM) способны рассуждать пошагово благодаря методу цепочки подсказок, это стало настоящим прорывом. Наконец, мы получили возможность заглянуть в процесс их мышления. Но что если заставлять модели ИИ рассуждать на естественном языке — это ограничивает их возможности? Именно к такому выводу пришли специалисты из Meta и Калифорнийского университета в Сан-Диего, разработав инновационный метод COCONUT («цепочка непрерывной мысли»).

Почему язык — это барьер для ИИ

Представьте, что вам нужно решить сложную математическую задачу, проговаривая каждый шаг вслух. Это не только неудобно, но и замедляет процесс. Аналогично происходит с языковыми моделями, когда они вынуждены рассуждать на естественном языке:

1. Большинство генерируемых токенов — это лингвистические связки («следовательно», «таким образом»), которые не помогают в решении задачи.
2. Решение усложняется необходимостью подбирать конкретные слова.
3. Модель тратит ресурсы на соблюдение грамматической связности, вместо того чтобы сосредоточиться на самой задаче.

Интересное открытие сделали учёные в ходе нейровизуализационных исследований. Оказалось, что при решении сложных задач языковые центры мозга человека остаются относительно пассивными. Однако традиционные языковые модели работают противоположным образом, превращая каждый этап размышлений в текст. Это создает так называемое «лингвистическое узкое место».

Как работает COCONUT

Основная идея COCONUT заключается в том, чтобы позволить моделям ИИ мыслить на их собственном «языке» — в многомерном пространстве скрытых состояний. Представьте разницу между проговариванием мыслей вслух и реальным ментальным процессом. Это различие лежит в основе нового подхода.

COCONUT даёт моделям ИИ способность работать в двух режимах, наподобие того, как это делает человек:

1. Восприятие проблемы: моделирование и обработка информации, например, чтение условий задачи.
2. Молчаливое мышление: выполнение вычислений и анализ без слов.
3. Объяснение решения: представление результатов на естественном языке для коммуникации.

Модель переключается между этими режимами, используя язык только для общения. В остальное время она опирается на внутренние нейронные представления («латентное пространство»).

Этапы обучения COCONUT

Одной из особенностей COCONUT является его учебная программа, которая имитирует постепенное обучение сложным навыкам:

1. Базовый этап: сначала модель обучается по стандартным методам, используя традиционную цепочку рассуждений.
2. Переходный этап: затем лингвистические шаги заменяются непрерывными внутренними размышлениями.
3. Балансировка: на последнем этапе модель учится плавно переключаться между скрытым мышлением и языковым выражением.

Этот подход позволяет модели развивать способности, которые не закладывались изначально, например, анализ нескольких возможных решений одновременно. Такие спонтанные умения указывают на потенциал для более естественного искусственного интеллекта.

Преимущества COCONUT в цифрах

Результаты исследований подтверждают эффективность метода:

• Текстовые математические задачи (GSM8k): точность COCONUT составила 34,1%. Хотя это ниже традиционного Chain-of-Thought (42,9%), модель показала значительное улучшение по сравнению с базовыми подходами.
• Логическая дедукция (ProntoQA): точность достигла 99,8%, что выше традиционного метода (98,8%), причём с использованием всего 9 токенов вместо 92,5.
• Сложное планирование (ProsQA): COCONUT продемонстрировал выдающуюся точность 97%, значительно превосходя традиционные методы (77,5%) при экономии токенов (14,2 против 49,4).

Эти результаты свидетельствуют о перспективности COCONUT, особенно в задачах, требующих сложного планирования и логики.

Новая эра мышления ИИ

COCONUT отражает революционный взгляд на то, как ИИ может рассуждать. Переход от языкового мышления к непрерывному — это шаг к созданию более эффективных и мощных систем. Такой подход не только увеличивает производительность, но и открывает путь к более естественным формам мышления для искусственного интеллекта.