Лучшие модели ИИ не справляются с длинными текстами

Недавнее исследование, проведенное учеными из LMU Munich, Мюнхенского центра машинного обучения и Adobe Research, раскрывает важную проблему: даже самые передовые языковые модели ИИ сталкиваются с трудностями при обработке длинных текстов. Оказалось, что самые мощные системы ИИ не всегда могут правильно связывать информацию, когда для этого не достаточно простого сопоставления слов.

Скрытые сложности восприятия текста ИИ

Представьте, что вам нужно найти конкретную деталь в длинной научной статье. Вы не просто просматриваете ее, а создаете логические связи между различными разделами, чтобы собрать нужную информацию. Однако многие модели ИИ действуют совсем не так. Вместо того чтобы анализировать контекст, они часто просто ищут точные совпадения слов — как если бы использовали команду Ctrl+F на вашем компьютере.

Чтобы проверить, насколько хорошо различные модели ИИ справляются с этой задачей, исследователи разработали новый бенчмарк под названием NOLIMA (No Literal Matching). Этот тест оценивает, способны ли модели ИИ работать не только с точными совпадениями, но и понимать контекст. Оказалось, что как только текст становится длиннее 2000 слов, производительность этих моделей значительно падает. А когда текст достигает 32 000 слов — длины короткой книги — большинство моделей ИИ начинают терять свои способности. Среди тестируемых моделей были такие гиганты, как GPT-4o, Gemini 1.5 Pro и Llama 3.3 70B.

Возможные последствия таких ошибок могут быть серьезными, например, если ИИ используется в медицине или юриспруденции. Если система не распознает связи между терминами, использующими разные формулировки, она может упустить важную информацию и привести к ошибочным выводам.

Почему простое сопоставление слов не дает результата

Модели ИИ обрабатывают текст с помощью так называемого механизма внимания, который помогает системе выделить ключевые части текста и понять отношения между словами и идеями. Этот механизм работает эффективно для коротких текстов. Однако когда документ становится длинным, система перегружается, и простое сопоставление слов уже не дает нужных результатов.

Тест NOLIMA показал, что когда модели ИИ сталкиваются с задачей, требующей понимания контекста, а не поиска точных слов, их способности резко снижаются. Даже специализированные модели, предназначенные для сложных рассуждений, показывают точность ниже 50% при обработке длинных документов.

Без явных совпадений слов ИИ с трудом справляется с такими задачами, как:

• Объединение связанных концепций, использующих разные термины.
• Следование многозначным рассуждениям.
• Поиск информации, которая встречается в конце текста.
• Игнорирование нерелевантных совпадений слов в других разделах.

Цифры говорят о многом

Результаты исследования показали, как сильно снижается эффективность моделей ИИ с увеличением длины текста. GPT-4o, например, показывала лучшие результаты, сохраняя эффективность до 8000 токенов (примерно 6000 слов). Однако даже эта модель начинала демонстрировать ухудшение результатов, когда текст становился длиннее. Модели Gemini 1.5 Pro и Llama 3.3 70B теряли свою точность при 2000–8000 токенах.

Еще более заметным становилось снижение производительности, когда задачей было многоэтапное рассуждение. Например, если модели требовалось установить две логические связи (например, что объект находится в городе рядом с известным памятником), их успех резко снижался, когда текст превышал 16 000 токенов. Даже метод Chain-of-Thought, который помогает улучшить рассуждения, не справлялся с задачами такого рода.

Эти результаты ставят под сомнение утверждения о том, что современные модели ИИ могут эффективно работать с большими контекстами. Хотя многие системы заявляют о поддержке длинных текстов, исследования показывают, что их способность правильно анализировать информацию падает задолго до того, как они достигают теоретических пределов.

Когда ИИ не видит всего контекста

Эти ограничения имеют важные последствия для практического использования ИИ. Например, в юридической системе ИИ может не заметить важный прецедент, если он использует другие термины, чем те, что есть в поисковом запросе. В результате система может сосредоточиться на менее релевантных случаях, которые просто имеют больше общих слов с запросом.

Такие проблемы особенно опасны в поиске и анализе документов. Множество современных ИИ-систем, использующих метод Retrieval-Augmented Generation (RAG), могут не распознать релевантность документа, если формулировка отличается от поискового запроса. Вместо того чтобы найти нужную информацию, система может выбрать менее подходящий документ, который лишь частично совпадает с запросом.

Что из этого следует для пользователей ИИ

Для тех, кто работает с ИИ, важно учитывать несколько важных рекомендаций:

• Короткие запросы и документы обычно обеспечивают более точные результаты. Когда вы работаете с длинными текстами, разбивка их на более мелкие, сфокусированные части поможет сохранить точность работы ИИ.
• При запросах на установление связей между разделами длинных документов лучше быть конкретным и направить ИИ к определенным отношениям, которые вы хотите исследовать. Это поможет компенсировать текущие ограничения моделей.
• Важно сохранять критический подход к результатам ИИ, особенно когда речь идет о сложных или длинных текстах. Несмотря на все возможности ИИ, его способность полноценно анализировать контекст в таких случаях все еще ограничена.

Что будет дальше: взгляд в будущее ИИ

Понимание ограничений современных моделей ИИ в обработке длинных текстов открывает новые вопросы для развития этой технологии. Исследования, лежащие в основе теста NOLIMA, показывают, что подходы к обработке длинных текстов нуждаются в значительном улучшении. Несмотря на частичные успехи, такие как подсказка Chain-of-Thought, которая помогает улучшить рассуждения, текущие методы не способны справиться с текстами длиной более 16 000 токенов.

Механизм внимания, который используется в современных моделях, требует пересмотра. Это как попытка вести беседу в шумной комнате: чем дольше разговор, тем сложнее следить за всеми важными моментами. Современные модели ИИ сталкиваются с такой же проблемой, только в гораздо более масштабных текстах.

Одним из возможных направлений является разработка новых методов для ИИ, которые позволят моделям не только искать точные совпадения слов, но и выявлять более глубокие концептуальные связи. Это могло бы работать подобно тому, как люди строят ментальные карты, связывая идеи по смыслу, а не только по словам.

Еще одно направление — это улучшение обработки «скрытых переходов» — логических шагов, необходимых для соединения информации из разных частей текста. Новые архитектуры могут помочь преодолеть эти ограничения и улучшить способность ИИ устанавливать связи между фрагментами данных.

Для пользователей ИИ эти исследования подсказывают несколько полезных советов:

• Разбивайте длинные документы на логические части, чтобы ИИ мог работать с более структурированными сегментами.
• Когда нужно анализировать длинные тексты, задавайте четкие вопросы, направляя ИИ к конкретным связям, которые вы хотите установить.
• Сохраняйте реалистичные ожидания: хотя ИИ может быть мощным инструментом, его возможности в анализе длинных текстов все еще ограничены. Человеческий опыт и понимание остаются незаменимыми.

Будущее ИИ в обработке длинных текстов

Путь развития ИИ в этой области — одновременно сложный и захватывающий. Пока ИИ не сможет работать с длинными текстами так, как это делает человек, нам предстоит найти новые методы, которые позволят моделям действительно понимать контекст, а не просто обрабатывать текст. До тех пор эффективное использование ИИ требует внимания к его ограничениям и максимального использования его сильных сторон.