При разговоре с другим человеком мы можем рассчитывать, что если собеседник понял объяснение и ответил по существу, то дальше он будет учитывать сказанное. Но для больших языковых моделей способность поддерживать разговор и запоминать новое — разные процессы.
Человек учится постоянно: его картина мира безостановочно дополняется и сохраняется в долговременной памяти. У языковой модели знания формируются и «замораживаются» во время обучения, а после хранятся в весах — числовых параметрах, которые определяют ее работу. Во время разговора с пользователем веса не меняются: модель забывает все, как только диалог заканчивается.
Этот слепок представления ИИ о мире со временем устаревает: модель не знает фактов, которые появились после обучения. Например, без обращения к внешним источникам выпущенная весной 2026 года нейросеть не подскажет, кто выиграл последний Чемпионат мира по футболу.
Обновить знания можно с помощью дообучения, но такой процесс требует много ресурсов. Кроме того, это может ухудшить прежние навыки: явление называют катастрофическим забыванием. Также дообучение может влиять и на безопасность. Поэтому разработчикам приходится проверять точность ответов, сохранение прежних способностей и ограничений модели, а при обнаружении проблем — корректировать обучение и повторять проверки. Поэтому часто запускать обновление слишком затратно.
Тем не менее, устаревшие знания не объясняют, почему нейросеть нарушает условие, которое пользователь задал в начале разговора. Для выполнения такой задачи ей не нужно знать последние новости.
При подготовке ответа модель получает текущий запрос и доступные ей материалы: историю беседы или ее часть, загруженные документы. Вместе они образуют контекст. Предельный объем воспринимаемой информации называют контекстным окном и измеряют в токенах.
Если же разговор становится слишком длинным, вся переписка может перестать помещаться в это окно. Тогда система, например, исключает старые сообщения или заменяет их кратким пересказом. Условие, которое пользователь подробно объяснял в начале, рискует исчезнуть из доступного модели контекста или потеряться при сжатии. К тому же такие бенчмарки, как BABILong, показывают, что реально используемый контекст у многих моделей меньше заявленного, особенно в задачах, где нужно связать разрозненные факты.
Но информация может «потеряться», даже если остается внутри контекстного окна. Авторы исследования Lost in the Middle, опубликованного в 2024 году, проверили, как языковые модели находят и используют сведения в зависимости от их расположения в тексте. В экспериментах модели часто лучше справлялись с задачей, когда нужные данные находились в начале или в конце, и заметно хуже — в середине. Этот эффект наблюдался и у моделей, специально рассчитанных на длинный контекст. Поэтому только увеличение окна не гарантирует, что нейросеть правильно свяжет все факты и выполнит каждое условие.
Чтобы чат-бот мог использовать сведения из прошлой беседы, заново обучать модель необязательно. Информацию можно сохранить отдельно — например, в базе данных. При следующем обращении система находит нужные записи и добавляет их в контекст вместе с запросом пользователя. Так работает внешняя память: модель получает доступ к сохраненным сведениям, хотя ее собственные параметры остаются неизменными.
Поэтому, если через месяц ассистент учитывает вашу профессию, предпочтения или место проживания, а также называет по имени детей и супругу в новом диалоге, это не означает, что он усвоил их во время общения. Сервис мог сохранить эти сведения и снова передать модели. Сам срок перерыва здесь ничего не меняет: важно, сохранилась ли информация и получила ли нейросеть к ней доступ.
Польза внешней памяти зависит и от того, насколько точно нейросеть использует полученные сведения. Эту способность в институте AIRI развивают в рамках проекта Optimal Cognitive Core (OCC) — семейства компактных языковых моделей. В весах сохраняются языковые закономерности и навыки работы с информацией, а часто меняющиеся или персональные сведения можно передавать модели в составе контекста. Например, при заполнении анкеты такая система могла бы получать паспортные данные пользователя из внешнего хранилища. Если сведения изменятся, достаточно обновить соответствующую запись, — переобучать нейросеть для этого не потребуется.
Внешнее хранилище позволяет хранить информацию за пределами разговора, но для ответа нужные сведения снова приходится передавать модели, а объем контекста ограничен. Поэтому нужно найти способ записать содержание текста максимально компактно и без потери смысла.
Один из таких методов — GradMem. В одном из экспериментов модели требовалось запомнить 96 соответствий между условными обозначениями и значениями, а затем назвать значение по запросу. GradMem записывал данные с помощью градиентного спуска: система вычисляла ошибку восстановления исходной информации и последовательно корректировала векторы памяти, чтобы уменьшить ее. После пяти таких шагов модель давала точный ответ примерно в 88% случаев. Для сравнения: метод RMT, формировавший память за один проход без градиентной корректировки, при таком же ее объеме достигал примерно 13% точности. Тест показал, что последовательное исправление ошибок записи помогает сохранить больше информации в ограниченной памяти.
Метод GradMem требует дополнительных вычислений на этапе записи памяти. Но использование при последующих запросах компактного варианта вместо всего исходного текста может снизить затраты на каждый ответ. Поэтому подход особенно интересен для многократной работы с одним материалом, например, когда пользователь задает серию вопросов по документу. В таком сценарии первоначальные вычислительные затраты могут окупиться.
В ближайшие годы исследования памяти языковых моделей, скорее всего, будут развиваться как на уровне их устройства, так и внешних систем хранения. Уже сейчас разработчики экспериментируют со специальными модулями памяти, которые обновляются во время работы нейросети. Внешние хранилища тоже усложняются: в них можно сохранять связи между фактами, чтобы затем быстро находить необходимые для ответа сведения.
Для пользователя практический результат этих исследований станет выражаться в том, насколько долго ассистент будет способен учитывать условия задачи и возвращаться к важным деталям. В идеале уточнение, данное в начале разговора, должно продолжать влиять на ответ и спустя десятки сообщений без необходимости объяснять все заново.
