Моделям нужен сон

Новый подход переносит полезный краткосрочный контекст в параметры модели через отдельную фазу консолидации. После этого модель генерирует синтетический curriculum и продолжает самоулучшение без дополнительной человеческой разметки.

Что произошло

Авторы работы Language Models Need Sleep предлагают относиться к обучению модели как к циклу с отдельными фазами бодрствования, консолидации и dreaming. Идея не в том, чтобы бесконечно растить prompt или raw context, а в том, чтобы переносить часть полезного опыта из краткосрочной памяти в более устойчивое внутреннее представление.

Это важно для агентных систем: если модель постоянно работает с новым опытом, ей нужен контролируемый механизм отбора, перепроверки и закрепления знания. Иначе краткосрочные решения остаются только в истории диалога и не становятся переносимым навыком.

Основной механизм

Фаза	Что делает модель	Зачем это нужно
Wake	Решает задачи, а новый опыт остаётся в краткосрочном контексте.	Собирает конкретные эпизоды, ошибки и удачные решения.
Memory Consolidation	Knowledge Seeding переносит накопленные знания в более ёмкую сеть через distillation и RL-based imitation.	Закрепляет полезные паттерны вне одного prompt.
Dreaming	Генерирует синтетические задачи, повторяет новое знание и улучшает связанные способности.	Создаёт curriculum для самоулучшения без новой человеческой разметки.

Wake

В фазе Wake модель сталкивается с задачами и получает новый опыт. Этот опыт ещё не является долговременной памятью: он живёт в контексте, трассах решения, успешных и неуспешных попытках.

Memory Consolidation

В фазе Memory Consolidation подход Knowledge Seeding переносит накопленные знания в более ёмкую сеть. Для этого используются distillation и RL-based imitation: модель учится воспроизводить полезные действия и промежуточные выводы, которые появились в краткосрочном опыте.

episodes -> selected traces -> consolidation -> updated model behavior

Dreaming

В фазе Dreaming модель создаёт синтетические задачи вокруг нового знания. Это похоже на rehearsal: система не просто сохраняет факт, а многократно применяет его в новых формулировках и соседних ситуациях.

Важное ограничение

Автоматическая консолидация может ухудшать память. В связанном исследовании Useful Memories Become Faulty When Continuously Updated by LLMs GPT-5.4 потерял решение в 54% ранее решённых ARC-задач. Агенты, сохранявшие raw episodes, вдвое обошли режим принудительной консолидации.

Проблема не в самой идее памяти, а в потере проверяемости. Если система сохраняет только абстракцию, но не хранит исходные эпизоды, ей сложнее отличить правильное обобщение от уверенной ошибки.

Редакционный вывод New Runtime

Память должна хранить не только извлечённый урок, но и исходные эпизоды, по которым этот урок можно перепроверить. Память без исходных эпизодов может превратить ошибочную абстракцию в постоянное знание.

Практический принцип для AI-продуктов: консолидация должна быть обратимой и проверяемой. В production-системе полезно хранить не только итоговый lesson, но и provenance: какие эпизоды, метрики и контраргументы привели к этому уроку.

Что переносить в инженерную систему

• Разделяйте краткосрочный context, долговременную память и обучающие артефакты.
• Не удаляйте raw episodes сразу после извлечения summary.
• Проверяйте consolidated memory на старых задачах, а не только на новых синтетических.
• Храните источники и provenance рядом с каждым устойчивым выводом.
• Делайте rollback памяти таким же обычным механизмом, как rollback кода.

Первичные источники

1. Language Models Need Sleep: Learning to Self-Modify and Consolidate Memories — https://arxiv.org/abs/2606.03979
2. Useful Memories Become Faulty When Continuously Updated by LLMs — https://arxiv.org/abs/2605.12978