Google Research·· 5 小时前AI 评分50
Google Research 提出 sleep 框架，让 LLM 在持续学习中保留知识
The sleep framework: A new way for LLMs to retain knowledge in continual learning
AI 导读
Google Research 提出 sleep 框架，让 LLM 在主动交互与离线巩固两个阶段之间交替，以缓解持续学习中的灾难性遗忘。离线阶段通过 MoE 参数扩展、广义知识蒸馏与 RL 模仿学习把短期上下文写入长期参数，并用随机专家激活生成合成样本做自我改进。
来源：Google Research · research.google