LLM 个性化记忆存在过度关注问题
Andrej Karpathy 指出所有 LLM 的个性化记忆都存在一个共性问题：两个月前随口问的一个话题会被模型当作深层兴趣反复提及。他认为这可能源于训练时上下文信息通常与任务相关，导致模型在推理时对 RAG 检索到的记忆内容过度拟合。
查看原文本解读由 AI 自动生成 · 模板：事件解读 · 仅供参考，请以原文为准。
Andrej Karpathy 指出所有 LLM 的个性化记忆都存在一个共性问题：两个月前随口问的一个话题会被模型当作深层兴趣反复提及。他认为这可能源于训练时上下文信息通常与任务相关，导致模型在推理时对 RAG 检索到的记忆内容过度拟合。
查看原文