工程 2026年11月21日 10 分钟阅读 NEXUPIRA 工程
我们让 AI 自行保存记忆。以下是它在头两天里出错的地方
小微企业主从未打开过那个页面——我们 AI 的记忆建议就在那里等待审批,因此它几乎什么都没记住。我们让它自行保存,然后看着它把一次性请求记成规则、把测试问题记成商业计划、把它自己的选项列表记成关于老板的事实。我们逐一修复了这些问题,用的都是朴素的规则;以及为什么现在每次保存都会显示在答案下方,并附带一个“撤销”按钮。

NEXUPIRA 为小微企业主提供几位 AI 同事:一位起草客户回复并撰写报价,一位记账,一位管理日历。和大多数助手一样,当它们能记住事情时——店铺卖什么、收费多少、几点开门、老板喜欢什么样的回复风格——它们就会有用得多。
这篇文章讲的是我们如何让这份记忆自行保存,在向所有人开放之前于生产环境测试的两天里出了什么错,以及我们针对每个失败添加的规则。大多数规则都是正则表达式和词重叠计数。这正是本文的重点。
没人打开的审批队列
我们最初的设计很谨慎。一段对话结束后,一个后台读取器会挑出值得记住的事实,每一条都在 Memory 页面上等待老板按下 Keep 或 Drop。未经同意,任何内容都不会进入 AI 的记忆。
它没成功,而且不是技术原因。我们的用户经营美甲店、修理店和一人工作室。他们打开聊天,要一份报价,然后离开。设置页面上的队列对他们来说是不可见的,所以 AI 一直在索要上周才被告知的价格表。一个没人使用的谨慎设计保护不了任何人;它只会让产品健忘。
于是我们换了个问题。不再问“老板是否应该批准每一条记忆?”,而是问:哪些事实可以不经询问就安全保存,以及老板如何在不离开当前页面的情况下看到并撤销一次保存?
一张图看懂设计
- 一次回复之后,一个后台读取器会查看老板自己的消息(绝不看客户的消息,也绝不看共享聊天中同事的消息),并挑选出候选事实。它在聊天的第一条消息上运行,之后每隔一条消息运行一次。
- 读取器会为每条事实指定一个类别:他们卖什么、价格、营业时间、客户类型、偏好的语气、格式或工作方式。
- 朴素的代码规则决定每条事实的处理方式:保存它、像以前一样留在 Memory 页面等待同意,或者丢弃它。
- 保存仍然要通过我们已有的两道模型检查:这是可复用的而不是一次性的吗?它与现有记忆重复或矛盾吗?重复则不保存。矛盾绝不覆盖:聊天会询问“将‘X’更新为‘Y’?”并给出 Update 和 Keep current。
- 每次保存都会显示在产生它的答案下方:“已记住:……”并附带一个撤销按钮。Memory 页面会把每条保存的记忆链接回它的聊天。
第 3 步中的规则仅作用于文本,因此无论模型说什么,它们都成立:
文章标题:我们让 AI 自己保存记忆。头两天它就出了错
正文:
// src/lib/server/memory-auto-save-rules.ts (trimmed)
export function autoSaveVerdict(content: string, kind: unknown, userWords: readonly string[] = []): AutoSaveVerdict {
const text = content.trim();
if (looksLikeCredential(text)) return { action: 'drop', reason: 'credential' };
if (has(MONEY_PATTERNS, text)) return { action: 'drop', reason: 'money' };
if (has(PERSONAL_PATTERNS, text)) return { action: 'drop', reason: 'personal' };
if (has(PRIVATE_PATTERNS, text)) return { action: 'drop', reason: 'private' };
const notFact = notAMemory(text); // hypotheticals, placeholder rules
if (notFact) return { action: 'drop', reason: notFact };
if (!isAutoSaveKind(kind)) return { action: 'consent' };
if (isPostMaterial(text, userWords)) return { action: 'drop', reason: 'draft' };
if (PREFERENCE_KINDS.has(kind)) {
const source = sourceMessageFor(text, userWords);
if (!source || !statesStandingRule(source)) return { action: 'consent' };
return { action: 'save', kind, statedRule: true };
}
return { action: 'save', kind };
}
顺序很重要。绝不能保留的内容(密码和 API 密钥、银行账号和卡号、客户的电话号码、电子邮箱、聊天应用 ID 和地址、指名道姓的人、健康与家庭信息)会先被检查并丢弃,覆盖英文、中文和日文。即使功能关闭,机密信息也会被丢弃:粘贴进对话的密钥甚至不能变成一条建议。模型可以被说服做很多事;而匹配 sk-… 或「密碼」的正则表达式不会。
接下来的一切都来自在真实账户的生产环境上的测试。
失败 1:一个只针对单次回复的请求变成了规则
第一条测试消息是「幫我用一句話回覆客人問價格」,即“用一句话回复这位客户的价格问题”。读取器把“店主希望价格问题用一句简短的话回答”保存为长期偏好。从那时起,每条价格回复都会只有一句话。
对模型来说这是个容易犯的错误,因为这句话讲的是格式。但它其实是针对这一次回复的请求。修复办法是把语气、格式和工作流与事实区别对待:价格或营业时间可以自行保存,但偏好只有在店主自己的话表明它是一条长期规则时才能保存。
const STANDING_RULE_PATTERNS: RegExp[] = [
/(?:以後|今後|從現在起|每次|一律|總是|永遠|預設|不要再|別再|偏好)/,
/\b(?:always|never|from now on|going forward|every time|whenever|by default|(?:I|we) prefer)\b/i,
/(?:今後|これから|毎回|いつも|常に|必ず|基本的に|デフォルト)/
];
读取器用自己的话写记忆,所以规则首先要找出这条记忆来自店主的哪条消息:与它共享最多词的那条,按拉丁词以及中文或日文字符对来计数。找不到来源消息时,规则按失败关闭处理:该偏好等待用户同意。
失败 2:修复之后又拒绝了真正的规则
下一条测试说得很规范:「以後客人問營業時間,都用一句話簡短回就好」,即“从现在起,客人问营业时间,都用一句话简短回复就好”。结果什么都没保存。
原因是我们自己更早的安全检查。那个筛掉一次性记忆的模型检查原本是为另一个功能写的,它的提示词把「每次都要用英文」(“总是用英文”)列为过于绝对的记忆示例。我们的新规则恰恰要求出现旧检查所拒绝的那些词(“从现在起”“总是”)。每个检查单独看都合理。合在一起,它们保证了任何东西都永远无法被保存。
修复办法是一个标志位。当规则已经看到店主陈述了一条长期规则时,就告知该检查,于是“过于绝对”不再成为拒绝的理由。对其他所有调用方,该检查保持不变,一个字节都不改。
文章标题:我们让 AI 自己保存记忆。它在头两天里搞错了什么
第三次运行仍然什么都没保存,原因不同:那次对话中的同事没有记忆工具,回复说“我没法从这里保存这个偏好”,而我们的代码把这一轮当作失败处理,完全跳过了读取器。我们无法从测试会话读取生产日志,于是发布了最可能的修复,并加了一行日志,标明读取器可能停止的每个阶段(没有具体文字,只记录阶段)。下一次运行保存了这条规则,显示带撤销的“已记住”,并挡住了一个一次性请求。
如果你要构建这个,请记录记忆流水线提前退出的阶段。“什么都没发生”有六种可能的原因,你猜不对是哪一种。
失败 3:一个测试问题变成了商业计划
为了测试我们的营销同事,有人问「如果我開寵物美容店…」,“如果我开一家宠物美容店,你会发什么?”。读取器保存了“店主正在考虑开一家宠物美容店;发帖时偏好宠物内容”。此后每一条帖子都偏向宠物。
假设不是关于店主的事实。当措辞是“如果我/我们”加上一家店或一个角色、“假设”、“想象”、一家编造的店、一次测试对话,或“考虑开一家”时,我们在三种语言中都会丢弃它。这个模式必须很窄,因为“如果客户问退款,就说我们不退款”是一种真实的工作方式,必须保留。后来的一次审查还发现,「如果用戶沒指定語言,一律用繁中回覆」,“如果用户没有指定语言,一律用繁体中文回复”,被丢掉了,因为读取器把店主称为“用户”。现在这个模式不再动这种形式。
失败 4:AI 记住了自己的话
一位店主只写了「幫我寫一則貼文」,“给我写一条帖子”,然后写了「1、1,其他你看著辦」,“1、1,剩下你看着办”,从 AI 提供的一个编号选项列表里选择。读取器保存了“店主经营 NEXUPIRA;产品包括自动化;目标客户是小团队”。这些话全都来自 AI 的选项列表。店主一句都没说过。
这一条是最普遍的教训:记忆读取器看到整个对话,而大部分话是助手写的。所以我们检查话是谁说的:
export function fromAssistantWords(content: string, userWords: readonly string[], assistantWords: readonly string[]): boolean {
const fact = groundTokens(content);
if (fact.size < 3 || assistantWords.length === 0) return false;
// Memory written in another language than the owner's: the words cannot tell, so do not judge.
if (mostlyCjk(content) !== mostlyCjk(userWords.join('\n'))) return false;
const said = groundTokens(userWords.join('\n'));
const answered = groundTokens(assistantWords.join('\n'));
let fromUser = 0;
let assistantOnly = 0;
for (const token of fact) {
if (said.has(token)) fromUser++;
else if (answered.has(token)) assistantOnly++;
}
return assistantOnly >= 3 && assistantOnly >= 2 * Math.max(1, fromUser);
}
这些 token 会跳过读取器自己的框架用语(“用户的业务包括……”,「用戶經營…」),所以措辞不算证据。店主用别的话说过的事实仍然与助手共享很少的词,因此会保留。
失败 5:帖子的主题变成了关于店铺的事实
「幫我寫一則粉專貼文,介紹我們的「雲朵冷萃」瓶裝咖啡」,“写一条 Facebook 帖子,介绍我们的‘云朵冷萃’瓶装咖啡”,显示了“已记住”。为一家代理公司的美甲沙龙客户写的一条帖子也是如此。后来的一条消息于是提议把咖啡记忆改写成关于自动化的内容。
某人放进帖子里的内容是那条帖子的素材:他们可能在测试的产品、客户的优惠、周日结束的活动。如果源消息要求写一条帖子或其他文案,那么其中的任何内容都不会被记住、提议或用于更新记忆。关于帖子的常设规则(“从现在起,帖子一律以我们的营业时间结尾”)不会被这一点捕获,因为它陈述的是一条规则。
失败 6:一条把 bug 锁定的记忆
文章标题:我们让 AI 自己保存记忆。头两天它犯了哪些错
正文: 一位用户问,如果草稿里缺少某些事实会怎样,AI 解释说它会把这些事实留在方括号里。这位读者把这一点保存成了一条规则。当时我们正在移除那些带方括号的空白,而这条记忆会在修复上线后,仍然为那个账号把它们保留下来。关于占位符的规则属于产品行为,而不是用户的偏好,因此被丢弃。
我们没有做什么
- 没有来自模型的置信度分数。每一个涉及隐私或正确性的重要决策,都在对文本运行的代码里,并且有三种语言的测试。模型负责挑选候选并给出种类;它不决定什么是安全的。
- 没有静默覆盖。与已存价格矛盾的新价格,会在聊天中等待 Update 或 Keep current。撤销一次更新会把原来的文字放回去。
- 没有新手引导。第一次记住某件事时,它下面会出现一句话,每个账号一次:"NEXUPIRA 会记住你告诉它的业务细节和规则,并在下次使用。如果你不想保留某项内容,请按 Undo。"
- 指标里没有具体文字。我们按种类统计 saved、undone、conflict、updated、declined、duplicate 和 screened out。事实本身从不进入日志。
我们还不知道什么
它自 18 November 起对所有人开放,时间还不够长,说不了太多。我们要关注的数字是按种类划分的撤销率:如果用户经常撤销某一类记忆,那么这一类就应该回到先询问。等有了值得报告的数据,我们会写一篇后续。
如果你正在为助手构建记忆功能
- 把审批步骤放进对话里。设置页面上的队列是没人会看的队列。
- 把"只做这一次"和"总是这样做"当作不同的事。寻找构成规则的那些词;不要让模型去推断。
- 检查是谁说的。对话记录的大部分是助手写的,而读者会很乐意记住它自己的话。
- 假设、测试和发布材料不是事实。你自己的团队会产生其中大部分内容。
- 当两项安全检查相遇时,要把它们放在一起测试。我们的检查各自单独通过,合在一起却什么都没保存下来。
- 记录阶段,而不是文字。你需要知道流水线停在哪里,而且绝不能保留用户说过的话。
NEXUPIRA 为小企业构建 AI 同事:当客户在 LINE、WhatsApp 或 Telegram 上询价时,它会起草回复和报价,在用户批准之前不会发送任何内容。它还负责记账和日历。了解它如何运作,或开始免费试用。