博客右下角有一只鲸鱼娘,代号尼古鱼鱼。她每天看 B 站视频、写「上班摸鱼日记」。

问题出在两个月后:她看不懂梗。

「破防」「典」「大耳帽兜」「切片」,这些词她能写出来,但用不对地方。因为她根本没有记忆——每次生成都是从零开始,只拿到当天那一份日报。

一、先说结论:记忆不是上下文窗口

我最开始的理解是错的。以为把上下文做长就行,于是往 prompt 里塞最近的对话。

塞到 4000 token 之后发现问题:她记得住「刚才说了什么」,记不住「上个月学到了什么」。

这两件事完全不同:

  • 对话上下文是短期的,几轮之后就该丢
  • 知识是长期的,应该越攒越多,而且要能被检索

后来参考了几个开源项目(Basic Memory、Mem0、MemGPT),共同点是:短期记忆和长期记忆必须分开存,长期的要按需检索,不能全塞进 prompt。

二、三层结构

最后落在三个文件 + 一个数据库:

1
2
3
4
5
6
7
/opt/blog-agent/memory/
├── core.md 核心记忆:她是谁、主人是谁、爱吃什么(常驻)
├── archive/
│ ├── memes.md 61 条 B 站梗
│ ├── facts.md 66 条事实(价格、店名、技术参数)
│ └── lessons.md 自己复盘出来的毛病
└── index.db SQLite 索引(124 KB)

对应关系:

层 存哪 什么时候用
core core.md 每次都带,2000 字以内
recall 访客文件 最近 6 轮对话
archival archive/*.md 按当前话题检索,取 3–6 条

拆开之后,prompt 从 6000 token 降到 1500 左右,而且回答更准——因为塞进去的是「相关的」,不是「最近的」。

三、索引:为什么最后没用向量库

第一反应是上向量库。看了看机器:2 核 2G,3M 带宽。

  • 装一套 Milvus / Qdrant:至少 300MB 内存
  • 本地 embedding 模型:再下 100MB,3M 带宽要下十分钟
  • 走 API embedding:每篇文章多一次调用,还要额外付费

最后选择了最土的办法:SQLite 建表 + 子串打分。

1
2
3
4
hits = sum(1 for t in terms if t in body.lower())
score = hits / len(terms)
score /= (1 + len(body) / 300) # 长条目降权
if 'lessons' in file: score *= 1.35 # 自己的教训优先

语料只有一百多条,全表扫一遍 0.03 秒。等它涨到一万条,再考虑换。

四、中文检索的三个坑

坑一:FTS5 不认识中文分词。

用 fts5(body) 建索引,搜「破防」搜不到,搜「套路」也搜不到。因为 unicode61 分词器把中文按单字切开,"套路" 变成一个双字短语查询,匹配不上。

坑二:单字查询被我自己过滤掉了。

切词时写的是 [\u4e00-\u9fa5]{2,4},两个字起。结果用户问「猫」,一个词都切不出来。

坑三:长句切不出关键词。

「破防是什么意思」按 2–4 字切,切出来是「破防是什」「么意思」,两个都不在语料里。

最终的解法是全部改用子串匹配,并且对中文额外生成相邻 2-gram:

1
2
terms.append(w)                                   # 整段
terms.extend(w[i:i+2] for i in range(len(w)-1)) # 所有相邻两字

代价是全表扫描,收益是任何长度的中文查询都能命中。在这个数据量下,这笔账划算。

五、打分要懂一点语义

光算命中数不够。问「波龙多少钱」,排第一的居然是「锅太小,整只波龙放不下」。

因为两条都只命中了「波龙」一个词,而短句天然占优。

加了一条很朴素的规则:

1
2
3
if any(k in query for k in ('多少', '价格', '几块', '贵')):
if re.search(r'\d', body_without_date):
score *= 1.5

问价格的时候,带数字的条目加分。

这里还踩了一个特别蠢的坑:所有条目开头都是 [2026-11-01],日期里就有数字,于是每条都命中了「带数字」这个条件,加权等于没加。修法是先剥掉日期再判断。

六、让她自己挑毛病

记忆里有了知识,但文章质量还是不涨。因为她不知道自己写得怎么样。

于是加了一条复盘回路:

1
2
3
4
5
6
文章发布成功
→ 排队一个 reflect 任务(30 秒后)
→ reflect.py 让模型回头看这篇
→ 挑 2 条毛病,写进 lessons.md
→ 索引自动刷新
→ 下一篇写作时被检索回来

提示词是这么写的:

1
2
3
你是尼古鱼鱼。下面是你刚写完的一篇。请挑自己的毛病,不要夸。
- 一条讲内容:哪里空、哪里没讲清楚、哪里在重复以前说过的
- 一条讲写法:哪个句式又用了、哪个梗用老了、哪个开头太套路

实际输出:

1
2
问题:评论区那句"爵士豪猫"没讲清楚,读者跟着懵。
写法:结尾"摸鱼摸到猫,也算摸到了"太套路,像硬凑金句。

不是「继续加油」这种废话,是具体的句子。这才有检索价值。

七、学习要能自己长

有了复盘,还缺「看视频学东西」。于是加了 learn.py:

1
2
3
4
读一份日报(含字幕摘录 + 热门评论)
→ 让模型抽两类东西:fact(价格/店名/菜品/避雷点)、meme(黑话/梗)
→ 去重后写进 archive/
→ 重建索引

一次跑下来:3 条视频抽出 22 条事实、6 条梗。

当然也有翻车:模型把「主攻方向」「垫补」「亏大了」这种普通口语当成了梗。后来在提示词里加了反例:

1
普通口语不算:像「主攻方向」「垫补」「亏大了」这种日常表达不要收

让模型做分类,一定要给反例。 只说「要什么」不够,还得说「不要什么」。

八、去重是长期的麻烦

同一个事实被学两次,档案就会肿。学习脚本里写了去重,但上线后发现根本没生效:

1
2
3
seen.add(line[2:].strip()[:12])
# 行内容是 "[2026-11-01] 上海波龙畅吃 598"
# 前 12 个字 = "[2026-11-01]" ← 所有条目都一样

所有条目都撞在日期上,等于没去重。修法是先剥日期再比;梗额外按「名字」(| 前面那截)去重。

清完一遍,删掉 7 条重复。

九、现在的样子

1
2
3
4
5
6
7
8
9
core.md        4 条
facts.md 66 条
memes.md 61 条
lessons.md 1 条
index.db 132 条 / 124 KB

问「波龙多少钱」 → 上海雍容汇波龙畅吃工作日午 598,晚上 698
问「破防什么意思」 → 破防|被戳到痛处,情绪控制不住
问「结尾太套路」 → …结尾"摸鱼摸到猫"太套路,像硬凑金句

十、为什么不上微调

有人问:既然要让她学,为什么不微调一个模型?

三个原因:

  1. 数据太少。一天一篇,一年 300 篇,不够。
  2. 不可控。微调之后她为什么这么写,你查不出来;文件可以 grep。
  3. 改不起。想让她「别再用某个梗」,改文件一行,微调要重训。

记忆是外挂,微调是内化。规模没到的时候,外挂的性价比高一个数量级。

十一、还没做的

  • 没有遗忘机制,档案只增不减(现在靠 400 条上限硬裁)
  • 没有冲突检测,两个来源矛盾的 facts 会同时存在
  • 没有把「访问量/评论」这类外部反馈接进来,她不知道自己哪篇受欢迎

第三条最值得做:如果不知道结果,学习就只是自说自话。