给一条鲸鱼做记忆:三层结构、一个 SQLite 索引、和一个每天挑自己毛病的回路
博客右下角有一只鲸鱼娘,代号尼古鱼鱼。她每天看 B 站视频、写「上班摸鱼日记」。
问题出在两个月后:她看不懂梗。
「破防」「典」「大耳帽兜」「切片」,这些词她能写出来,但用不对地方。因为她根本没有记忆——每次生成都是从零开始,只拿到当天那一份日报。
一、先说结论:记忆不是上下文窗口
我最开始的理解是错的。以为把上下文做长就行,于是往 prompt 里塞最近的对话。
塞到 4000 token 之后发现问题:她记得住「刚才说了什么」,记不住「上个月学到了什么」。
这两件事完全不同:
- 对话上下文是短期的,几轮之后就该丢
- 知识是长期的,应该越攒越多,而且要能被检索
后来参考了几个开源项目(Basic Memory、Mem0、MemGPT),共同点是:短期记忆和长期记忆必须分开存,长期的要按需检索,不能全塞进 prompt。
二、三层结构
最后落在三个文件 + 一个数据库:
1 | /opt/blog-agent/memory/ |
对应关系:
| 层 | 存哪 | 什么时候用 |
|---|---|---|
| core | core.md |
每次都带,2000 字以内 |
| recall | 访客文件 | 最近 6 轮对话 |
| archival | archive/*.md |
按当前话题检索,取 3–6 条 |
拆开之后,prompt 从 6000 token 降到 1500 左右,而且回答更准——因为塞进去的是「相关的」,不是「最近的」。
三、索引:为什么最后没用向量库
第一反应是上向量库。看了看机器:2 核 2G,3M 带宽。
- 装一套 Milvus / Qdrant:至少 300MB 内存
- 本地 embedding 模型:再下 100MB,3M 带宽要下十分钟
- 走 API embedding:每篇文章多一次调用,还要额外付费
最后选择了最土的办法:SQLite 建表 + 子串打分。
1 | hits = sum(1 for t in terms if t in body.lower()) |
语料只有一百多条,全表扫一遍 0.03 秒。等它涨到一万条,再考虑换。
四、中文检索的三个坑
坑一:FTS5 不认识中文分词。
用 fts5(body) 建索引,搜「破防」搜不到,搜「套路」也搜不到。因为 unicode61 分词器把中文按单字切开,"套路" 变成一个双字短语查询,匹配不上。
坑二:单字查询被我自己过滤掉了。
切词时写的是 [\u4e00-\u9fa5]{2,4},两个字起。结果用户问「猫」,一个词都切不出来。
坑三:长句切不出关键词。
「破防是什么意思」按 2–4 字切,切出来是「破防是什」「么意思」,两个都不在语料里。
最终的解法是全部改用子串匹配,并且对中文额外生成相邻 2-gram:
1 | terms.append(w) # 整段 |
代价是全表扫描,收益是任何长度的中文查询都能命中。在这个数据量下,这笔账划算。
五、打分要懂一点语义
光算命中数不够。问「波龙多少钱」,排第一的居然是「锅太小,整只波龙放不下」。
因为两条都只命中了「波龙」一个词,而短句天然占优。
加了一条很朴素的规则:
1 | if any(k in query for k in ('多少', '价格', '几块', '贵')): |
问价格的时候,带数字的条目加分。
这里还踩了一个特别蠢的坑:所有条目开头都是 [2026-11-01],日期里就有数字,于是每条都命中了「带数字」这个条件,加权等于没加。修法是先剥掉日期再判断。
六、让她自己挑毛病
记忆里有了知识,但文章质量还是不涨。因为她不知道自己写得怎么样。
于是加了一条复盘回路:
1 | 文章发布成功 |
提示词是这么写的:
1 | 你是尼古鱼鱼。下面是你刚写完的一篇。请挑自己的毛病,不要夸。 |
实际输出:
1 | 问题:评论区那句"爵士豪猫"没讲清楚,读者跟着懵。 |
不是「继续加油」这种废话,是具体的句子。这才有检索价值。
七、学习要能自己长
有了复盘,还缺「看视频学东西」。于是加了 learn.py:
1 | 读一份日报(含字幕摘录 + 热门评论) |
一次跑下来:3 条视频抽出 22 条事实、6 条梗。
当然也有翻车:模型把「主攻方向」「垫补」「亏大了」这种普通口语当成了梗。后来在提示词里加了反例:
1 | 普通口语不算:像「主攻方向」「垫补」「亏大了」这种日常表达不要收 |
让模型做分类,一定要给反例。 只说「要什么」不够,还得说「不要什么」。
八、去重是长期的麻烦
同一个事实被学两次,档案就会肿。学习脚本里写了去重,但上线后发现根本没生效:
1 | seen.add(line[2:].strip()[:12]) |
所有条目都撞在日期上,等于没去重。修法是先剥日期再比;梗额外按「名字」(| 前面那截)去重。
清完一遍,删掉 7 条重复。
九、现在的样子
1 | core.md 4 条 |
十、为什么不上微调
有人问:既然要让她学,为什么不微调一个模型?
三个原因:
- 数据太少。一天一篇,一年 300 篇,不够。
- 不可控。微调之后她为什么这么写,你查不出来;文件可以
grep。 - 改不起。想让她「别再用某个梗」,改文件一行,微调要重训。
记忆是外挂,微调是内化。规模没到的时候,外挂的性价比高一个数量级。
十一、还没做的
- 没有遗忘机制,档案只增不减(现在靠 400 条上限硬裁)
- 没有冲突检测,两个来源矛盾的 facts 会同时存在
- 没有把「访问量/评论」这类外部反馈接进来,她不知道自己哪篇受欢迎
第三条最值得做:如果不知道结果,学习就只是自说自话。