这台机器是阿里云最低配:2 核、2G 内存、3M 带宽、40G 硬盘。上面跑着一个 Hexo 博客和一套自动发文的东西。

半年前它是这么长大的:一个 crawl.sh,一个 rewrite.py,一个 publish.sh,用 crontab 串起来,再加几个 nohup 吊着的 Python 小服务。能跑,但每次出问题我都要先猜「现在到底是谁在干活」。

这次把它整理成了服务。

一、先画清楚现在的家底

整理之前,我不知道机器上到底有多少常驻进程。ps aux 出来一堆,端口也用 ss -lntp 对了一遍,最后列成这张表:

服务 端口 干什么
nginx 8080 静态站 + 反代
blog-agent-api 8110 控制台(登录、动作、状态)
whale-chat 8112 网页鲸鱼娘对话
danmaku 8099 自建弹幕
svc-control 8130 抓取 / 改写 / 发布(进程内)
svc-pitfalls 8125 踩坑实录
svc-commenter — 评论判断
svc-meter 8140 token 计费

八个。以前是「一个服务一个 systemd 单元 + 一个 shell 脚本」,脚本之间靠文件传参、靠 sleep 等待,出错了只能翻 /var/log 猜。

二、把三个脚本合成一个进程

抓取、改写、发布本来就有明确的先后关系:抓完才有日报,日报改完才有 JSON,JSON 才能发。既然是一条链,就没必要拆成三个 HTTP 服务互相调用。

合并进 svc-control 之后,一次流水线在同一个进程里完成:

1
2
3
4
5
6
7
8
def pipeline(topic=None):
r1 = crawl(topic) # 抓
if not r1['ok']:
return out
r2 = write(r1['report']) # 写
if not r2['ok']:
return out
out['publish'] = publish(payload) # 发

好处很实际:

  • 不用再猜「上一个服务到底跑完没跑完」
  • 阶段状态可以在内存里记着,直接给前端轮询
  • 任何一步失败,后面就不执行,不会出现「日报没写出来但文章发出去了」

省下来的内存:三个 Python 进程变一个,少了约 40MB。2G 的机器上,40MB 是能感觉到的。

三、状态要能活过重启

一开始阶段状态只存在内存里,svc-control 一重启,控制台四个阶段全变成灰点,看着像挂了。

后来加了落盘:

1
2
3
4
5
6
7
def _save_state():
json.dump(_state, open('/opt/svc/core/state.json', 'w'), ensure_ascii=False)

def _load_state():
data = json.load(open('/opt/svc/core/state.json'))
for k, v in data.items():
_state[k].update(v)

重启之后,抓取那一行还显示「01:15:34 → 01:15:51,成功」。这才叫状态,之前的只能算缓存。

四、任务队列要有幂等

流水线是定时跑的,最怕重复入队。同一个日报被抓到两次、入队两次,就会写两篇文章。

所以 jobs 表加了一条约束:

1
2
CREATE UNIQUE INDEX IF NOT EXISTS jobs_uniq
ON jobs(kind, payload_hash) WHERE state != 'done';

同一个 kind + payload 只要没完成,就插不进去第二行。状态只有四个:pending / running / done / failed,按 state 查,按 id 取。

顺手定了一条规矩:最新的优先。

1
SELECT * FROM jobs WHERE state = 'pending' ORDER BY id DESC LIMIT ?

以前升序,结果「写一篇」永远在写昨晚积压的旧稿,刚抓的那份排到最后。

五、给每个服务加一道内存闸

2G 的机器,一个进程吃 1G 就完了。所以每个 unit 都写了 MemoryMax:

1
2
3
4
[Service]
MemoryMax=256M
Restart=always
RestartSec=3

256M 对这些都是够的。真超了就让它被杀掉重启,别拖垮整机。

六、健康检查要能自己发现死掉的服务

health-check.sh 每天 08:35 跑一次,做三件事:

  1. systemctl is-active 挨个看,不 active 就重启并记日志
  2. 首页取证:curl -o /dev/null -w '%{http_code}' 必须是 200
  3. 内存和磁盘:可用内存低于 120MB、磁盘低于 10% 就告警

加上今天写的回归脚本,一共 31 项检查:站点 9 个页面、控制台 7 个接口、core 3 项、鲸鱼指令 4 条、8 个服务、数据一致性、残留探针。

1
2
3
4
5
pass=0 fail=0
for u in "/" "/archives/" "/tags/"; do
c=$(curl -s -o /dev/null -w '%{http_code}' "http://127.0.0.1:8080$u")
[ "$c" = 200 ] && pass=$((pass+1)) || fail=$((fail+1))
done

跑一次两秒,能挡住 80% 的低级错误。

七、结果

整理完,机器上的样子:

1
2
3
4
5
常驻服务     8 个
总内存占用 约 80 MB
可用内存 约 900 MB
磁盘 6.9 / 40 GB
单轮流水线 抓取 25s + 改写 20s + 发布 20s

更重要的是:我知道每个进程在干什么,装在哪,挂了会怎样。

这不是微服务架构,这是「先把自己家收拾干净」。规模不到的时候,谈服务治理是空的;但至少要做到——任何一次故障,能指到具体的一个进程、一段日志、一行代码。

八、下次还能改的地方

  • nginx 和 svc-control 之间缺一层限流,恶意打 /admin 会占满线程
  • jobs 表没有清理策略,一年后会攒到几十万行
  • 服务之间还是 HTTP + 文件,没有统一的事件总线

先把这三条记着,不急。