Newshot

为什么发送通知对工程师来说是一场噩梦

Translation(model translation, not the source's own text)

文章标题:为什么发送通知对工程师来说是一场噩梦

正文: 每个通知系统的起点都一样。有人提了个工单:当有人下单时,发送一封收据邮件。假设你在 Halden 工作,这是一家卖灯具的网店。你有一个邮件服务商和一个 API key,十分钟后结账流程就变成了这样:


        on order placed:
    send receipt email
      

里斯本的 Ana 订购了一盏灯(订单 #8812),收据出现在她的收件箱里,你关掉工单去吃午饭。轻松。

“This is fine”那只狗坐在着火的房间里。文字:重复的收据。凌晨两点的推送。服务商宕机。/ 你的通知系统
“This is fine”那只狗坐在着火的房间里。文字:重复的收据。凌晨两点的推送。服务商宕机。/ 你的通知系统

一点也不轻松。我自己就遇到过一堆这类问题,这也是我构建 notifkit 的原因。我先看了托管方案。Courier、Knock 和 Novu Cloud 都按消息数收费,所以一旦你发送量上来,它们就贵得离谱。自托管 Novu 解决了账单问题,但没解决服务器问题:它是一堆服务加上 MongoDB,需要一台大机器来跑,而且我测试的时候它很慢。

所以我可以向你保证,那一行代码会不断膨胀。让我们跟着它走三个月。下面每一步都是你发送足够多通知后会遇到的问题,而且大多数都伴随着一家先踩到坑的公司的公开事故:Salesloft、Zoho、Asana、Buttondown、Starbucks、HBO Max 和 Everbridge。

开始之前先简单说一句。我不知道这些公司中任何一家是如何构建他们的系统的,我也不是在说任何人不小心。其中几家发表了关于出了什么问题的坦诚复盘,这需要勇气。下面的代码是我的版本,不是猜测他们本应该怎么做。我的观点只是这件事很难,即使是很谨慎的团队也仍然会中招。

服务商超时了,所以你加上重试

你查看日志。服务商响应太久,调用抛出了异常,什么都没发出去。网络就是这样。好吧,重试:


        send receipt:
    try 3 times:
        send the email
        if it worked: done
        wait a bit longer each time          # 1s, 2s, 3s
    give up: "receipt not sent"
      

搞定。只不过那个循环可能要花十秒钟,而且它运行在结账请求内部,所以 Ana 盯着一个转圈图标,而你在等一封邮件。于是你把发送移到一个后台任务里,现在你有了一个任务队列要照看。为了一封邮件。

重试把它发了两次,所以你给每条消息一个 ID

事情是这样的。超时只意味着你没有收到回答。它并不意味着服务商没有发出那封邮件。它发了,然后你的重试又发了一次。

两个一模一样的蜘蛛侠互相指着对方。文字:收据 #8812 / 收据 #8812(重试)
两个一模一样的蜘蛛侠互相指着对方。文字:收据 #8812 / 收据 #8812(重试)

你需要的是每条消息一个 ID,每次重试时都保持不变,比如 order-8812-confirmed。(随机 ID 不行,因为每次重试都会得到一个新的。)发送之前,你检查那个 ID 是否已经发出去了。


        send receipt:
    id = "order-8812-confirmed"              # the same on every retry

if id was already sent: stop

try 3 times:
        send the email, passing id to the provider
        mark id as sent                      # after the send, not before
        done
      

这里面有一点很隐蔽:“已发送”标记在发送之后。写在之前,中间崩溃意味着收据永远发不出去。写在之后,中间崩溃意味着重试会再发一份。你找不到一个两者都不会发生的选项。

第二种情况差不多就是 Zoho 描述的那样:邮件发出去了,他们无法将其标记为已处理,所以它被重试了。你无法从你这边完全解决这个问题。服务商必须接受你的 ID 并拒绝重复,这也是为什么 ID 也要传给服务商。

说实话,这些都不会救得了 Salesloft。Gmail 对实际已经送达的邮件报告了错误,所以任何人都会重试。只有服务商才能解决那个问题。

服务商宕机了,所以你加上第二个

文章标题:为什么发送通知对工程师来说是一场噩梦

正文: 当你的服务商宕机一小时,重试三次也无济于事。于是你注册了一个备用服务商,并按顺序依次尝试。如果两家都挂了,你就改发短信。


        send receipt:
    ... id and sent check as before

for provider in [primary, backup]:
        if provider failed 5 times in a row: skip it for 30s

try 3 times:
            send the email through provider, passing id
            if it worked: mark id as sent, done

if it's a bad address: stop, don't retry    # not an outage
            note that provider failed
            wait

give up: "not sent by any provider"
      

那行「跳过 30s」是为了在宕机期间,不至于每条消息都要熬过三次超时才继续往下走。如果某个服务商持续失败,你就暂时不再尝试它。

烦人的地方在于判断什么才算失败。服务商拒收一个坏地址,恰恰说明它在正常工作。要是把这算作失败,那么连续五个坏地址就会让你把所有客户身上一个完全健康的服务商给关掉。

哦对了,第 02 步里的那个 ID 刚刚漏了。只有见过它的那个服务商知道它。如果主服务商已经投递了邮件然后超时,备用服务商从没听说过这个 ID,于是它会把邮件再发一遍。

你的用户正在睡觉,于是你加上了静默时段

到这时候,收据已经不再是孤例了。产品团队想要一封「您的订单已发货」的邮件,于是「send receipt」现在变成了通用的 notify()。仓库在俄亥俄。他们在晚上 9:40 把 Ana 的台灯发了货,此时里斯本正是凌晨 2:40,而包裹一被扫描,邮件就立刻发了出去。Ana 可不怎么高兴。

Drake 梗图。拒绝:包裹一被扫描就发送「您的订单已发货」。赞成:等到 Ana 所在时区的 8:00 再发。
Drake 梗图。拒绝:包裹一被扫描就发送「您的订单已发货」。赞成:等到 Ana 所在时区的 8:00 再发。

所以这条消息得等到她的早晨再发,除非它是紧急的:


        notify(user, message):
    if not critical and it's night where the user is:
        save the message to the database
        send it at 8:00 their time
        stop

... sent check, providers and retries as before
      

时区要存成名称(Europe/Lisbon),而不是像 +01:00 这样的偏移量,因为偏移量会随夏令时变化。我故意略过了「对用户来说是不是夜晚」这个检查。Ana 的静默时段是 23:00 到 08:00,所以它得处理一个跨越午夜的时间窗口,还要处理一年中两次拨钟的夜晚。这比你想象的要长。

被暂存的消息会放进数据库表里,因为 setTimeout 会随着你下一次部署而消亡。这意味着你现在需要一个东西,每分钟醒来一次,找出到期的消息并发送。在 08:00,发送之前它必须检查 Ana 有没有在一夜之间退订。而欺诈提醒和登录验证码等不到早上,这就是 critical 的用途。

所有人同时发送,于是你加上了限流器

你还加上了「派送中」。所有货车都在 8:00 离开仓库,于是成千上万条消息在同一分钟里触发。你的服务商允许每秒 100 条,开始朝你扔 429。该上限制流器了:


        for provider in [primary, backup]:
        skip provider if it keeps failing

while we're over the provider's limit:
            wait a random 0.2 to 1 second       # so they don't all come back at once

... retries as before, now with a random wait too
      

等待时间是随机的,因为如果大家都精确地退避一秒,那大家就会在完全相同的时刻回来,你又回到了起点。

拥堵每秒都会重新形成。

一个按服务商允许的速度前进的队列。

有趣的地方在于:限流器是新代码,所以它也可能有 bug。Buttondown 的就出过。他们限流代码里的一个 bug 在八分钟内为五份简报发出了重复邮件。

Gru 的计划梗图。加上限流器。服务商不再拒绝我们。限流器有 bug。限流器有 bug。
Gru 的计划梗图。加上限流器。服务商不再拒绝我们。限流器有 bug。限流器有 bug。

像 {{NAME_ab12cd34}} 这样写出的值是真实值的占位符。请完全按原样使用它们,在回复中和在工具调用中都是如此:它们会在任何东西运行之前被填入真实值。不要请求验证它们,也不要用示例替换它们。

关于发送通知,还有两件麻烦事。一次大批量发送不应该耽误 password 重置,所以紧急消息需要有自己的队列。而且没人应该因为你的代码陷入循环,就在一小时内收到五十条消息,所以你要为每个用户设置一个上限。

市场部门想要批量发送,于是你加上了同意检查

收据是 Ana 主动要求的。评价请求不是,她有权拒绝。Gmail 和 Yahoo 要求批量邮件提供一键退订,而且服务商会惩罚那些继续向已退信或被标记为垃圾邮件的地址发送邮件的发件人。于是所有流程前面都加上了两项检查:


        notify(user, message):
    if the address bounced or reported spam: stop
    if not critical and user turned off this topic: stop

... quiet hours, sent check, providers, rate limit and retries as before
      

按主题设置让 Ana 可以关掉评价请求,同时仍然收到收据。阻止列表会拦截发往已退信或已投诉地址的所有发送,包括关键消息。而其中每一项都会牵出更多东西:一个接收服务商退信和投诉 webhook 的端点、一个退订页面,以及链接里一个签名令牌,这样没人能替别人退订。

但所有这些检查问的都是 Ana 想不想收到这条消息。没有一项问的是你到底是不是有意要发它。有名的那些事故就出在这里。HBO Max 和 Everbridge 都发生过测试消息被发给了真实用户。

一个满头大汗的男人在两个一模一样的红色按钮之间做选择。文字:发送测试邮件 / 发送给所有订阅者 / 我,拿着生产环境的 API key
一个满头大汗的男人在两个一模一样的红色按钮之间做选择。文字:发送测试邮件 / 发送给所有订阅者 / 我,拿着生产环境的 API key

我知道的最省事的修法,就是让测试消息无论按哪个按钮都不可能到达真实收件箱:


        if not production:
    use a provider that only writes to a log
      

你还会想要一份记录,记下谁收到了什么,以及一个醒目的红色停止按钮,用于在错误发送已经发出去一半时叫停。

这些消息彼此不知道对方的存在,于是你加上工作流

最后一条。到这时你每个订单要发五条消息,而每一条都由不同的代码触发:

图表:Figure 6. 一个订单的五条消息,每条由不同的代码触发。

  • 收据从结账流程调用
  • 已发货来自仓库的 webhook
  • 派送中来自快递员的 webhook
  • 已送达来自快递员的另一个 webhook
  • 评价请求一个定时器,三天后触发

这些处理程序都不知道别人做了什么。"已送达"可能出现在"已发货"之前。即使 Ana 已经把台灯退了回去,评价请求还是会发出去。而如果快递员的 webhook 出错了,你就只是照它说的重复一遍。

'Is this a pigeon?' 梗图。你的应用看着 order.delivered(一个没人下的订单)并问道:这是真实订单吗?
'Is this a pigeon?' 梗图。你的应用看着 order.delivered(一个没人下的订单)并问道:这是真实订单吗?

你的代码分不清假事件和真事件。它能做的是确保一个事件只推动它自己的订单前进,而且只按正确的顺序。为此你需要每个订单一条记录,知道已经发了什么、下一步是什么:


        on order event:
    flow = the saved record for this order

if there's no record, or the order was cancelled: ignore it
    if it's not the step we're waiting for: hold it    # "delivered" before "shipped"

notify(user, event)
    move flow on to the next step
      

于是你开始搭建自己的工作流系统。它得等上几天而不丢失进度,在部署中途也能存活下来,并在订单被取消时停下。这本身就是一个完整的项目。

一行代码变成了什么

这里是 notify(),把上面所有东西放在一处:


        notify(user, message, critical = false):
    id = order id + message type

if the address is on the blocked list: stop
    if not critical and user opted out of this topic: stop

if not critical and it's quiet hours for the user:
        save it, send at the end of quiet hours
        stop

if id was already sent: stop

像 {{NAME_ab12cd34}} 这样写的是真实值的占位符。在回复和工具调用中都完全按原样使用它们:它们会在任何内容运行之前被替换成真实值。不要要求验证它们,也不要用示例替换它们。

文章标题:为什么发送通知对工程师来说是一场噩梦

正文:
for provider in [primary, backup]:         # log-only outside production
        skip provider if it keeps failing
        wait if we're over the provider's limit

try 3 times:
            send through provider, passing id
            if it worked: mark id as sent, done

if it's a bad address: stop, don't retry
            note that provider failed
            wait, plus a random extra

give up: "not sent by any provider"
      

这只是 25 行伪代码,而真正的实现要长得多。它还略去了静默时段检查、负责发送被搁置消息的机制、限流器、“持续失败”的跟踪、订单工作流、退订页面、填充屏蔽列表的接口、投递日志,以及针对以上所有内容的测试。

分心的男友梗图。我们的工程师回头看向“构建我们自己的通知系统”,而“客户付费购买的产品”在一旁看着。
分心的男友梗图。我们的工程师回头看向“构建我们自己的通知系统”,而“客户付费购买的产品”在一旁看着。

这些部分单拿出来都不算难。难的是它们彼此牵连。静默时段必须遵守屏蔽列表,重试必须遵守消息 ID,而工作流必须在这一切进行之中扛过一次部署。

很多时候,那些看起来本该很简单的事情,一旦深入细节,就会变得复杂得多。Sophie Alpert,谈 Slack 的通知逻辑 · “Everyone is wrong about that Slack flowchart”

很多时候,那些看起来本该很简单的事情,一旦深入细节,就会变得复杂得多。

notifkit 也是如此

notifkit 就是为此而生的。它是一个开源通知服务,上面那份清单里的所有事情它都做了,所以这些都不必留在你的代码库里。你自己运行它,用你自己的 Postgres 和 Redis。第一张工单的回执看起来是这样的:


        await notifkit.notify({
  user: "usr_ana",
  template: "receipt",
  channels: ["email", "sms"],
  fallback: true,                  // email first; SMS only if email fails
  data: { orderId: "8812" },
});
      

Ana 的时区、静默时段和退订设置都保存在她的用户记录里。重复检查、备用服务商、限流和屏蔽列表在每次发送时都会执行。而一笔订单的五条消息就是一个工作流:


        workflow("order", async ({ step, event }) => {
  const order = { orderId: event.orderId };

await step.notify({ template: "receipt", channels: ["email"], data: order });

const shipped = await step.waitForEvent("order.shipped", {
    match: order,
    timeout: "14d",
  });
  if (!shipped) return;
  await step.notify({ template: "shipped", channels: ["email"], data: order });

// ... "out for delivery" and "delivered" wait for their events the same way

await step.wait("3d");
  await step.notify({ template: "review", channels: ["email"], data: order });
});
      

每一步都会在下一步运行之前保存下来,所以周四的一次部署会从上次中断的地方接着继续。match 会阻止一笔订单的事件唤醒另一笔订单的工作流。如果 Ana 取消订单或发起退货,你取消该工作流,就不会再发出任何东西。

坦白说它不做什么:它不是托管服务,所以需要你自己运行。而且它不承诺恰好一次投递,因为当服务商在已经投递之后却说邮件发送失败时,没人能做到(说的就是你,Salesloft)。它会捕获它能看到的重复。

是的,最后这一节是广告。这个东西是我做的,所以我显然认为你应该用它。为自己辩解一下:它是 MIT 许可的,没有付费套餐,而且上面的任何内容都不需要 notifkit。如果你更愿意自己实现,那就拿上伪代码去做吧。如果你想试一试,quickstart 只需要几分钟。这是个年轻的项目,我正在积极开发它,所以如果有什么缺失或出问题,请在 github.com/devkitshq/notifkit 开一个 issue,我会看看。

像 {{NAME_ab12cd34}} 这样写出的值是真实值的占位符。请在回复和工具调用中完全按原样使用它们:它们会在任何内容运行之前被替换为真实值。不要要求验证它们,也不要用示例替换它们。

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by Hacker News
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗