监控永不停歇的基础设施(赞助)

主机和容器每小时都在变化,所以当延迟飙升时,很难判断数百个信号中究竟哪个才真正重要。这本免费的 Datadog eBook 给出了一个监控动态、云原生基础设施的实用框架,并附有针对 Kubernetes 和 AWS Lambda 的实例讲解。
你将学到如何:
- 将工作指标(吞吐量、成功率、错误、延迟)与资源指标区分开
- 基于症状而非原因进行告警,以减少告警噪音
- 将该框架应用于 Kubernetes 集群和 Lambda 函数
下载 eBook
本周的系统设计速览:
- Docker vs Kubernetes
- Redis 的底层工作原理
- 开放权重 vs 闭源模型:一张图看懂 7 个权衡
- Claude 的文本水印是如何工作的?
- 你应该知道的 9 种分布式系统模式
Docker vs Kubernetes

Docker:它是一种工具,用于将应用(包括其代码、库、运行时和配置)打包成一个可移植的单元,称为容器镜像。该镜像用于启动容器,容器可以部署在笔记本电脑、服务器或云端。
Docker 通常运行在单台机器上。你可以借助 Docker Compose 在单个主机上管理多个容器。
Kubernetes:它是一个编排平台,用于管理容器化应用的部署和维护,尤其是在多台机器上。它可以启动和停止容器,按需增加或减少容器数量。它可以分发网络流量并滚动发布应用更新。
当你需要为生产应用提供自动扩缩容、自愈、高可用以及跨多台机器部署等特性时,Kubernetes 就很有用。
Redis 的底层工作原理

Redis 之所以快,是因为它把所有数据都放在 RAM 中,并使用高效的内存数据结构。让我们看看 Redis 在底层是如何工作的:
- 应用向服务器发送一条 Redis 命令。如果配置了复制,更新数据的命令通常会被发送到主服务器。
- Redis 解码该请求,请求通常使用 Redis Serialization Protocol(RESP)编码。它将请求拆分为命令名、键、值和其他参数。
- Redis 解析并校验请求命令。它检查命令是否存在、参数格式是否正确。它检查客户端是否已认证和授权。如果请求无效,则返回错误。
- Redis 在其内部命令表中查找该命令,并找到对应的执行代码。
- Redis 执行该命令。命令是按顺序执行的。
- Redis 通过在其内存字典中定位相关键来更新 RAM,然后执行所请求的操作。
- 如果某个键设置了生存时间,Redis 会单独存储其过期时间戳。过期键通过惰性过期或主动过期被移除。
- 修改 RAM 中数据的命令可能需要通过不同机制将写入传播到支持系统。例如,AOF 是一种基于记录写操作的持久化机制。RDB 是另一种基于快照的持久化机制,或数据复制机制,它把写入复制到其他 Redis 服务器。
- 如果 Redis 达到配置的内存上限,它会应用其淘汰策略。
- 最后,Redis 以 RESP 格式构建响应并返回给客户端。
大多数 RAG 流水线回答完就忘了(赞助)

基础 RAG 擅长查找,却不擅长记忆。用户说的任何内容都不会被写回,所以每个会话都从零开始,你的 agent 会反复问同样的问题。解决办法不是更大的 prompt,而是一个能区别对待不同类型信息的记忆系统:规则被精确检索,而不是靠相似度搜索,并且只有值得保留的内容才会被存下来。
了解记忆类型 + 可运行代码
开放权重 vs 闭源模型:一张图看懂 7 个权衡
对每个 AI 项目来说,你都有两个选择:下载开放模型的权重自行运行,或者调用厂商的 API。下图把 7 个权衡并列展示。

微调:开放权重允许在你自己的 GPU 和数据上做微调。闭源模型不允许用户访问其权重进行微调。
版本管理:使用开放权重,你持有这个产物。可以固定任意版本,想运行多久就运行多久。闭源模型提供固定版本、带日期的快照,但会按厂商的时间表将其下线。
透明度:开放权重可被检视,而闭源模型是带 API 的黑盒。
部署:开放权重可以部署在各种硬件上。使用闭源模型时,每台设备都向内连接到一个端点。
许可:开放权重许可证是定制的,条款因模型而异。闭源模型运行在厂商制定的商业 ToS 之下。
自托管:开放权重默认自托管。技术栈是你的。闭源模型以 API 优先,尽管有些厂商出售本地部署或私有 VPC 部署。
成本:只有在高用量、并计入运维开销之后,自托管才占优。低用量时 API 更便宜,且零前期成本。
Claude 的文本水印是如何工作的?
Anthropic 最近分享了他们给文本加水印的意图,以便识别 AI 生成的文本。本文基于我对它工作原理的理解。

LLM 逐词生成文本。每一步,它们为下一个可能的词生成概率。水印技巧不从那词中随机采样,而是改变哪些词被允许挑选。
如何给一个回答加水印?
第 1 步:模型为下一个词生成概率。
第 2 步:通常随机数生成器会挑选一个好的候选词之一。使用水印时,一个带密钥的函数接收一个秘密密钥加上前几个词,决定哪些候选词有效可供挑选。
第 3 步:这一过程对整个回答重复进行。存在多个合理解法的地方就承载了水印信号。
如何检测带水印的文本?
第 1 步:对于文本中的任意候选词,我们根据秘密密钥和前几个词检查它是否是有效选择。如果该词有效,就算作一次匹配。
第 2 步:对整个文本运行这一过程。带水印的文本匹配频率高得多。整体匹配率可以作为 AI 生成的评分。
我个人对这些 AI 文本检测技术的假阴性相当恼火,尤其是对技术写作而言。
你对 AI 文本检测怎么看?你认为 AI 文本检测有用,还是会制造更多问题?
你应该知道的 9 个分布式系统模式

文章标题:EP234: Docker vs Kubernetes
正文:
- 在复制(replication)中,你制作数据的精确副本,并将它们存储在不同的服务器上。
- 在分片(sharding)中,你水平拆分大型数据库,使不同的行存放在不同的机器上。
- 在一致性哈希(consistent hashing)中,你使用虚拟圆环将数据分布到不同的机器或服务器上。
- PubSub 是一种异步消息传递模式,它将服务创建者与服务消费者解耦。
- 在断路器(circuit breaker)分布式模式中,它阻止应用程序重复执行可能失败的操作。
- 在带退避的重试(Retry with a backoff)模式中,你处理临时网络故障或短暂的服务超时。这是一种弹性模式。
- 在领导者选举(leader election)模式中,你指定一个单一的主节点来管理操作并维护集群状态。正是它阻止了两个节点都以为自己才是主节点。
- 在法定人数读/写(quorum read/write)模式中,你确保足够的副本在每次读和写上达成一致,从而使集合相互重叠。这是一种数据一致性模式,用于分布式数据库以保证信息是最新的。
- Saga 是一种设计模式,它通过跨多个微服务的一系列本地事务来管理分布式事务。如果某一步失败,每个先前的步骤都会通过其自身的补偿操作被撤销。