Newshot

Show HN:Stromboli 开源 AI SRE 智能体,专注快速事件缓解

Translation(model translation, not the source's own text)

stromboli

题图
题图

        (   )  (    )
                           (    )  (   )    )
                             (   ) (   )  (
                               (  ) (  )
                          *   .  \ | /  .   *
                       .    *  -=  *  =-  *    .
                               ' _/^\_ '
                               _/  ' \\_
                             _/  .    \\\_
                           _/       '  \\\\_
                         _/   .         \\\\\_
                       _/          .   ' \\\\\\_
                     _/    '              \\\\\\\_
                   _/            .       ' \\\\\\\\_
                 _/      .                  \\\\\\\\\_    ( )
               _/              '     .     ' \\\\\\\\\\_    ) (
   ~~~~~~~~~~~/~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~\~~~~~~~~~~~~~
     ~~~   ~~~~     ~~~      ~~~~~      ~~~~     ~~~      ~~~~   ~~~
          ~~~~         ~~~         ~~~~        ~~~~          ~~~

s t r o m b o l i . d e v
      

一个由你自己托管的开源 AI SRE agent。当告警触发时,stromboli 会收集上下文,告诉你怎么先止住出血,然后找出根因,并把这一切都发到 Slack。

  • 🩹 止血优先。它会在几次工具调用之内提出一个具体的修复方案(回滚、重启、扩容……),然后才开始深挖根因。
  • 🔍 然后再找根因。它会拿你的日志、指标和部署来验证假设,并写出一份结构化报告。
  • 🔒 默认只读。它只提建议,从不自行行动。唯一的可选例外:在 Fly.io 上,经指定的真人批准后,它可以执行机器操作(重启、克隆、cordon……)(Machine actions)。
  • 🧠 任意 LLM。默认使用 Claude;OpenAI、Gemini、DeepSeek、Ollama、OpenRouter 或 Vercel AI Gateway 也可以(Models)。
  • 📦 无需数据摄取。日志和指标在它们原本所在的地方按需查询。stromboli 只保存每次调查所使用的聚合证据。

📚 阅读文档:上手教程、针对特定任务的操作指南、完整参考(CLI、配置、catalog、API),以及 stromboli 工作原理的说明。见 docs/adr,了解 stromboli 背后的设计决策以及接下来的计划。

Contents

  • 一次调查是如何进行的
  • 服务目录
  • 连接你的数据:日志、指标、Google Cloud、Fly.io
  • 机器操作与从 Slack 批准
  • 配置
  • API 与 MCP server
  • 贡献

Quickstart

1. 启动 stromboli


        cp .env.example .env   # fill in STROMBOLI_SECRET_KEY, STROMBOLI_API_TOKEN and an LLM key (ANTHROPIC_API_KEY...)
docker compose up -d   # stromboli + Postgres on http://localhost:8080
      

用 openssl rand -base64 32 生成密钥。Slack 是可选的:从其 manifest 创建应用,就能在那里收到报告。

已经有 Postgres 了?用 STROMBOLI_DB_URL=postgres://... 单独运行镜像即可。迁移会在启动时执行。Linux、macOS 和 Windows 的二进制文件都在 releases 页面。

在 macOS 或 Linux 上用 Homebrew 安装 CLI:


        brew install openstatushq/stromboli/stromboli
      

要真正投入运行?请阅读 Self-hosting,了解生产环境检查清单(TLS、token、备份)以及如何升级。

或者用一条命令把 stromboli 和 Postgres 部署到 Railway,密钥会自动为你生成。配置即代码,位于 .railway/railway.go(详情):


        railway login
ANTHROPIC_API_KEY=sk-ant-... deploy/railway/setup.sh
      

在 Fly.io 上,fly.toml 和一个安装脚本配合 Fly Managed Postgres 做同样的事(详情):


        fly auth login
FLY_MPG_CLUSTER=<cluster-id> ANTHROPIC_API_KEY=sk-ant-... deploy/fly/setup.sh <app-name>
      

2. 连接你的日志、指标和部署

stromboli 通过其 CLI 进行配置(同一个二进制文件,所以 docker compose exec stromboli stromboli ... 也能用):


        export STROMBOLI_URL=http://localhost:8080 STROMBOLI_API_TOKEN=...

# Show HN: Stromboli 开源 AI SRE agent,专注于快速事件缓解

      

stromboli connector add loki loki url=http://loki:3100 # your log store stromboli connector add github github token # deploys and commits; prompts for the token


        
Loki 只是一个示例:参见「连接你的数据」了解 Axiom、CloudWatch、Google Cloud、Prometheus 和 Fly.io。

在 Fly.io 上,只读的 org token 就足以获取指标、机器列表和目录发现。它无法部署、重启或读取密钥:

      

fly tokens create readonly <org-slug> # prints FlyV1 fm2_...; or pass it inline: stromboli connector add fly fly org=<org-slug> token="$(fly tokens create readonly <org-slug>)"


        
`<org-slug>` 可在 `fly orgs list` 中找到(个人组织为 personal)。之后可以用 `fly tokens list` 和 `fly tokens revoke <id>` 将其吊销。

## 3. 描述你的服务

stromboli 可以根据它在你的日志或 Fly 指标中发现的内容构建目录。它会列出服务并询问是否添加它们;然后逐个服务填写负责人和依赖关系:

      

stromboli catalog discover loki # or: discover fly, one service per Fly app stromboli catalog set api --owner @backend --add-depends-on postgres


        
如果希望先审阅条目或将其保存在 git 中,可以把它们重定向到文件,添加负责人、依赖关系和 runbook,然后导入:

      

stromboli catalog discover loki > services.yaml stromboli catalog import services.yaml --runbooks runbooks/


        
## 4. 试一试

      

stromboli brief api --since 1h # the context stromboli gathers (no LLM, free) stromboli investigate api --description "5xx on /v1/monitors" # a full investigation, streamed live

5. 把告警发给它

来源端点
openstatus(带有 Authorization: Bearer <token> 请求头的 webhook 通知)POST /webhooks/openstatus
AlertmanagerPOST /webhooks/alertmanager?token=<token>
Grafana alertingPOST /webhooks/grafana?token=<token>
其他任何来源,格式为 {"service","title","fingerprint","details"}POST /webhooks/generic

就是这样:下一条告警会自动启动一次调查。

Slack

stromboli 每次调查只发一条消息(先是缓解措施,然后是报告),并在其线程中回复。该应用只需要 chat:write 权限范围,相关说明见 deploy/slack/manifest.json:

  • 创建应用。通过 manifest 创建并选择你的工作区。或者前往 api.slack.com/apps → Create New App → From a manifest 并粘贴该文件。创建之前,请将 request_url 中的 stromboli.example.com 替换为你 stromboli 的公网 URL(如果你不会使用 Apply/Reject 按钮,可删除 interactivity 块)。
  • 安装它。Install App → Install to Workspace,然后复制 Bot User OAuth Token(xoxb-...)。
  • 将机器人邀请到频道:在其中执行 /invite @stromboli。
  • 配置 stromboli 并重启它:

SLACK_BOT_TOKEN=xoxb-... SLACK_CHANNEL=#incidents # a name or a channel ID (C0123...) SLACK_SIGNING_SECRET=... # optional: Basic Information → Signing Secret, enables the buttons SLACK_APPROVERS=U0123,U0456 # optional: who may click Apply/Reject (profile → Copy member ID)


        
用 `stromboli investigate <service> --description "testing Slack"` 检查:消息应该出现在频道中。日志中出现 not_in_channel 表示缺少第 3 步;invalid_auth 则表示 token 有误。

## 调查是如何进行的

      

alert ──▶ 1. match ──▶ 2. brief ──▶ 3. mitigate ──▶ 4. investigate ──▶ 5. report (no LLM) (posted now) (read-only tools) (Slack + API)

  • 匹配。告警会被匹配到一个 catalog 服务(openstatus monitor ID、service/app 标签)。重复项会合并进正在进行的调查,或合并进在 STROMBOLI_DEDUPE_WINDOW 内完成的调查,除非该告警在此期间已恢复(openstatus recovered、Alertmanager resolved),或它的某个 machine action 已成功:此时告警再次触发就是一个新的事件。被合并的告警,以及 token 错误的 webhook,都会被记录日志。
  • 简报(不使用 LLM)。stromboli 收集的是 on-call 工程师会最先查看的内容:该服务、它的依赖与影响范围;日志错误模式,并与之前等长的窗口作对比;每实例指标(内存、CPU、限流、OOM kills、请求速率、5xx、p95 延迟),对比同一基线;该服务及其依赖最近的部署或提交;它的 runbook 以及类似的过往调查;在 Fly.io 上:应用的 machines,以及每个缓解措施对应的精确 Fly 命令及其撤销方式

简报(不使用 LLM)。stromboli 收集的是 on-call 工程师会最先查看的内容:

  • 该服务、它的依赖与影响范围
  • 日志错误模式,并与之前等长的窗口作对比
  • 每实例指标(内存、CPU、限流、OOM kills、请求速率、5xx、p95 延迟),对比同一基线
  • 该服务及其依赖最近的部署或提交
  • 它的 runbook 以及类似的过往调查
  • 在 Fly.io 上:应用的 machines,以及每个缓解措施对应的精确 Fly 命令及其撤销方式
  • 缓解。最重要的是用户影响多快停止,而不是 bug 多快被理解(正如 Google 的 SRE 实践)。模型从固定集合中选择一个缓解措施:rollback、restart、scale_up、drain、disable_feature、block_traffic、failover、degrade 或 none。它会给出目标、精确命令、如何验证生效、如何撤销,以及风险等级(safe、reversible、destructive)。结果会立即发到 Slack(并用一条 thread 回复,以便通知 on-call),其时间会记录为 mitigated_at。在 STROMBOLI_MITIGATION_TOOL_CALLS 次工具调用之后,模型会被要求必须选定一个,并且没有缓解措施就不能提交报告。
  • 调查。模型用只读工具寻找根因:Area Tools Logs log_patterns, query_logs, log_timeline Metrics get_metrics(如 memory_used_percent 这样的预设,或任意 PromQL), list_metrics Deploys recent_deploys, get_commit Catalog get_service, list_services Knowledge read_runbook, search_past_investigations 工具输出在模型看到之前,会经过聚合、按大小上限截断和脱敏(tokens、passwords、emails)。如果证据表明该缓解措施无济于事(重启修不好一次错误的配置推送),模型会修改它。

调查。模型用只读工具寻找根因:

领域工具
日志log_patterns 、 query_logs 、 log_timeline
指标get_metrics(如 memory_used_percent 这样的预设,或任意 PromQL)、 list_metrics
部署recent_deploys 、 get_commit
服务目录get_service 、 list_services
知识库read_runbook 、 search_past_investigations

工具输出在模型看到之前,会经过聚合、按大小上限截断和脱敏(tokens、passwords、emails)。如果证据表明该缓解措施无济于事(重启修不好一次错误的配置推送),模型会修改它。

  • 报告。可能原因、置信度、证据、排除了什么、结合该原因看这项缓解措施、长期修复方案与下一步,发布到 Slack 和 API。每一次简报、工具调用和模型回合都会作为审计记录保留。

服务目录

catalog 告诉 stromboli 你的服务是什么、它们的数据存放在哪里:

文章标题:Show HN: Stromboli 开源 AI SRE 智能体,专注于快速应急响应

正文:

  • name: api

description: Public REST API owners: ["@team-backend"] tier: 1 depends_on: [db-proxy] logs: source: loki # connector name selector: '{service_name="api"}' deploys: source: github # connector name repo: acme/api workflow: deploy.yml # or environment: production; or neither = commits metrics: source: fly # connector name (fly or prometheus) selectors: ['app="api"'] # PromQL label matchers, ANDed runbooks: [runbooks/api-5xx.md] monitors: ["openstatus:1234"] # alert → service mapping runtime: fly.io # or a fly: block, see Machine actions


        
服务目录存放在 stromboli 的数据库中。YAML 是其导入/导出格式,因此你可以把它保存在 git 中,并从 CI 同步:

      

stromboli catalog import services.yaml --runbooks runbooks/ --prune --yes # --prune makes the file authoritative stromboli catalog list # name, tier, owners, dependencies, sources stromboli catalog rm api # delete one service stromboli catalog export > services.yaml # the full entries

完整示例见 examples/catalog。

连接你的数据

类型连接器
日志loki、axiom、cloudwatch、gcp_logging、vercel
指标fly、prometheus、gcp_monitoring
部署与提交github、vercel(Vercel)
Fly.io 机器fly、fly_machines(Fly.io)

MCP 优先

当服务商托管了 MCP 服务器时,stromboli 会通过该服务器调用服务商。否则它会直接调用服务商的 API,而不会仅仅为了获得 MCP 就额外引入 CLI 或本地进程。stromboli 就是 MCP 客户端:它从代码中调用这些工具,并把输出转化为精简的证据。模型从不直接与这些服务器交互。

  • 允许列表。每个连接器都会指定它可调用的少数工具(internal/connector/mcpconn)。服务器提供的其他任何工具都会被拒绝,包括 deploy、delete 和 exec。
  • 只读检查。对于会为其工具添加注解的服务器(Google Cloud、GitHub),除非每个允许的工具都标记为 readOnlyHint,否则连接会失败。
  • 会话按连接器复用,并在关闭时关闭。
服务商通过何种方式不受 MCP 覆盖(REST)
Google Cloud:gcp_logging、gcp_monitoringGoogle 的远程 MCP 服务器(logging.googleapis.com/mcp、monitoring.googleapis.com/mcp)无
GitHub:使用 token 的 githubGitHub 的远程 MCP 服务器,工具集 repos、actions,只读模式Deployments(deploys.environment),以及无 token 使用
Fly.io、Loki、Prometheus、CloudWatch各自的 API:Machines API、Fly 托管的 Prometheus、Loki 和 Prometheus 的 HTTP API、AWS SDK无托管 MCP 服务器:见 不在 MCP 上
Axiom:axiomAxiom 的远程 MCP 服务器(mcp.axiom.co),通过 OAuth 登录无
Vercel:vercelVercel 的远程 MCP 服务器(mcp.vercel.com),通过 OAuth 登录无

不在 MCP 上

  • Fly.io 仅通过 flyctl mcp server 提供 MCP,这是一个本地进程,会运行 flyctl 命令并对外提供全部命令(destroy、exec、secrets),且未将任何命令标记为只读。stromboli 改为直接调用 Machines API。
  • CloudWatch:AWS 的 MCP 服务器(awslabs.cloudwatch-mcp-server)是一个本地 Python 进程,因此 stromboli 使用 AWS SDK。
  • Loki 和 Prometheus 没有托管的 MCP 服务器。Grafana 的 mcp-grafana 需要在它们前面有一个 Grafana 实例。

日志连接器

文章标题:Show HN: Stromboli Open-source AI SRE agent focused on fast incident mitigation

正文:

类型添加方式logs.selectorcatalog discover 提出的建议
lokiconnector add loki loki url=http://loki:3100(+ tenant_id、username、password、bearer_token)LogQL 流选择器:{service_name="api"}按 service_name / service / app / job / container 标签值,每个值一个服务
axiomconnector add axiom axiom logs in with OAuth through Axiom's MCP server(+ org_id、message_field、mcp_url=https://mcp.eu.axiom.co/mcp 用于 EU)APL 查询的开头:['logs'] 或 ['logs'] │ where ['service.name'] == "api"按每个日志数据集中的 service.name / service / app / fly.app.name …… 值,每个值一个服务,或者每个数据集一个服务
cloudwatchconnector add cw cloudwatch region=eu-west-1(+ access_key_id、secret_access_key、session_token、endpoint)日志组,后面可跟 Insights 命令:/ecs/api 或 /ecs/prod, /ecs/worker │ filter service = "api"每个日志组一个服务,以上一级路径段命名
gcp_loggingconnector add gcp-logs gcp_logging project=<project-id>(+ [email protected])Logging 查询语言过滤器:resource.type="cloud_run_revision" AND resource.labels.service_name="api"按最近一小时内出现的每个 Cloud Run 服务或任务、函数、Cloud Scheduler 任务、Cloud Tasks 队列、Pub/Sub 订阅或主题,每个一个服务
vercelconnector add vercel vercel team_id=<slug>(在浏览器中通过 OAuth 登录)一个项目,可选 environment=production:web environment=production每个项目一个服务

错误过滤器是应用于日志行的 RE2 正则表达式:Loki 的行、Axiom 的 message 字段(从 message、msg、body、log…… 中检测,或用 message_field 设置)、CloudWatch 的 @message、Cloud Logging 的 textPayload 和 jsonPayload.message,以及 Vercel 的 message 并加上其级别前缀。在 Cloud Logging 上,错误过滤器还匹配 severity>=ERROR 和 httpRequest.status>=500。Cloud Logging 没有 count 工具,因此那里的错误计数止于 5000。

如果没有 access_key_id/secret_access_key,CloudWatch 连接器会使用 stromboli 服务器的默认 AWS 凭证链(环境、共享配置、IAM 角色)。它需要 logs:DescribeLogGroups、logs:StartQuery、logs:GetQueryResults 和 logs:StopQuery。

指标连接器

类型添加方式metrics.selectors预设
flyconnector add fly fly org=<org-slug> token="$(fly tokens create readonly <org-slug>)"app="checker"有,见 Fly.io
prometheusconnector add prom prometheus url=http://prometheus:9090(+ tenant_id、username、password、bearer_token、service_label)job="api"、service="api"无:agent 使用 list_metrics 并编写 PromQL
gcp_monitoringconnector add gcp-metrics gcp_monitoring project=<project-id>(+ [email protected])subscription_id="checker-ams"、queue_id="alerting"、service_name="api"有,见 Google Cloud

prometheus 可与任何支持 Prometheus HTTP API 的系统配合使用(Prometheus、Mimir、Thanos、VictoriaMetrics、Grafana Cloud)。在 PromQL 查询中,$selector 会展开为服务的匹配器,例如 sum by (instance) (rate(http_requests_total{$selector, code=~"5.."}[1m]))。每个时间序列返回 min、max、avg、last、其在基线窗口上的平均值以及 12 个点,上限为 10 个序列。

stromboli catalog discover <metrics-connector> 会为它发现的每个 app 提出指标(在 Fly 上按每个 app 标签值一个;在 Prometheus 上按 service_name、service、app、job 中第一个有值的,或 service_label)。目录中已有但没有指标的服务会以填好指标的完整条目返回,因此 stromboli catalog import 只会添加指标。

Google Cloud

写成 {{NAME_ab12cd34}} 这样的值是真实值的占位符。请完全按照写法使用它们,在回复和工具调用中都是如此:它们会在任何内容运行之前被替换为真实值。不要要求验证它们,也不要用示例替换它们。

两个 GCP connector 都通过 Google 的远程 MCP 服务器,使用 PromQL 和 Logging 查询语言。未提供 credentials_json(服务账号密钥)时,它们使用 Application Default Credentials:GOOGLE_APPLICATION_CREDENTIALS、workload identity 或 gcloud auth application-default login。该 principal 需要 roles/mcp.toolUser、roles/logging.viewer 和 roles/monitoring.viewer。调用费用计入 project。

gcp_monitoring 的 preset 取决于服务 selector 中的 resource 标签。带 subscription_id 的 selector 使用 Pub/Sub 的 preset,带 queue_id 的使用 Cloud Tasks,带 service_name 的使用 Cloud Run:

产品Preset
Pub/Subpubsub_backlog_messages , pubsub_oldest_unacked_seconds , pubsub_acks_per_second , pubsub_sent_per_second , pubsub_expired_ack_deadlines_per_second , pubsub_dead_letter_per_second , pubsub_nacks
Cloud Taskstasks_queue_depth , tasks_attempts_per_second (by response code), tasks_attempt_delay_p95_seconds
Cloud Runhttp_requests_per_second , http_5xx_per_second , http_p95_seconds , instances , cpu_utilization_p95_percent , memory_utilization_p95_percent , startup_latency_p95_seconds (per revision)

list_metrics 以 PromQL 名称列出项目中的活跃指标(pubsub_googleapis_com:subscription_num_undelivered_messages)。catalog discover 会为过去一小时内有数据的每个 Pub/Sub subscription、Cloud Tasks queue 和 Cloud Run service 各建议一个服务。

Fly.io

机器指标

Fly 会把组织内每台 machine 的指标收集到位于 https://api.fly.io/prometheus/<org-slug> 的托管 Prometheus 中,因此无需部署任何东西:

stromboli connector add fly fly org=<org-slug> token="$(fly tokens create readonly <org-slug>)" stromboli catalog discover fly

由 fly tokens create 生成的 token 使用 FlyV1 方案发送,其他 token(来自 fly auth token)以 Bearer 方式发送。fly connector 自带 preset,按 machine(instance)和 region 区分:

Preset来源
memory_used_percent , memory_used_bytes , swap_used_bytesfly_instance_memory_mem_total - mem_available , swap_total - swap_free
oom_killedfly_instance_exit_oom
cpu_percent , cpu_throttled_seconds_per_second , load_averagefly_instance_cpu (non-idle share), fly_instance_cpu_throttle , fly_instance_load_average
disk_used_percent , volume_used_percentfly_instance_filesystem_blocks* , fly_volume_used_pct
net_recv_bytes_per_second , net_sent_bytes_per_secondfly_instance_net_*_bytes
http_requests_per_second , http_5xx_per_second , http_p95_seconds , concurrencyfly_app_http_responses_count , fly_app_http_response_time_seconds , fly_app_concurrency
instances_upfly_instance_up

简报会展示内存、CPU、限流、OOM 终止、根文件系统与 volume 使用率、请求速率、5xx 和 p95 延迟;agent 可以用 get_metrics 查询其余指标。

日志

Fly 没有可查询历史日志的 API。整个组织的日志会发布到 NATS 流上,Fly 的 log shipper 会将它们转发到日志存储。把它指向 Loki、Axiom 或 CloudWatch,然后把这个存储添加为 connector:

fly launch --image flyio/log-shipper:latest --no-public-ips --name log-shipper # set internal_port = 8686 fly secrets set -a log-shipper ORG=<org-slug> ACCESS_TOKEN="$(fly tokens create readonly <org-slug>)"

then one of:

fly secrets set -a log-shipper LOKI_URL=https://loki.example.com LOKI_USERNAME=... LOKI_PASSWORD=... fly secrets set -a log-shipper AXIOM_TOKEN=xaat-... AXIOM_DATASET=fly-logs fly secrets set -a log-shipper AWS_ACCESS_KEY_ID=... AWS_SECRET_ACCESS_KEY=... AWS_REGION=eu-west-1 CLOUDWATCH_LOG_GROUP_NAME=/fly/logs

文章标题:Show HN: Stromboli 开源 AI SRE 智能体,专注于快速事件缓解

正文:

StoreConnector自动发现的选择器,每个 Fly 应用一个服务
Lokiconnector add loki loki url=...{fly_app_name="checker"}
Axiomconnector add axiom axiom['fly-logs'] │ where ['fly.app.name'] == "checker"
CloudWatchconnector add cw cloudwatch region=eu-west-1 log_group_prefix=/fly/ service_field=fly.app.name/fly/logs │ filter fly.app.name = "checker"

shipper 写入 JSON 事件(message、log.level、fly.app.name、fly.region、host)。stromboli 展示消息及其级别,因此模式分组不会按区域或实例被拆开。CloudWatch shipper 会把每个应用写入同一个日志组,因此 service_field 让自动发现按应用拆分,只需一次 Insights 查询(log_group_prefix 让该查询限定在 Fly 组内)。

缓解命令

对于带有 runtime: fly.io 或 fly: 块的服务,简报中会有一个 Fly.io 部分。它会从 Machines API 列出该应用的机器,因此智能体可以给出真实的机器 ID 和区域(Fly 指标的 instance 标签就是机器 ID)。它还会给出每种缓解措施对应的 Fly 命令及其撤销方式:

缓解措施命令撤销
重启一台机器fly machine restart <id> -a <app>无需撤销
重启所有机器fly apps restart <app>无需撤销
scale_up,增加一台机器fly machine clone <id> -a <app> --region <region>fly machine destroy <new-id> -a <app> --force
scale_up,增加更多机器 / 内存fly scale count <n> / fly scale memory <MB>先前的值
排空fly machine cordon <id>(无流量,保持运行)或 fly machine stop <id>uncordon / start
scale_up,增加磁盘(卷已满)fly volumes extend <vol-id> -s <GB> -a <app>无:卷无法缩小
释放空间fly ssh console -a <app> --machine <id>,然后删除或轮转数据无
回滚fly releases --image,然后 fly deploy --image <previous image>重新部署有问题的镜像

带有卷的机器会被标记,并列出其卷(ID、挂载路径、大小),因此卷满时可按 ID 扩容:重启不会释放卷上的空间,而克隆会以一个空卷启动。应用名优先取 fly.app,否则取 app="..." 指标选择器,否则取服务名。机器列表通过 fly.actions 连接器获取,否则使用 fly 指标连接器的 token。

健康检查

有些故障直到为时已晚才会触发告警,比如卷在数天内逐渐被填满。设置 STROMBOLI_HEALTHCHECK_INTERVAL=1h 后,stromboli 每小时读取一次每个带 fly 指标源的服务指标(首次运行在启动后一分钟),当某台机器或某个卷在过去 15 分钟内越过阈值时,会以 source healthcheck 启动一次调查:

检查项阈值
volume_used_percent最新值 ≥ 85%
disk_used_percent(根文件系统)最新值 ≥ 90%
memory_used_percent最新值 ≥ 90%
cpu_percent15 分钟平均值 ≥ 90%

一切正常时,它只记录一行日志,除非设置 STROMBOLI_HEALTHCHECK_SUMMARY=true:此时它还会向 Slack 发送 ✅ All services operational。该消息仅在每个被检查的服务都低于其阈值且没有任何检查失败时发送;当部分服务无法检查(查询失败)时,它会改为发送 ⚠️ Health check: could not check N services 并附上每个服务的原因。每个不健康的服务会得到一次调查,调查发现会放在其告警载荷中,像其他告警一样发到 Slack。在过去 15 分钟内完全没有指标的服务(已停止的机器,或匹配不到任何内容的选择器)也会得到一次调查,因此已停止的机器会附带一个待批准的启动建议。当相同的检查持续失败时,6 小时内不会再次调查。没有 LLM 时,发现只会被记录到日志。

机器操作

默认情况下,每种缓解措施都是供人工执行的文本。对于 Fly.io 服务,你可以让 stromboli 自行执行其中一些操作,但始终需要人工批准。

文章标题:Show HN: Stromboli 开源 AI SRE 代理,专注于快速缓解事件

正文:

export STROMBOLI_ACTIONS_ENABLED=true # 默认关闭;需要 STROMBOLI_API_TOKEN stromboli connector add fly-deploy fly_machines org=<org-slug> token="$(fly tokens create deploy -a <app>)"


        
      
  • name: checker

fly: app: openstatus-checker # 默认如上 actions: fly-deploy # fly_machines 连接器;没有它,缓解措施仅保留为文本 allow: [restart, cordon, uncordon] # 默认:restart、clone、cordon、uncordon(stop 和 start 需显式启用)


        
会发生什么:

- 提议。当简报说明可以为该服务执行操作时,代理可以在其缓解措施上附加一个 machine_action(restart、clone、cordon、uncordon、stop 或 start,加上机器 ID,clone 还需区域)。stromboli 会依据允许列表和应用当前机器进行检查(每次操作最多 10 台机器;带卷的机器永远不会被克隆),并将其存储为已提议。被拒绝的操作会被丢弃,缓解措施仍为建议,并告知代理原因。修订缓解措施会取代待处理的操作。

- 批准与否。在 STROMBOLI_ACTION_TTL(30 分钟)超时之前,除非人工批准,否则不会执行任何操作:stromboli actions --status proposed stromboli actions approve <action-id> --as alice --note "ok from the incident call" # 请求确认;--yes 跳过 stromboli actions reject <action-id> --as alice --note "the db is the cause"

批准与否。在 STROMBOLI_ACTION_TTL(30 分钟)超时之前,除非人工批准,否则不会执行任何操作:

      

stromboli actions --status proposed stromboli actions approve <action-id> --as alice --note "ok from the incident call" # 请求确认;--yes 跳过 stromboli actions reject <action-id> --as alice --note "the db is the cause"


        
- 安全执行。批准会再次依据目录和机器进行检查,然后以原子方式认领,因此一个操作最多执行一次。它逐台机器执行。restart、start 或 clone 会等待机器达到 started 状态(60 秒),并在首次失败时停止,因此滚动重启不会导致超过一台未恢复的机器下线。结果会列出已执行的操作以及如何撤销(对于 clone,是销毁新机器的 fly machine destroy)。

- 记录。每个操作都会保留谁批准或拒绝了它、时间、备注、结果和错误(stromboli actions show <id>,ActionService),并发布在调查的 Slack 线程中。

批准者名称按所提供的内容记录:任何拥有 API token 的人都可以批准。使用 SLACK_APPROVERS 的 Slack 批准来限制谁可以批准。

## 从 Slack 批准

设置 SLACK_SIGNING_SECRET(以及 STROMBOLI_ACTIONS_ENABLED=true)后,提议的操作会在调查的 Slack 消息中显示 Apply 和 Reject 按钮,而不是 CLI 命令。Apply 会请求确认,显示风险和撤销方式。点击会经过与 CLI 相同的 Approve/Reject 流程,Slack 用户会被记录为批准者(@alice (Slack U0123))。结果会发布在线程中并替换按钮。过期或被取代的操作会在下次重绘时失去按钮,点击其中一个会收到无法执行的原因。

- 在你的 Slack 应用中,开启 Interactivity & Shortcuts,并将 Request URL 设置为 https://<stromboli>/slack/interactions(如果你是从 manifest 创建的,则已开启)。

- 设置 SLACK_SIGNING_SECRET(Basic Information → Signing Secret)。没有有效 Slack 签名或超过 5 分钟的请求会被拒绝。

- 建议:SLACK_APPROVERS=U0123,U0456 将按钮限制为这些 Slack 用户 ID。没有它,任何能看到该频道的人都可以批准。

只有机器操作才有按钮。仅文本的缓解措施(回滚、故障转移……)仍由人工在 stromboli 之外应用。

## 模型

stromboli 不绑定单一 LLM 供应商。与 AI SDK 一样,模型是 provider:model,每个阶段可以使用自己的模型。一个好的拆分是为分诊使用快速模型,此时缓解时间最为重要,而为根因分析使用彻底的模型:

      

STROMBOLI_TRIAGE_MODEL=anthropic:claude-haiku-5-5 # until the mitigation is published STROMBOLI_TRIAGE_EFFORT=low STROMBOLI_INVESTIGATE_MODEL=openai:gpt-5 # root cause and report STROMBOLI_INVESTIGATE_EFFORT=high


        
缓解措施发布后,investigate 模型会接管 triage 的对话,因此 triage 看到的所有内容它也能看到。

最简单的配置方式是 Vercel AI Gateway:一个密钥,接入所有模型。与 AI SDK 中一样,像 openai/gpt-5 这样的 id(不带 provider: 前缀,用斜杠)会通过网关路由:

      

AI_GATEWAY_API_KEY=... STROMBOLI_TRIAGE_MODEL=anthropic/claude-haiku-5.5 STROMBOLI_INVESTIGATE_MODEL=openai/gpt-5

ProviderModel idConfiguration
Vercel AI Gatewayopenai/gpt-5 , anthropic/claude-opus-5.5 , deepseek/deepseek-v4-pro … (or gateway:<id> )AI_GATEWAY_API_KEY or VERCEL_OIDC_TOKEN , optional AI_GATEWAY_BASE_URL
Anthropicanthropic:claude-opus-5-5 (or a bare claude-… id)ANTHROPIC_API_KEY
OpenAIopenai:gpt-5OPENAI_API_KEY , optional OPENAI_BASE_URL (Azure, proxies)
Google Geminigoogle:gemini-2.5-proGEMINI_API_KEY
OpenRouteropenrouter:meta-llama/llama-3.3-70b-instructOPENROUTER_API_KEY
DeepSeekdeepseek:deepseek-v4-pro , deepseek:deepseek-flashDEEPSEEK_API_KEY , optional DEEPSEEK_BASE_URL
Ollamaollama:qwen3:32bOLLAMA_BASE_URL (default http://localhost:11434/v1 )
Any OpenAI-compatible API<name>:<model> , e.g. groq:llama-3.3-70b-versatileSTROMBOLI_PROVIDER_<NAME>_BASE_URL , STROMBOLI_PROVIDER_<NAME>_API_KEY

该模型必须支持工具调用。

Anthropic 模型会使用 prompt caching、effort 和服务端拒绝回退;通过网关时,它们使用网关的 Anthropic Messages API,因此缓存、effort 和 thinking 块都会被保留(回退由网关自己处理)。其他提供商走 OpenAI Chat Completions 格式,其中 effort 会转换为 reasoning_effort(仅在设置时发送;DeepSeek 接受最高到 max)。提供商返回的推理内容(DeepSeek 的 reasoning_content、网关的 reasoning_details)会在后续轮次回传给该提供商,这是其工具循环所要求的。在阶段之间切换模型会在切换时重置一次 prompt 缓存。

Configuration

所有设置都是环境变量;.env.example 中列出了全部设置并附有注释。

文章标题:Show HN: Stromboli 开源 AI SRE agent,专注于快速事件缓解

正文:

变量默认值
STROMBOLI_DB_URL(必填)Postgres URL
STROMBOLI_SECRET_KEY(必填)加密 connector 凭据(AES-256-GCM)
STROMBOLI_API_TOKEN空 = 不鉴权API 的 bearer token
STROMBOLI_WEBHOOK_TOKENAPI token/webhooks/* 的 token
STROMBOLI_MODELanthropic:claude-opus-5-5每个阶段的默认模型,格式为 provider:model( Models )
STROMBOLI_EFFORTprovider 默认值low 、 medium 、 high 、 xhigh 、 max
STROMBOLI_TRIAGE_MODEL / STROMBOLI_TRIAGE_EFFORTSTROMBOLI_MODEL / STROMBOLI_EFFORT在缓解措施发布之前使用的模型
STROMBOLI_INVESTIGATE_MODEL / STROMBOLI_INVESTIGATE_EFFORTSTROMBOLI_MODEL / STROMBOLI_EFFORT用于根因分析和报告
AI_GATEWAY_API_KEY , ANTHROPIC_API_KEY , OPENAI_API_KEY , GEMINI_API_KEY , OPENROUTER_API_KEY , DEEPSEEK_API_KEY , OLLAMA_BASE_URL你所使用 provider 的凭据
STROMBOLI_MAX_TOOL_CALLS30每次调查
STROMBOLI_MITIGATION_TOOL_CALLS6agent 必须提出缓解措施之前的工具调用次数
STROMBOLI_INVESTIGATION_TIMEOUT8m
STROMBOLI_DEDUPE_WINDOW30m
STROMBOLI_ACTIONS_ENABLEDfalse允许调查提出可由人工批准的机器操作(需要 STROMBOLI_API_TOKEN )
STROMBOLI_ACTION_TTL30m提议的操作可被批准的时长
STROMBOLI_HEALTHCHECK_INTERVAL空 = 关闭按此计划检查 Fly machine 指标,例如 1h (至少 5m ),并对违规情况进行调查( Health checks )
STROMBOLI_HEALTHCHECK_SUMMARYfalse每次健康检查运行后,若所有服务均健康,则向 Slack 发送全部正常的消息;否则发送一条列出无法检查的服务的警告
SLACK_BOT_TOKEN , SLACK_CHANNELbot 需要 chat:write
SLACK_SIGNING_SECRET启用 Apply/Reject 按钮( Approve from Slack )
SLACK_APPROVERS空 = 频道内任何人允许点击 Apply/Reject 的 Slack 用户 ID
STROMBOLI_MCP_ENABLEDfalse在 /mcp 提供 MCP 工具(需要 STROMBOLI_API_TOKEN )
STROMBOLI_MCP_TOKENAPI token设置后 /mcp 唯一接受的 token;它只能访问 MCP 工具,而非整个 API

CLI 提示

每个命令都有带示例的 --help。

  • 机密信息不要出现在命令行上。对于机密 connector key,只传 token 以交互式输入(输入内容隐藏),传 token=@file 以读取文件,或传 token=- 以从 stdin 读取。
  • Ctrl-C 会立即取消提示,并停止监视调查,但调查仍在服务器上继续运行。可用 stromboli show <id> --follow 恢复。
  • 破坏性命令会先询问:connector rm、catalog rm、actions approve,以及会删除内容的 catalog import --prune。没有终端时,或使用 --no-input 时,除非传入 --yes,否则这些命令会失败。当既未设置 --as 也未设置 STROMBOLI_USER 时,actions approve 和 reject 会询问你的名字。
  • 脚本编写:数据输出到 stdout,消息输出到 stderr。--json 输出 JSON(investigate --json 每行输出一个事件),-q 静默消息,investigate --no-watch 只输出调查 ID。退出码:0 成功,1 错误,2 用法错误,130 被中断。
  • 补全:stromboli completion bash|zsh|fish|powershell。

API

API 是 ConnectRPC,定义于 proto/stromboli/v1:CatalogService、ConnectorService、InvestigationService、ActionService。同一组端点支持 Connect、gRPC 和 gRPC-Web,以及纯 JSON:

curl -H "Authorization: Bearer $STROMBOLI_API_TOKEN" -H 'Content-Type: application/json' \ -d '{"name":"api"}' localhost:8080/stromboli.v1.CatalogService/GetService grpcurl -plaintext -H "Authorization: Bearer $STROMBOLI_API_TOKEN" localhost:8080 list # reflection is on

InvestigationService/WatchInvestigation 会实时流式传输各个步骤。

MCP server

stromboli 同时也是一个 MCP server,因此你可以在 Claude Code、Claude Desktop、Cursor 或编码 agent 中使用它:读取 stromboli 在某个服务上看到的内容、某次调查的缓解措施和报告,或启动一次调查(ADR 0021)。

list_services , get_service目录
get_brief服务的简报,不调用 LLM(免费)
list_investigations , get_investigation调查、其缓解措施与报告;include_steps 用于审计轨迹
wait_investigation等待缓解措施发布(或报告写完),并显示进度
start_investigation启动调查:消耗 LLM token 并发布到 Slack
list_actions , get_action提议的机器操作及其结果

除 start_investigation 外,所有工具都是只读的,start_investigation 只会启动 webhook 或 stromboli investigate 会启动的内容。MCP 客户端无法批准机器操作,也无法更改目录或连接器:批准权限保留在 CLI 或 Slack 中的具名人员手中。

通过 stdio,供启动命令的客户端使用。stromboli mcp 使用 API token 调用你的服务器:

claude mcp add stromboli -e STROMBOLI_URL=https://stromboli.example.com -e STROMBOLI_API_TOKEN=... -- stromboli mcp


        
通过 HTTP,位于服务器上的 /mcp,需设置 STROMBOLI_MCP_ENABLED=true(需要 STROMBOLI_API_TOKEN)。客户端发送 Authorization: Bearer <token>。设置 STROMBOLI_MCP_TOKEN,为 MCP 客户端提供一个仅能访问这些工具、而非整个 API 的 token:

      

claude mcp add --transport http stromboli https://stromboli.example.com/mcp --header "Authorization: Bearer $STROMBOLI_MCP_TOKEN"


        
从 MCP 启动的调查,其 source 为 mcp,客户端名称出现在其告警中。

作为 Claude Code skill,Claude 会替你驱动 stromboli CLI:简报、调查、目录、连接器和操作批准,机密不进入命令行,批准留给具名人员。将 skills/stromboli 复制到你的 skills 文件夹:

      

cp -R skills/stromboli ~/.claude/skills/


        
## Development

开发栈包含一个演示应用,会在 3 分钟后触发一个假事故,因此你可以在本地观看完整调查:

      

docker compose -f docker-compose.dev.yml up -d # Postgres :55432, Loki :3100, demo app export STROMBOLI_DB_URL="postgres://stromboli:stromboli@localhost:55432/stromboli?sslmode=disable" STROMBOLI_SECRET_KEY=dev go run ./cmd/stromboli serve go run ./cmd/stromboli connector add loki loki url=http://localhost:3100 go run ./cmd/stromboli catalog import examples/catalog/services.yaml --runbooks examples/catalog/runbooks go run ./cmd/stromboli brief api


        
      

go test ./... # add STROMBOLI_TEST_DB_URL=... to run the end-to-end agent test buf lint && buf generate # after editing proto/ sqlc generate # after editing internal/store/queries or migrations

Contributing

欢迎贡献:阅读 CONTRIBUTING.md 开始,阅读 SECURITY.md 私下报告漏洞。所有参与者都遵守行为准则。

License

stromboli 在 MIT 许可证下发布。

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by HN AI
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗