Newshot

Show HN:Open Monitor – 带 LLM 评判器的自托管网络监控工具

Translation(model translation, not the source's own text)

open-monitor

在线演示:omon.dhananjaay.dev(使用 demo / demo 登录)

一个自托管服务器,按计划监视网络搜索或特定页面,询问 LLM 每个新结果是否对你的目标重要,并将保留下来的结果发送到 webhook。搜索提供商和 LLM 由你自带。

Open Monitor 仪表盘
Open Monitor 仪表盘

        curl -X POST http://localhost:8787/v1/monitors \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "name": "AI infra funding",
    "targets": [{ "type": "search", "query": "ai infrastructure funding" }],
    "goal": "New funding rounds for GPU cloud and inference companies",
    "schedule": { "type": "interval", "interval": "1d" },
    "webhook": { "url": "https://agent.example.com/hooks/monitor" }
  }'
      

响应中会包含一次 webhook.secret(whsec_...)。整个 API 在 /openapi.json 中以 OpenAPI 3.1 描述,无需密钥。

运行

Node

需要 Node 24 或更新版本(它使用内置的 node:sqlite)。


        cp .env.example .env    # set API_KEY, plus a search provider and an LLM key, see below
npm start
      

它监听端口 8787,将所有内容存储在 monitor.db 中,并每分钟运行一次调度器。

Docker Compose(完整栈)


        cp .env.example .env    # set API_KEY and LLM_API_KEY; search needs no key here
docker compose up -d
      

这会启动三个容器:端口 8787 上的 monitor、用于搜索的 SearXNG(因此不需要 Tavily 密钥),以及用于处理用 JavaScript 构建内容的页面的 Lightpanda。数据存放在 data 卷中。在对外暴露任何内容之前,请更改 searxng/settings.yml 中的 secret_key。

部署

任何能运行 Dockerfile 的主机,或已发布的镜像 ghcr.io/dhananjay-jsr/open-monitor,都可以使用。为其在 /data 提供持久磁盘(SQLite 文件位于那里),设置配置中的变量,并设置 TRUST_PROXY=1,因为这些主机位于终止 HTTPS 的代理之后。

  • Railway:该模板会构建 Dockerfile,并在 /data 挂载卷,生成 API_KEY 和 SESSION_SECRET,并询问 LLM、Tavily 和仪表盘相关取值。
  • Render:该按钮会读取 render.yaml,它会创建带有 1 GB 磁盘的 Web 服务,并生成 API_KEY 和 SESSION_SECRET。磁盘需要付费实例;在免费实例上,每次部署都会丢失数据库,并且服务会休眠,因此调度器也会停止。

Cloudflare Workers


        wrangler d1 create open-monitor        # paste the id into wrangler.toml
wrangler secret put API_KEY            # and the other secrets listed in wrangler.toml
wrangler deploy
      

存储是 D1,cron 触发器每分钟运行一次调度器。LLM_COMMAND 在 Workers 上不起作用。

没有调度器的主机

使用 API 密钥将任意外部 cron 指向 POST /tick。调用得比需要的更频繁也无害。

配置

所有配置都是环境变量;.env.example 列出了它们。

变量作用
API_KEY必填。客户端以 Authorization: Bearer ... 的形式发送它
LLM_API_KEY , LLM_BASE_URL , LLM_MODEL通过兼容 OpenAI 的 API 进行评判。默认值:OpenRouter,模型 openrouter/free
LLM_COMMAND改用本地命令进行评判(仅限 Node)
LLM_REQUESTS_PER_MINUTE每分钟评判调用次数,由所有进程共享。默认 20,0 表示不限制
TAVILY_API_KEY使用 Tavily 进行搜索
SEARXNG_URL使用你自己的 SearXNG 进行搜索。若两者都设置,此项优先
BROWSER_WS_URL无头浏览器的 CDP websocket,用于 JavaScript 渲染的页面
DASHBOARD_USER , DASHBOARD_PASSWORD , SESSION_SECRET开启仪表盘(三项均需设置)
OTEL_EXPORTER_OTLP_ENDPOINT , OTEL_EXPORTER_OTLP_HEADERS , OTEL_SERVICE_NAME遥测导出
TRUST_PROXY位于反向代理之后:信任 X-Forwarded-For 、 X-Forwarded-Proto 和 X-Forwarded-Host
ALLOW_PRIVATE_URLS允许 webhook 和页面 URL 指向 localhost 及私有网络
COST_PER_SEARCH_RUN , COST_PER_PAGE_FETCHusage.cost 的费率。默认 0
PORT , DB_PATH默认分别为 8787 和 monitor.db

评判器

每个候选项(一条新的搜索结果,或一次页面差异)都会得到一次 LLM 调用,由它针对监控目标给出 0 到 1 的评分。评分达到或超过 0.5,或达到目标的 judge.threshold 的,予以保留。没有 LLM 时,每次运行都会以 judge_failed 失败。


        # OpenRouter,仅使用免费模型(默认):只需一个密钥
LLM_API_KEY=sk-or-...

# 任意兼容 OpenAI 的 API
LLM_BASE_URL=https://api.openai.com/v1
LLM_API_KEY=sk-...
LLM_MODEL=<a chat model your key can use>

# Ollama,完全本地
LLM_BASE_URL=http://localhost:11434/v1
LLM_MODEL=<a model you have pulled>

# 命令行工具:提示词写入 stdin,答案从 stdout 读取
LLM_COMMAND="claude -p"
      

openrouter/free 会把每次调用路由到 OpenRouter 的某个免费模型。免费模型允许每分钟 20 次请求(即 LLM_REQUESTS_PER_MINUTE 的默认值),每天 50 次;账户购买额度后每天可达 1,000 次。每分钟计数存放在数据库中,因此所有进程共享它。遇到 429 时,评判器会等待 Retry-After;剩余未评判的内容由下一次运行接手。

搜索与页面

搜索监控会执行查询,最多保留 max_results 条结果,应用 include_domains 和 exclude_domains,丢弃监控已评判过的 URL,并将剩余的发送给评判器。新监控的首次运行会回溯过去 7 天;此后每次运行覆盖自上次运行以来的时间。发现按最新在前返回。每个 URL 只评判一次,即使你之后修改了目标。

页面监控会抓取每个 URL,将其文本与上次运行的副本比较,并把统一 diff(最多 24 KiB)发送给评判器。首次运行只保存页面。对于在浏览器中渲染的页面,请将 BROWSER_WS_URL 设为任意 CDP 端点:Lightpanda(lightpanda serve --host 127.0.0.1 --port 9222)、带 --remote-debugging-port 的 Chrome,或托管浏览器。BROWSER_WS_HEADERS(一个 JSON 对象)会为 websocket 请求添加请求头。

Webhooks

事件按 Standard Webhooks 的方式签名,因此现有的验证库可直接使用。手动实现:


        import { createHmac, timingSafeEqual } from 'node:crypto'

function verify(rawBody, headers, secret) {
  const key = Buffer.from(secret.slice('whsec_'.length), 'base64')
  const signed = `${headers['webhook-id']}.${headers['webhook-timestamp']}.${rawBody}`
  const expected = Buffer.from(createHmac('sha256', key).update(signed).digest('base64'))
  // 密钥轮换期间会收到两个签名,以空格分隔
  return headers['webhook-signature'].split(' ').some((entry) => {
    const given = Buffer.from(entry.split(',')[1] ?? '')
    return given.length === expected.length && timingSafeEqual(given, expected)
  })
}
      
  • 事件:默认 monitor.changes.detected 和 monitor.paused,按需 monitor.run.completed。

文章标题:Show HN: Open Monitor – 带 LLM 裁判的自托管网页监控

正文:

  • 投递失败会在 5 秒、5 分钟、30 分钟、2 小时、5 小时和 10 小时后重试。重定向也算作失败。监控在此期间继续运行;只有当某个事件在所有 7 次尝试中都失败时,才会以 pause_reason: webhook_failing 暂停该监控。
  • 更换密钥后,旧密钥会在 24 小时内继续与新密钥一同用于签名。
  • 除非设置 ALLOW_PRIVATE_URLS=1,否则 localhost 或私有地址上的 URL 会被拒绝。该检查读取的是书写形式的主机名,因此一个解析到私有地址的公有名称不会被拦截。
  • 每次尝试都可在 GET /v1/monitors/{id}/deliveries 中查看。

仪表盘

设置 DASHBOARD_USER、DASHBOARD_PASSWORD 和 SESSION_SECRET,然后打开服务器的根 URL。如果这三项没有全部设置,/ 会返回 404。

  • 还没有任何监控时,它会打开一个三步设置流程:选择一个示例,设置目标、调度和 webhook,然后观看首次运行。
  • 主视图是一个信息流,展示发现项(搜索结果,以及以变更前后行形式呈现的页面变更)、每日发现项,以及“需要关注”下的失败运行或失败的 webhook。可以在这里创建、编辑、运行、暂停和删除监控。
  • API 页面会显示基础 URL、可复制的 curl 示例和一段 webhook 验证代码片段。“Copy for AGENTS.md”会复制一段简短内容,AI agent 可以按照它来使用 API。
  • 登录是服务器端会话,持续 12 小时。连续五次密码错误会将该用户名和 IP 锁定 15 分钟。请通过 HTTPS 提供服务,以便会话 cookie 被标记为 Secure。

遥测

设置 OTEL_EXPORTER_OTLP_ENDPOINT(以及经过 url 编码的 OTEL_EXPORTER_OTLP_HEADERS),即可使用官方 OpenTelemetry 包通过 OTLP/HTTP 导出 traces、计数器和日志。Grafana Cloud 的免费套餐可用。每次运行是一个 trace,涵盖搜索或页面抓取、每一次裁判调用和每一次 webhook 尝试;发出的 webhook 带有 traceparent 头,一次运行的 trace_id 在其 JSON 中。密钥、页面内容和搜索结果绝不会被导出,只有 webhook URL 的主机部分会被导出。

在 Workers 上,Cloudflare 自身的 tracing 默认关闭;取消 wrangler.toml 中 [observability] 的注释即可添加。

开发

测试不需要网络。要包含浏览器测试,请将其指向一个 CDP 浏览器和一个由 JavaScript 渲染的页面:


        TEST_BROWSER_WS_URL=ws://127.0.0.1:9222/ TEST_JS_PAGE_URL=http://127.0.0.1:8801/index.html npm test
      

许可证

MIT,见 LICENSE。

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by HN AI
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗