open-monitor
在线演示:omon.dhananjaay.dev(使用 demo / demo 登录)
一个自托管服务器,按计划监视网络搜索或特定页面,询问 LLM 每个新结果是否对你的目标重要,并将保留下来的结果发送到 webhook。搜索提供商和 LLM 由你自带。

curl -X POST http://localhost:8787/v1/monitors \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"name": "AI infra funding",
"targets": [{ "type": "search", "query": "ai infrastructure funding" }],
"goal": "New funding rounds for GPU cloud and inference companies",
"schedule": { "type": "interval", "interval": "1d" },
"webhook": { "url": "https://agent.example.com/hooks/monitor" }
}'
响应中会包含一次 webhook.secret(whsec_...)。整个 API 在 /openapi.json 中以 OpenAPI 3.1 描述,无需密钥。
运行
Node
需要 Node 24 或更新版本(它使用内置的 node:sqlite)。
cp .env.example .env # set API_KEY, plus a search provider and an LLM key, see below
npm start
它监听端口 8787,将所有内容存储在 monitor.db 中,并每分钟运行一次调度器。
Docker Compose(完整栈)
cp .env.example .env # set API_KEY and LLM_API_KEY; search needs no key here
docker compose up -d
这会启动三个容器:端口 8787 上的 monitor、用于搜索的 SearXNG(因此不需要 Tavily 密钥),以及用于处理用 JavaScript 构建内容的页面的 Lightpanda。数据存放在 data 卷中。在对外暴露任何内容之前,请更改 searxng/settings.yml 中的 secret_key。
部署
任何能运行 Dockerfile 的主机,或已发布的镜像 ghcr.io/dhananjay-jsr/open-monitor,都可以使用。为其在 /data 提供持久磁盘(SQLite 文件位于那里),设置配置中的变量,并设置 TRUST_PROXY=1,因为这些主机位于终止 HTTPS 的代理之后。
- Railway:该模板会构建 Dockerfile,并在 /data 挂载卷,生成 API_KEY 和 SESSION_SECRET,并询问 LLM、Tavily 和仪表盘相关取值。
- Render:该按钮会读取 render.yaml,它会创建带有 1 GB 磁盘的 Web 服务,并生成 API_KEY 和 SESSION_SECRET。磁盘需要付费实例;在免费实例上,每次部署都会丢失数据库,并且服务会休眠,因此调度器也会停止。
Cloudflare Workers
wrangler d1 create open-monitor # paste the id into wrangler.toml
wrangler secret put API_KEY # and the other secrets listed in wrangler.toml
wrangler deploy
存储是 D1,cron 触发器每分钟运行一次调度器。LLM_COMMAND 在 Workers 上不起作用。
没有调度器的主机
使用 API 密钥将任意外部 cron 指向 POST /tick。调用得比需要的更频繁也无害。
配置
所有配置都是环境变量;.env.example 列出了它们。
| 变量 | 作用 |
|---|---|
| API_KEY | 必填。客户端以 Authorization: Bearer ... 的形式发送它 |
| LLM_API_KEY , LLM_BASE_URL , LLM_MODEL | 通过兼容 OpenAI 的 API 进行评判。默认值:OpenRouter,模型 openrouter/free |
| LLM_COMMAND | 改用本地命令进行评判(仅限 Node) |
| LLM_REQUESTS_PER_MINUTE | 每分钟评判调用次数,由所有进程共享。默认 20,0 表示不限制 |
| TAVILY_API_KEY | 使用 Tavily 进行搜索 |
| SEARXNG_URL | 使用你自己的 SearXNG 进行搜索。若两者都设置,此项优先 |
| BROWSER_WS_URL | 无头浏览器的 CDP websocket,用于 JavaScript 渲染的页面 |
| DASHBOARD_USER , DASHBOARD_PASSWORD , SESSION_SECRET | 开启仪表盘(三项均需设置) |
| OTEL_EXPORTER_OTLP_ENDPOINT , OTEL_EXPORTER_OTLP_HEADERS , OTEL_SERVICE_NAME | 遥测导出 |
| TRUST_PROXY | 位于反向代理之后:信任 X-Forwarded-For 、 X-Forwarded-Proto 和 X-Forwarded-Host |
| ALLOW_PRIVATE_URLS | 允许 webhook 和页面 URL 指向 localhost 及私有网络 |
| COST_PER_SEARCH_RUN , COST_PER_PAGE_FETCH | usage.cost 的费率。默认 0 |
| PORT , DB_PATH | 默认分别为 8787 和 monitor.db |
评判器
每个候选项(一条新的搜索结果,或一次页面差异)都会得到一次 LLM 调用,由它针对监控目标给出 0 到 1 的评分。评分达到或超过 0.5,或达到目标的 judge.threshold 的,予以保留。没有 LLM 时,每次运行都会以 judge_failed 失败。
# OpenRouter,仅使用免费模型(默认):只需一个密钥
LLM_API_KEY=sk-or-...
# 任意兼容 OpenAI 的 API
LLM_BASE_URL=https://api.openai.com/v1
LLM_API_KEY=sk-...
LLM_MODEL=<a chat model your key can use>
# Ollama,完全本地
LLM_BASE_URL=http://localhost:11434/v1
LLM_MODEL=<a model you have pulled>
# 命令行工具:提示词写入 stdin,答案从 stdout 读取
LLM_COMMAND="claude -p"
openrouter/free 会把每次调用路由到 OpenRouter 的某个免费模型。免费模型允许每分钟 20 次请求(即 LLM_REQUESTS_PER_MINUTE 的默认值),每天 50 次;账户购买额度后每天可达 1,000 次。每分钟计数存放在数据库中,因此所有进程共享它。遇到 429 时,评判器会等待 Retry-After;剩余未评判的内容由下一次运行接手。
搜索与页面
搜索监控会执行查询,最多保留 max_results 条结果,应用 include_domains 和 exclude_domains,丢弃监控已评判过的 URL,并将剩余的发送给评判器。新监控的首次运行会回溯过去 7 天;此后每次运行覆盖自上次运行以来的时间。发现按最新在前返回。每个 URL 只评判一次,即使你之后修改了目标。
页面监控会抓取每个 URL,将其文本与上次运行的副本比较,并把统一 diff(最多 24 KiB)发送给评判器。首次运行只保存页面。对于在浏览器中渲染的页面,请将 BROWSER_WS_URL 设为任意 CDP 端点:Lightpanda(lightpanda serve --host 127.0.0.1 --port 9222)、带 --remote-debugging-port 的 Chrome,或托管浏览器。BROWSER_WS_HEADERS(一个 JSON 对象)会为 websocket 请求添加请求头。
Webhooks
事件按 Standard Webhooks 的方式签名,因此现有的验证库可直接使用。手动实现:
import { createHmac, timingSafeEqual } from 'node:crypto'
function verify(rawBody, headers, secret) {
const key = Buffer.from(secret.slice('whsec_'.length), 'base64')
const signed = `${headers['webhook-id']}.${headers['webhook-timestamp']}.${rawBody}`
const expected = Buffer.from(createHmac('sha256', key).update(signed).digest('base64'))
// 密钥轮换期间会收到两个签名,以空格分隔
return headers['webhook-signature'].split(' ').some((entry) => {
const given = Buffer.from(entry.split(',')[1] ?? '')
return given.length === expected.length && timingSafeEqual(given, expected)
})
}
- 事件:默认 monitor.changes.detected 和 monitor.paused,按需 monitor.run.completed。
文章标题:Show HN: Open Monitor – 带 LLM 裁判的自托管网页监控
正文:
- 投递失败会在 5 秒、5 分钟、30 分钟、2 小时、5 小时和 10 小时后重试。重定向也算作失败。监控在此期间继续运行;只有当某个事件在所有 7 次尝试中都失败时,才会以 pause_reason: webhook_failing 暂停该监控。
- 更换密钥后,旧密钥会在 24 小时内继续与新密钥一同用于签名。
- 除非设置 ALLOW_PRIVATE_URLS=1,否则 localhost 或私有地址上的 URL 会被拒绝。该检查读取的是书写形式的主机名,因此一个解析到私有地址的公有名称不会被拦截。
- 每次尝试都可在 GET /v1/monitors/{id}/deliveries 中查看。
仪表盘
设置 DASHBOARD_USER、DASHBOARD_PASSWORD 和 SESSION_SECRET,然后打开服务器的根 URL。如果这三项没有全部设置,/ 会返回 404。
- 还没有任何监控时,它会打开一个三步设置流程:选择一个示例,设置目标、调度和 webhook,然后观看首次运行。
- 主视图是一个信息流,展示发现项(搜索结果,以及以变更前后行形式呈现的页面变更)、每日发现项,以及“需要关注”下的失败运行或失败的 webhook。可以在这里创建、编辑、运行、暂停和删除监控。
- API 页面会显示基础 URL、可复制的 curl 示例和一段 webhook 验证代码片段。“Copy for AGENTS.md”会复制一段简短内容,AI agent 可以按照它来使用 API。
- 登录是服务器端会话,持续 12 小时。连续五次密码错误会将该用户名和 IP 锁定 15 分钟。请通过 HTTPS 提供服务,以便会话 cookie 被标记为 Secure。
遥测
设置 OTEL_EXPORTER_OTLP_ENDPOINT(以及经过 url 编码的 OTEL_EXPORTER_OTLP_HEADERS),即可使用官方 OpenTelemetry 包通过 OTLP/HTTP 导出 traces、计数器和日志。Grafana Cloud 的免费套餐可用。每次运行是一个 trace,涵盖搜索或页面抓取、每一次裁判调用和每一次 webhook 尝试;发出的 webhook 带有 traceparent 头,一次运行的 trace_id 在其 JSON 中。密钥、页面内容和搜索结果绝不会被导出,只有 webhook URL 的主机部分会被导出。
在 Workers 上,Cloudflare 自身的 tracing 默认关闭;取消 wrangler.toml 中 [observability] 的注释即可添加。
开发
测试不需要网络。要包含浏览器测试,请将其指向一个 CDP 浏览器和一个由 JavaScript 渲染的页面:
TEST_BROWSER_WS_URL=ws://127.0.0.1:9222/ TEST_JS_PAGE_URL=http://127.0.0.1:8801/index.html npm test
许可证
MIT,见 LICENSE。