| 行业类别 | 样本 | 自定义 /llms.txt | 自动生成模板 | 自定义 /agents.md | 基础 JSON-LD | FAQPage Schema | WAF HTTP 403 |
|---|---|---|---|---|---|---|---|
| B2B SaaS 与开发者工具 | 10 | 10 / 10(100%) | 0 / 10(0%) | 2 / 10(20%) | 9 / 10(90%) | 0 / 10(0%) | 0 / 10(0%) |
| Shopify 与 D2C 电商 | 10 | 1 / 10(10%) | 6 / 10(60%) | 0 / 10(0%) | 7 / 10(70%) | 0 / 10(0%) | 1 / 10(10%) |
| SEO、内容与数字代理机构 | 10 | 4 / 10(40%) | 1 / 10(10%) | 0 / 10(0%) | 8 / 10(80%) | 2 / 10(20%) | 0 / 10(0%) |
| 多门店医疗、法律与家庭服务 | 10 | 5 / 10(50%) | 0 / 10(0%) | 0 / 10(0%) | 9 / 10(90%) | 1 / 10(10%) | 1 / 10(10%) |
| 所有类别合计 | 40 | 20/40(50.0%) | 7/40(17.5%) | 2/40(5.0%) | 33/40(82.5%) | 3/40(7.5%) | 2/40(5.0%) |
区分被引用品牌与隐形域名的四个协议缺口
Shopify Agent 的 80 分真相缺口
十分之八受测 D2C 电商品牌(80.0%)暴露了活跃的 Shopify /api/ucp/mcp 商业端点,但 10 个中有 0 个(0.0%)自定义了 /agents.md,仅 10 个中有 1 个(10.0%)提供自定义 /llms.txt。十个中有六个提供未经编辑的 Shopify Shop-skill 原样模板,缺少免运费门槛、退货窗口和组合包排除条款。
开放的 /robots.txt 文件掩盖了 CDN 的静默 403 拦截
40 个受测域名中没有任何一个(0.0%)在根目录 /robots.txt 中禁止 GPTBot 或 PerplexityBot,但有 2 个(5.0%——ridge.com 和 westerndental.com)在用真实 GPTBot 或 PerplexityBot User-Agent 请求头在 CDN 边缘探测时返回 HTTP 403 Forbidden。
三分之一的 HTTP 200 /llms.txt 响应是未经整理的内容或 HTML 软 404
三十个域名在 GET /llms.txt 时返回 HTTP 200,但 Content-Type 和正文检查发现 3 个 HTML SPA 软 404 页面(占该队列的 7.5%)和 7 个自动生成的 Shopify 或 Rank Math 模板堆砌(17.5%)。开发者 SaaS 以 100%(10/10)的真实整理率领先,相比之下 SEO 代理机构为 40%,D2C 品牌为 10%。
基础 Organization Schema 很常见;答案优先的 FAQPage Schema 很罕见
虽然 40 个域名中有 33 个(82.5%)在首页渲染了至少一个 application/ld+json 块,但 40 个中仅有 3 个(7.5%)包含 FAQPage 结构化问答对——这使得 ChatGPT Search、Gemini 和 Perplexity 只能从第三方目录推断定价层级、服务区域和 SLA。
| 域名 | 行业 | /llms.txt | /agents.md | 首页 JSON-LD | GPTBot / PerplexityBot | Shopify UCP | 实时检测 |
|---|---|---|---|---|---|---|---|
| stripe.com | B2B SaaS | 自定义精选 | 缺失 | 1 个节点 | HTTP 200 开放 | — | 重新探测 → |
| vercel.com | B2B SaaS | 自定义精选 | 自定义增强 | 3 个节点 | HTTP 200 开放 | — | 重新探测 → |
| supabase.com | B2B SaaS | 自定义精选 | 缺失 | 4 个节点 | HTTP 200 开放 | — | 重新探测 → |
| resend.com | B2B SaaS | 自定义精选 | 缺失 | 1 个节点 | HTTP 200 开放 | — | 重新探测 → |
| linear.app | B2B SaaS | 自定义精选 | 自定义增强 | 0 个节点 | HTTP 200 开放 | — | 重新探测 → |
| cloudflare.com | B2B SaaS | 自定义精选 | 缺失 | 3 个节点 | HTTP 200 开放 | — | 重新探测 → |
| posthog.com | B2B SaaS | 自定义精选 | 缺失 | 2 个节点 | HTTP 200 开放 | — | 重新探测 → |
| clerk.com | B2B SaaS | 自定义精选 | 缺失 | 2 个节点 | HTTP 200 开放 | — | 重新探测 → |
| dub.co | B2B SaaS | 自定义精选 | 缺失 | 2 个节点 | HTTP 200 开放 | — | 重新探测 → |
| cal.com | B2B SaaS | 自定义精选 | 缺失 | 1 个节点 | HTTP 200 开放 | — | 重新探测 → |
| allbirds.com | Shopify D2C | 自动模板 | Shopify 默认 | 0 个节点 | HTTP 200 开放 | UCP 已启用 | 重新探测 → |
| gymshark.com | Shopify D2C | 自动模板 | Shopify 默认 | 0 个节点 | HTTP 200 开放 | UCP 已启用 | 重新探测 → |
| brooklinen.com | Shopify D2C | 自动模板 | Shopify 默认 | 4 个节点 | HTTP 200 开放 | UCP 已启用 | 重新探测 → |
| chubbies.com | Shopify D2C | 自定义精选 | 缺失 | 1 个节点 | HTTP 200 开放 | UCP 已启用 | 重新探测 → |
| ridge.com | Shopify D2C | 自动模板 | 缺失 | 0 个节点 | 两者均 WAF 403 | 不可用 | 重新探测 → |
| cutsclothing.com | Shopify D2C | 缺失 | 缺失 | 2 个节点 | HTTP 200 开放 | UCP 已启用 | 重新探测 → |
| ruggable.com | Shopify D2C | HTML 软 404 | 缺失 | 1 个节点 | HTTP 200 开放 | 不可用 | 重新探测 → |
| trueclassictees.com | Shopify D2C | 自动模板 | Shopify 默认 | 3 个节点 | HTTP 200 开放 | UCP 已启用 | 重新探测 → |
| carawayhome.com | Shopify D2C | 缺失 | 缺失 | 2 个节点 | HTTP 200 开放 | UCP 已启用 | 重新探测 → |
| beardbrand.com | Shopify D2C | 自动模板 | Shopify 默认 | 2 个节点 | HTTP 200 开放 | UCP 已启用 | 重新探测 → |
| siegemedia.com | SEO Agency | 缺失 | 缺失 | 2 个节点 | HTTP 200 开放 | — | 重新探测 → |
| animalz.co | SEO Agency | 缺失 | 缺失 | 0 个节点 | HTTP 200 开放 | — | 重新探测 → |
| omniscientdigital.com | SEO Agency | 缺失 | 缺失 | 1 个节点 | HTTP 200 开放 | — | 重新探测 → |
| singlegrain.com | SEO Agency | 自定义精选 | 缺失 | 3 个节点 · FAQPage | HTTP 200 开放 | — | 重新探测 → |
| directiveconsulting.com | SEO Agency | 自定义精选 | 缺失 | 1 个节点 | HTTP 200 开放 | — | 重新探测 → |
| victorious.com | SEO Agency | 缺失 | 缺失 | 2 个节点 · FAQPage | HTTP 200 开放 | — | 重新探测 → |
| webmechanix.com | SEO Agency | 自动模板 | 缺失 | 5 个节点 | HTTP 200 开放 | — | 重新探测 → |
| klientboost.com | SEO Agency | HTML 软 404 | 缺失 | 0 个节点 | HTTP 200 开放 | — | 重新探测 → |
| powerdigitalmarketing.com | SEO Agency | 自定义精选 | 缺失 | 2 个节点 | HTTP 200 开放 | — | 重新探测 → |
| webfx.com | SEO Agency | 自定义精选 | 缺失 | 3 个节点 | HTTP 200 开放 | — | 重新探测 → |
每个域名是如何被探测和分类的
文章标题:40 域名研究:80% 的 Shopify 商店暴露了 /API/ucp/MCP,0% 暴露了 /agents.md
正文: 这 40 个公共域名中的每一个都通过 HTTPS 直接探测,使用的是与 Verisource 生产扫描器相同的确定性解析器:(1) GET /robots.txt,解析其中针对 GPTBot、OAI-SearchBot、PerplexityBot、ClaudeBot 和 Google-Extended 的指令;(2) 发送带有明确 GPTBot/1.2 和 PerplexityBot/1.0 User-Agent 请求头的首页请求,以捕获 CDN 静默的 HTTP 403 / 429 拦截;(3) GET /llms.txt 和 GET /agents.md,检查是否存在 text/html SPA 软 404,以及 Shopify 默认模板(shop.app/SKILL.md)或 SEO 插件样板内容;(4) 解析首页的 application/ld+json 脚本节点,查找 FAQPage 实体;(5) 在 D2C 电商商店上,对 /api/ucp/mcp 和 /api/mcp 进行 JSON-RPC tools/list 握手测试。
90% 的 DevTools 站点提供 /llms.txt。只有 20% 提供 /agents.md。
在对 10 个开发者基础设施和 B2B SaaS 域名(trigger.dev、inngest.com、turso.tech、tinybird.co、knock.app、workos.com、stytch.com、upstash.com、highlight.io 和 infisical.com)进行的后续实时 HTTP 探测中,10 个中有 9 个(90.0%)提供了有效的 /llms.txt 目录,但只有 10 个中的 2 个(20.0%——tinybird.co 和 infisical.com)发布了自定义的 /agents.md 定价与限制防护文件,且只有 10 个中的 1 个(10.0%——upstash.com)提供了全部 3 个 JSON-LD 支柱。
| 协议 / Schema 信号 | DevTools 队列(N = 10) | 商业影响 |
|---|---|---|
| /llms.txt (HTTP 200) | 90.0% (9 / 10) | 现代 DevTools 中文档链接采用率高 |
| 自定义 /agents.md | 20.0% (2 / 10) | 80% 未对定价层级和速率限制加以防护,易受 AI 幻觉影响 |
| 完整 3 支柱 JSON-LD | 10.0% (1 / 10) | 90% 在根页面上缺少 FAQPage 或 Offer 定价节点 |
关于 2026 AI 搜索就绪度数据集的常见问题
在我们对 40 个公共域名(涵盖 B2B SaaS、Shopify D2C、SEO 代理机构和多地点服务)进行的实时 HTTP 就绪度探测中,50.0%(20/40)提供自定义策划的 /llms.txt 文件,另有 17.5%(7/40)暴露的是自动生成的 Shopify 或 SEO 插件样板内容,7.5%(3/40)返回 HTTP 200 状态的 HTML 软 404,只有 5.0%(2/40——vercel.com 和 linear.app)发布了自定义的 /agents.md 规范。
Shopify 在现代店面中推出了平台级 /api/ucp/mcp 端点和指向 https://shop.app/SKILL.md 的默认 /agents.md 文件,这解释了为什么所探测的 10 个 D2C 商店中有 8 个会在 /api/ucp/mcp 上响应。然而,除非商家通过 templates/agents.md.liquid 或 /pages/ai-facts 覆盖,Shopify 的默认文件省略了品牌特定的免运费阈值、退货窗口和捆绑排除条款。
是的。40 个被探测域名中,零个在根级 /robots.txt 中禁止 GPTBot 或 PerplexityBot,但当使用 GPTBot 或 PerplexityBot User-Agent 请求头发起请求时,5.0%(2/40——ridge.com 和 westerndental.com)在 CDN/WAF 层返回了 HTTP 403 Forbidden。必须同时测试 /robots.txt 和模拟爬虫 User-Agent 的 HTTP 状态码。