文章标题:在 Amazon Bedrock Guardrails 中编写 Denied Topics 的最佳实践
正文: 借助 Amazon Bedrock Guardrails 中的 Denied Topics,你可以用自然语言描述某个内容类别来将其拦截,而护栏会按语义而非关键词把该描述应用到每一个请求上。同样的机制也可能匹配到超出你意图的内容。一个名为 Finance 的主题,本意是让助手避开投资建议,却也会拦截“我的直接存款什么时候到账?”。与主题语义接近的输入可能被误拦,而不只是你原本想拦截的请求。
当 Denied Topics 拦截过多或过少时,原因通常是以下四种编写模式之一:
- 拦截了合法查询的主题。围绕某个学科领域(Finance、Legal、Compensation)而非用户意图构建的主题,可能匹配到语义上接近该领域的查询。这是一种常见的失败模式。
- 漏掉了本应拦截的请求的主题。由关键词列表(“诸如 invest、portfolio、stock 之类的词……”)构建的定义会漏掉使用其他词汇的表述,同时又会误触发于恰好包含这些词的不相关输入。
- 教会模型错误内容的示例。同一个想法的五个改写版本会让主题的边界无人看守,而点名特定国家、产品或公司的示例会把这些实体拉入主题的上下文。
- 相互干扰的主题。重叠的定义会争抢同一个输入,报告匹配结果不一致,并且可能共同拦截任何一个主题单独都不会拦截的输入。
本文余下部分是一份避免这些模式的实用指南。它给出了八项最佳实践,用于把主题描述得足够精确,使护栏拦截你想拦截的内容、放行你不想拦截的内容。
场景:AnyCompany Bank 的客户助手
为了让以下实践有具体依托,我们在全文中使用一个贯穿始终的示例:一家我们称为 AnyCompany Bank 的虚构银行。AnyCompany Bank 距离发布其首个面向客户的 AI 助手还有两周时间,而它的第一版 Denied Topics 策略正在拦截错误的内容。
应用:AnyCompany Bank 的聊天机器人嵌入在 AnyCompany Bank 的移动端和 Web 应用中。它回答有关账户、对账单、转账、银行卡和房贷的问题。对于账户变更、争议申报以及超出其范围的问题,它会转交给人工处理。
必须拦截清单(来自法务与合规部门):
- 个性化投资建议(一条监管红线,因为 AnyCompany Bank 并未通过这一渠道注册为投资顾问)。
- 就针对 AnyCompany Bank 的争议提供法律意见或诉讼指导。
- 内幕交易建议(财务建议中一个特定细分领域,有其自身的监管分量)。
- 如何制造武器的描述(通用安全,与领域无关)。
- 提示注入或越狱尝试(一种不同性质的信号,因为该请求试图覆盖助手自身的指令)。
- 在 AnyCompany Bank 的输出中重复提及特定的竞争对手产品名称。
必须放行清单(助手存在的意义所在):
- 账户余额与对账单问题。
- 转账说明、还清金额报价、托管问题。
- 银行卡管理、欺诈报告(转交人工)、挂失换卡。
- 房贷服务操作,例如贷款修改、宽限和还款计划。
- 一般性金融素养问题(“什么是定期存单?”),以教育而非个性化建议的方式表述。
对照这一目标,AnyCompany Bank 的团队最初起草了四个主题,它们目前都在拦截合法查询:
Finance → 拦截“我的直接存款什么时候到账?”
Legal → 拦截“你能帮我修改我的房贷吗?”
Fraud → 拦截“我的卡在加油站被侧录了,我该怎么办?”
Competitors → 拦截任何提及竞争对手产品的内容,包括客户比较选项的提问
文章标题:在 Amazon Bedrock Guardrails 中编写 Denied Topics 的最佳实践
正文: 这些主题中的每一个都命名了助手所从事的主题领域,而不是银行需要拒绝的意图。解决这个问题正是本文其余部分的内容。接下来的八个部分将逐一探讨这些实践,其中大部分都以一个“回到 AnyCompany Bank”小节作为结尾,展示将该修复应用到这一场景的效果。随后,本文以一个无论你多么遵循这些实践都需要提前规划的限制作为收尾:结果并非完全确定。
注意:Standard 层级中的 Denied Topic 结构。一个主题包含三个部分:名称、定义以及最多五个示例,而 guardrail 会将这三者作为一个整体进行评估,而不是只评估定义。名称最多可包含 100 个字符。定义最多可包含 1,000 个字符,其中 100–300 个字符是实际的最佳区间。每个示例最多可包含 100 个字符,而一个 guardrail 最多可容纳 30 个主题。
最佳实践 1:围绕用户意图而非主题领域来构建主题
这一实践确立了总体框架。最佳实践 2 到 4 依次将其应用到主题的各个部分:名称、定义和示例。
主题拦截合法查询的一个常见原因是,该主题描述的是一个主题领域,而不是用户希望从这次交流中获得什么。同一领域中的两个查询可能承载不同的意图。“我的直接存款什么时候到账?”和“L5 工程师赚多少?”都涉及薪酬,但只有第二个是薪资比较。以领域为框架的主题会抹平这些区别,并可能拦截在语义上接近该领域的查询。而围绕用户意图构建的主题只会匹配存在该意图的查询。
意图是构建框架的视角。为了使其可操作,请以在表层表达该意图的具体动作或内容类型来命名主题,例如一项请求、一项主张或一段生成内容。意图告诉你需要捕捉什么,而动作则为你提供一个 guardrail 可以评估的具体形态。
guardrail 会同时评估主题名称及其定义。当其中任一组成部分命名了一个领域时,该主题的匹配范围就过于宽泛。当两者都命名了表达特定意图的动作时,该主题就是精确的。
指南
- 识别意图。用你自己的话简要说明用户想从助手那里获得、而你希望拒绝的内容,例如个性化推荐、法律意见、私人联系方式或党派性背书。这是诊断步骤,不会逐字出现在主题中。
- 以表达该意图的动作来命名主题。使用描述具体动作或行为的短语,而不是宽泛的学科领域。该短语可以是动作派生名词(Investment Recommendations、Salary Comparisons)、具体行为的名称短语(Colleague Arguments、Passport and Visa Renewal),或动词-ing 形式(Suing for Damages)。详情见最佳实践 2。
- 如果你的主题名称是类别名词(Banking、Compensation、Security、Legal、Finance),则该主题是以领域为框架的。请以表达你真正想要拦截的意图的动作来重命名它。
- 重写你的定义,使其以动作开头。诸如“Asking for X”、“Requests for Y”、“Statements that describe Z”或“Generating W”这类开头通过具体动作来表达意图。避免使用“Related to X”、“Content about Y”或“Anything mentioning Z”这类学科领域式开头。
接下来的几个最佳实践将这一思路应用到 AnyCompany Bank 自己的主题上,并配有具体示例。最佳实践 2 会重命名这些主题,最佳实践 3 则会收紧它们的定义以与之匹配。
最佳实践 2:选择一个可操作的行动导向主题名称
文章标题:在 Amazon Bedrock Guardrails 中编写 Denied Topics 的最佳实践
正文: 主题名称对匹配结果有显著影响,其影响往往超出预期。一个宽泛的类别名称(Finance、Security、Legal)会引导护栏将该主题与这一类别中的词汇关联起来,即便定义试图缩小范围也是如此。一个具体的动作名称(Investment Recommendations、Hacking Instructions、Suing for Damages)则有助于在读取定义之前就缩小范围。
指南
- 优先使用具体的动作或行为短语(2–5 个词)。避免使用单词形式的类别标签。
- 只要短语描述的是具体动作或行为而非宽泛的主题领域,以下形式都可行:动作名词形式:以由活动派生的名词作中心词,例如 Investment Recommendations、Hacking Instructions 或 Election Fraud Claims。具体行为名词短语:指明具体行为的名词短语,例如 Colleague Arguments、Passport and Visa Renewal 或 Underage Self-Statement。动词 -ing 形式:-ing 动词后接宾语,例如 Suing for Damages 或 Requesting Contact Details for Named Individuals。当动作需要借助动词才能表达清楚时,这种形式很有用。
- 动作名词形式:以由活动派生的名词作中心词,例如 Investment Recommendations、Hacking Instructions 或 Election Fraud Claims。
- 具体行为名词短语:指明具体行为的名词短语,例如 Colleague Arguments、Passport and Visa Renewal 或 Underage Self-Statement。
- 动词 -ing 形式:-ing 动词后接宾语,例如 Suing for Damages 或 Requesting Contact Details for Named Individuals。当动作需要借助动词才能表达清楚时,这种形式很有用。
- 把名称大声读出来,问一问它描述的是用户正在做的事情,还是仅仅是用户查询所接近的主题领域。如果名称只是指明了一个主题领域,就重新命名。
- 避免包含宽泛机构标签(Government、Company、Insurance)的名称,除非动作明确针对该机构。机构标签可能产生意外的匹配。例如,一个名为 Government Documents 的主题可能会匹配到提及某个国家名加一份文档的查询,即便该查询实际上涉及公司内部政策。
回到 AnyCompany Bank
AnyCompany Bank 初稿中的一个主题名为 Legal:
这就是“Can you help me modify my mortgage?”被拦截的原因。Mortgage 是法律文书,因此关于它的查询处于 legal 的语义邻域内。在还没动定义之前,重命名就已经解决了一半问题:
Name: Litigation and Non-Servicing Legal Advice
新名称使用了一个由动词派生的名词(litigation),指明了第二个具体行为(non-servicing legal advice),并通过对比明确表明,服务类问题(如修改、宽限和托管)不在该主题范围内。名称本身现在承担了原本只能由定义独自承担的部分工作。
AnyCompany Bank 对 Fraud 主题应用了同样的逻辑,将其重命名为 Fraud Investigation Requests。助手仍应允许客户举报欺诈,这类请求会转交人工处理,但不得自行尝试调查欺诈指控。
经过这三次重命名后,AnyCompany Bank 的主题列表为:
1. Investment Recommendations (was: Finance)
2. Litigation and Non-Servicing Legal Advice (was: Legal)
3. Fraud Investigation Requests (was: Fraud)
最佳实践 3:编写以动作为范围的界定
定义应描述用户对具体对象所做的动作,而不是该动作的总体主题。
指南
Amazon Bedrock Guardrails 中编写 Denied Topics 的最佳实践
- 以动作或内容类型开头。用点明用户正在做什么或生成什么的短语来开启定义。常见有效的开头包括:当主题涵盖用户对特定动作的请求时,使用“Asking for…”、“Requesting…”、“Requests for…”、“Requests to…”、“Seeking…”、“Recommending…”。当主题涵盖用户生成的内容、披露信息或生成的输出时,使用“Statements that…”、“Providing…”、“Generating…”、“Content that includes…”。当主题涵盖特定技术或方法时,使用“Using X to Y”。
- 当主题涵盖用户对特定动作的请求时,使用“Asking for…”、“Requesting…”、“Requests for…”、“Requests to…”、“Seeking…”、“Recommending…”。
- 当主题涵盖用户生成的内容、披露信息或生成的输出时,使用“Statements that…”、“Providing…”、“Generating…”、“Content that includes…”。
- 当主题涵盖特定技术或方法时,使用“Using X to Y”。
- 避免以“Related to X”、“Content about Y”或“Anything mentioning Z”这类学科领域短语开头,这类表述以领域为框架,而非以动作为框架。
- 明确对象。说明用户询问的是什么,使用具体条目而非宽泛类别,例如用“individual stocks, bonds, ETFs, or cryptocurrencies”而非“financial products”。
- 添加区分性细节。如果两个主题共享词汇(例如都涉及“customer”),请为每个定义赋予不同特征,以便护栏能够区分它们。含义相同的定义会导致两个主题相互干扰。
- 保持定义正面表述。描述在范围内的内容。简短的尾部排除项有助于消除歧义。有关排除项有害的情况,请参见最佳实践 8。
- 长度不是目标。更长的定义不一定更好,更长的定义可能增加主题对相邻主题措辞的敏感性。
结构模板
我们推荐以下结构:[动作或内容类型开头] for [具体对象] by [限定约束或目的]。Includes [一或两个子情形]。
回到 AnyCompany Bank
AnyCompany Bank 的第一版主题命名为 Finance,定义与之匹配:
Name: Finance
Definition: Anything related to money, banking, or financial products.
这正是“Where can I find my payoff quote?”被拦截的原因。Payoff 是一个金融术语,quote 涉及金钱,而输入“与”金融领域“相关”,尽管客户的意图——获取一个服务数据——与 AnyCompany Bank 想要拒绝的内容毫无关系。
遵循最佳实践 1,团队将主题重命名为 Investment Recommendations,并调整定义的词汇以匹配,但尚未使其以动作为范围:
Name: Investment Recommendations
Definition: Anything related to investing, personal finance decisions, or securities trading.
尽管名称有所改善,这仍然是以领域为框架的。通识教育(“Explain what a mutual fund is”)、历史金融新闻(“Why did rates rise last quarter?”)和投资组合查看(“Show me my holdings”)都匹配了。助手应当回答所有这些。
团队应用了结构模板,包含动作开头、具体对象、限定约束以及一或两个子情形:
Name: Investment Recommendations
Definition: Asking for a personalized recommendation to buy, sell, or hold specific stocks, bonds, mutual funds, ETFs, or cryptocurrencies for the user's own investment returns. Includes asking whether a specific security is a good investment, requesting portfolio allocation percentages, or asking when to enter or exit a specific position.
文章标题:在 Amazon Bedrock Guardrails 中编写 Denied Topics 的最佳实践
正文: 模板的每一部分都有其特定用途。“Asking for a personalized recommendation to…” 是动作开场语。“Stocks, bonds, mutual funds, ETFs, or cryptocurrencies” 是具体对象。“For the user’s own investment returns” 是限定性约束,用于排除教育性讨论和第三方讨论。“Includes…” 子句列出了两个子情形:针对特定证券的提问,以及关于配置比例的提问。
AnyCompany Bank 将同一模板应用于 Litigation and Non-Servicing Legal Advice 和 Fraud Investigation Requests 这两个主题:
Name: Litigation and Non-Servicing Legal Advice
Definition: Requests for legal counsel, discussions about filing lawsuits, or seeking litigation guidance against AnyCompany Bank or another named party. Includes requests to interpret legal rights, request formal legal opinions, or plan a claim outside of standard loan servicing.
Name: Fraud Investigation Requests
Definition: Asking the assistant to investigate, adjudicate, or resolve a suspected fraud, unauthorized-transaction, or identity-theft case. Fraud reports for routing to a human agent are not in scope.
团队现在有了三个已命名的主题,其定义均以动作为范围。
最佳实践 4:使用边界示例,而非改述
示例教会护栏你的主题边界在哪里。并非每个示例都能同样好地做到这一点。对同一想法的五个改述不会教给护栏任何新东西,而五个精心挑选的示例可以用少得多的定义文本勾勒出主题的轮廓。最有分量的示例是那些位于主题边缘附近的示例,它们足够接近一个看似合理的非匹配项,从而向护栏展示界线应画在哪里。我们称这些为边界示例。一个好的边界示例具有三个属性。第一,它位于主题范围之内。第二,它接近一个看似合理的非匹配项,使用与主题不应匹配的输入相似的词汇或结构。第三,它在子情形、句子形态和词汇上与你其他的示例不同。
指导原则
- 使用全部五个示例,因为五个多样的示例比两个显而易见的示例更有效。
- 覆盖不同的子情形。如果主题涵盖“买入”和“卖出”建议,则两种示例都要包含。
- 覆盖不同的句子形态。包含直接疑问句(What should I buy?)、祈使句(Recommend a stock)和叙述性陈述(I’m considering putting money into…)。
- 包含一个接近主题边界但仍在其内的示例,即一个处于边界地带的匹配版本。
- 不要在示例中包含国家名、产品名、竞争对手名或公司名,除非主题本身就与那个特定实体相关。示例中的命名实体会产生关联,导致主题匹配到提及同一实体的无关查询。
回到 AnyCompany Bank
团队为 Investment Recommendations 编写的首批示例如下:
Examples: Should I buy stocks?
What stock should I buy?
Is this a good stock to purchase?
Which stocks are good buys?
Recommend some stocks
这是同一个问题的五种问法。在测试期间,助手能够可靠地拦截“Should I buy stocks?”。但它放过了“Is it a good time to rotate my portfolio out of equities into bonds?”,而这恰恰是该主题本应捕捉到的那类问题。这些改述挤在主题的一个点上,其他点则无人看守。
重写后的版本将示例分散到各个子情形和句子形态中:
Examples: Should I buy 100 shares of a specific stock before earnings?
Is it a good time to move my portfolio into bonds?
What percentage should I allocate to cryptocurrency?
Should I sell my index fund now or hold?
Recommend three growth stocks for a 5-year horizon
文章标题:在 Amazon Bedrock Guardrails 中编写 Denied Topics 的最佳实践
正文: 这些是五个不同的子案例(特定股票、资产类别转换、配置、卖出时机、成长筛选)和五种不同的句式,全部都在该主题之内。相邻的非匹配项,如“解释一下什么是 ETF”(教育性)和“给我看看我的投资组合报告”(数据检索),与示例差异足够大,护栏不应匹配它们。
团队对 Litigation 和 Non-Servicing Legal Advice 以及 Fraud Investigation Requests 也做了同样的处理。最初的 Litigation 示例都是“我可以起诉吗?”的变体。重写后的集合涵盖了提起诉讼、正式法律意见、集体诉讼咨询、损害赔偿以及权利解释。最初的 Fraud Investigation Requests 示例都是“有人偷了我的钱,我该怎么办?”的变体。重写后的集合涵盖了未经授权扣款调查、信用卡欺诈追踪、交易撤销、身份盗用裁定以及诈骗者追踪。每个重写后的集合都涵盖一个主题内的五个不同子案例。
至此,AnyCompany Bank 的三个主题通过了目前为止编写的每一项测试。还有一个问题只有在助手面对真实流量运行时才会暴露出来。
最佳实践 5:在需要时将定义锚定到特定上下文
有些概念本身就存在歧义,因为同样的词语根据上下文既可以描述匹配行为,也可以描述非匹配行为。在这些情况下,添加一个明确锚点来固定上下文:一个机构场景、一个明确声明的目的,或者一个形式为“仅当 X 和 Y 同时存在时才适用”的双重条件。
指南
- 添加行为发生的物理或机构上下文。对于护照主题,锚定到“在大使馆或领事馆”或“通过官方政府申请流程”。
- 添加目的限定词。对于投资建议主题,锚定到“为了用户自身的投资回报”,以便该主题排除教育性或第三方讨论。
- 当单个锚点不足时使用双重条件:“仅当请求 (1) 明确提到创建广告活动 且 (2) 将个人身份数据列为定位标准时才适用。”
- 锚点应当是正向的(“在 X 处”“为了 Y”),而不是“除了……”或“但不……”。正向锚点描述的是该主题是什么。
- 知道何时不应添加锚点。如果该主题本身已经足够狭窄(一个专门关于“insider trading”的主题,因为该短语本身没有歧义),额外的锚点会引入噪声。还要避免锚定到出现在许多不相关查询中的专有名词(“在印度”“在 Amazon”)。应改为锚定到类别(大使馆、领事馆)。
- 检查主题自身的名称是否重复了有歧义的表面短语。以无害、教育性的方式询问同一概念时,往往会复用那个确切的短语。护栏会将主题名称作为一个独立于定义的信号来读取(见最佳实践 2)。双重条件锚点仍可能输给一个由它试图消歧的术语所构成的名称。
回到 AnyCompany Bank
添加 insider-trading 主题暴露了歧义问题。合规团队希望将 Insider Trading Advice 作为一个独立主题,比一般的 Investment Recommendations 捕获范围更窄、也更严重。第一版草稿:
Definition: Asking whether to buy or sell a specific security based on inside information.
这匹配了预期案例:客户基于私人信息请求交易。它也匹配了团队没有预料到的东西:关于 insider trading 是什么的教育性查询,以问题的形式表述。“SEC 如何定义 insider trading?”被阻止了,因为它“询问了 insider trading”。
团队添加了一个双重锚点:
Name: Insider Trading Advice
Definition: Asking whether to buy or sell a specific security based on non-public material information about the issuing company, or seeking a recommendation to trade ahead of a known upcoming public announcement. Applies only when the request (1) names a specific security AND (2) describes a specific piece of non-public information the user claims to possess.
这两个条件本应排除教育类查询:它们不满足条件 2,因为没有描述用户个人掌握的非公开信息。当团队用“SEC 如何定义内幕交易?”针对这个定义进行测试时,它有时仍然会被拦截。锚点不是问题所在。问题出在主题名称:它重复了查询所使用的确切短语。Guardrail 会把名称当作独立于定义的信号来权衡,这与最佳实践 2 在其他地方描述的效应相同。一个双条件锚点可以指定正确的条件,却仍然会输给一个由它试图消歧的术语构成的名称。
团队保留了锚点,改为重命名主题:
Name: Trading on Non-Public Information
重命名后,教育类查询能够稳定通过,而那些真实示例——即点名具体证券并描述具体非公开信息的示例——仍然会被拦截。
该定义比最佳实践 3 中 100–300 字符的目标更长,这是有意为之。这里的歧义使额外文本成为合理。主题本身本质上很微妙,因此定义必须承担更多工作。
最佳实践 6:管理主题重叠和主题数量
Guardrail 会一起评估其主题,而不是逐个评估。当两个主题含义相似时,它们会相互干扰。这会变得难以预测 Guardrail 将哪个主题报告为匹配项,而且组合效应可能会拦截任一主题单独都不会拦截的合法输入。主题之间的重叠通常是编写良好的主题产生错误结果的原因。问题不在于那个主题,而在于相邻的主题。
指南
- 在部署前审查整个主题集是否重叠。两个定义相似的主题即使各自单独没有问题,也会造成干扰。对于每个新主题,都要询问其定义是否与现有主题共享词汇或对象。
- 请注意,主题数量会影响干扰。随着单个 Guardrail 中主题数量的增长,主题之间发生干扰的概率也会增长,尤其是当多个主题共享词汇或覆盖相关领域时。如果你观察到主题之间相互干扰,而定义本身看起来正确,请考虑减少主题之间的重叠,或将主题分布到多个 Guardrail 中。
- 在单个 Guardrail 内优先考虑语义多样性。如果你有多个围绕相关主题的主题(例如三个与金融相邻的主题),请考虑它们应属于同一个 Guardrail,还是应该分开。
- 当两个主题重叠时,优先合并而不是拆分。合并两个定义共享对象和动作的主题,比试图在它们之间划出狭窄边界更安全。
- 当出现新的用例时,优先扩展现有主题的示例,而不是添加一个近乎重复的新主题。添加新主题会改变 Guardrail 解释整个主题集的方式,而扩展主题的示例不会。
- 在列表中将语义相似的主题分开。当两个措辞相似的主题相邻出现时,Guardrail 更有可能将输入归因于它最近看到的那个。交错排列列表,用一个不相关的主题将相关主题隔开。
回到 AnyCompany Bank
文章标题:在 Amazon Bedrock Guardrails 中编写 Denied Topics 的最佳实践
正文: 假设在流程后期,AnyCompany Bank 的合规团队提议在已定义的 Investment Recommendations 之外,再增加一个范围更广的 Financial Advice 主题。其直觉是,范围更广的主题能够捕捉到特定主题遗漏的请求。两个主题都各自起草了定义:
Topic A:
Name: Financial Advice
Definition: Requests for advice about money, investing, or personal finance decisions.
Topic B:
Name: Investment Recommendations
Definition: Asking for a personalized recommendation to buy, sell, or hold specific securities...
当团队测试“Should I put more into my 401(k)?”时,重叠就变得显而易见了。取决于调用方在 API 请求中对主题的排序方式,Topic A、Topic B 或两者都会报告匹配,而在某些排序下,防护栏会阻止该输入。
AnyCompany Bank 进行了合并。Financial Advice 被移除,由 Investment Recommendations 承担具体的动作。合并之后,依赖于排序的差异消失了。无论主题在 API 调用中处于什么位置,相同的输入都会产生相同的判定结果,这是消除重叠带来的主要收益。
然而,仅靠合并并不能完全解决 401(k) 查询本身。因为“Should I put more into my 401(k)?”与真实的交易建议共享“Should I put more…”这一句式框架,Investment Recommendations 在表面上仍然会匹配到它。这是一个合并本身无法修复的残留边界情况。这正是最佳实践 8 所警告的那种结构上相似的匹配,尾部排除无法可靠地将其覆盖。
团队还对剩余的主题进行了重新排序。原始顺序是:
1. Investment Recommendations
2. Trading on Non-Public Information
3. Litigation and Non-Servicing Legal Advice
4. Fraud Investigation Requests
主题 1 和主题 2 都涉及证券并涵盖相关的金融行为,因此相邻放置会给边界输入的归因带来歧义。团队将它们交错排列:
1. Investment Recommendations
2. Litigation and Non-Servicing Legal Advice
3. Trading on Non-Public Information
4. Fraud Investigation Requests
Litigation and Non-Servicing Legal Advice 现在位于两个与证券相邻的主题之间。像“Should I trade my Example Corp shares based on rumor?”这样的边界问题,现在会更一致地归因于 Trading on Non-Public Information,而不是在 Trading on Non-Public Information 和 Investment Recommendations 之间来回摇摆。
最佳实践 7:为任务选用正确的策略
当你需要执行的规则特定于你的业务,并且可以表述为对内容的简短描述时,Denied Topics 就是正确的工具。可以把它想象成一条监管红线、一项政策承诺、一种法律风险或一个范围边界,而不是一个通用的安全类别或一份固定的词语列表。Guardrails 提供了多种策略,它们都以阻止特定内容为共同目标,但每一种都是为不同类型的信号而设计的。将 Denied Topics 用于另一种策略能够原生处理的类别,往往会导致阻止过多或过少、使配置复杂化,并产生更差的结果。为 Content Filter 已经覆盖的类别精心编写一个主题,通常不如直接对该类别使用 Content Filter 有效。
请注意,在同一个防护栏中启用多个策略会产生额外成本,因为每个启用的策略都会在每次请求时被评估。当你将 Denied Topics 与 Content Filter 或 Prompt Attack 组合使用时,请为合并后的成本做好规划。
各策略的适用场景
| 你想捕获的内容 | 正确的策略 | 常见错误 |
|---|---|---|
| 宽泛的安全类别(仇恨、侮辱、暴力、性、不当行为) | Content Filter | 一个名为 Hate Speech 或 Violence 的 Denied Topics 主题 |
| 提示词注入、越狱尝试 | Prompt Attack | 一个名为 Jailbreak 或 Instruction Override 的 Denied Topics 主题 |
| 需要持续屏蔽的特定单词、短语或产品名称 | Word Filter | 一个名为 Blocked Terms 或 Competitor Names 的 Denied Topics 主题 |
| 个人标识符(姓名、电话号码、SSN、信用卡) | Sensitive Information filter | 一个名为 PII Detection 的 Denied Topics 主题 |
| 特定于你的业务或策略的自定义内容类别 | Denied Topics | (这是正确的用法) |
| 同时需要类似 Content Filter 覆盖范围的自定义内容类别 | 将 Denied Topics 与 Content Filter 组合使用 | 试图仅凭 Denied Topics 复现 Content Filter 的功能 |
回到 AnyCompany Bank
回顾 AnyCompany Bank 的必须拦截清单(来自文章开头的场景),六项中有三项其实根本不是 Denied Topics。它们属于 Guardrails 已经原生提供的策略。
- “描述如何制造武器”属于通用安全类别,而非银行特定策略。它移至 Content Filter → VIOLENCE,强度为 HIGH。
- “重复提及特定命名的竞品产品”属于精确字符串拦截,而非语义匹配。它移至 Word Filter,将竞品名称作为字面条目。(AnyCompany Bank 的初稿主题清单确实为此包含了一个名为 Competitors 的主题。该主题已被删除,因为 Denied Topics 评估的是含义,会匹配到竞品名称的普通提及,却会漏掉改述后的表述。)
- “提示词注入或越狱尝试”完全是另一种信号。用户是在试图覆盖助手自身的指令,而不是在询问某个领域。它移至 Prompt Attack。
经过这次清理,AnyCompany Bank 的护栏配置组合了多个策略:
Content Filter:
HATE strength: HIGH
INSULTS strength: HIGH
SEXUAL strength: HIGH
VIOLENCE strength: HIGH
MISCONDUCT strength: HIGH
Prompt Attack: enabled
Word Filter:
Custom words: [list of competitor product names]
Denied Topics:
1. Investment Recommendations
2. Litigation and Non-Servicing Legal Advice
3. Trading on Non-Public Information
4. Fraud Investigation Requests
Denied Topics 仅承载其他策略无法表达的四条银行特定规则。
最佳实践 8:避免这些反模式
以下模式即使定义的其他部分写得很好,也会导致主题拦截错误的输入。请避免它们。其中大多数是前面最佳实践中已给出指导的具体情形,因此下面每一条都会指回完整论证所在之处。
- 将定义写成对护栏的指令(“屏蔽所有与……相关的内容”),而不是对主题的描述。参见最佳实践 3。
- 主要用定义排除了什么(“除……之外的所有内容”)来框定定义,而不是它是什么。参见最佳实践 3。
- 列出触发词(“包含……等词语的问题”),而不是描述概念。参见最佳实践 1 和最佳实践 3。
- 使用 Denied Topics 来屏蔽特定单词、短语或实体类型,例如竞品名称或人名。请改用 Word Filter 或 Sensitive Information filter。参见最佳实践 7。
- 在示例中命名国家、产品、竞品或公司,除非该主题本质上就是关于该实体的。参见最佳实践 4。
- 编写改述定义的示例,而不是标记其边界。参见最佳实践 4。
- 编写模糊的定义并依赖示例来承载含义。参见最佳实践 3 和最佳实践 4。
尾部排除项:一个注意事项和一份通用指南
简短的后置排除并不是应对所有误拒的通用解法。它能可靠地排除与主题类别完全不同的查询,例如不同的意图、不同的提问者或不同类型的内容。而当一条良性查询的措辞几乎与定义中的正向表述一模一样、只是针对的对象不同时,它就比较不可靠了。在这种情况下,排除条件要与它高度相似的措辞相竞争,而匹配往往胜出。
对于这种结构相似的情况,请优先采用以下三种替代方案之一:
- 双条件锚点,把容易混淆的情形直接写进定义中(见最佳实践 5)。
- 重命名,把区分要素提升到主题名称本身,让这道关口在阅读定义之前就可见(见最佳实践 2)。
- 上游的意图路由步骤,在 Guardrails 看到该情形之前就把这种模棱两可的情况交给专门的流程处理。
对于其他所有情况,后置排除仍然是正确的首选做法。只有当测试表明排除条件败给了几乎相同的匹配时,才去采用这三种方案之一。
局限:结果并非完全确定
即便是遵循本文所有实践的护栏,也不可能对每一个可能的输入都产生完全确定的结果。Denied Topics 借助语言模型来理解含义,而语言模型的评估本身带有一些固有方差。你应当为两种形式的方差做好准备。
重复完全相同的请求时的方差。把相同的输入连续两次发送给相同的护栏配置,在极少数情况下可能产生不同的结果。同样的字符输入,同样的主题列表生效,一切都相同,然而一次调用被拦截,下一次却通过。对于大多数输入,以及遵循前述指导的主题而言,这种情况不会发生,结果在重复调用中是稳定的。例外是边界输入,其含义贴近某个主题的语义边缘。正是这些输入容易在重复时发生翻转。主题定义得越精确(动作限定、具体对象、清晰锚点、边界示例),落入这一边界区域的输入就越少。
主题列表变化时的方差。护栏在每次请求时都会将全部主题与输入一起评估。主题列表的变化,例如新增一个主题、移除一个主题或重排相同主题的顺序,可能改变此前已测试输入的结果。在一种主题列表下被拦截的输入,在另一种列表下可能会通过。当两个主题含义重叠或某个主题定义过于宽泛时,这种效应更常发生。当列表中的每个主题都有具体、动作限定的定义和清晰的边界示例时,这种效应更少发生。应用本文中的实践能显著减少这两种形式的方差。
如何为此做规划
- 不要把单次评估当作正确性的证明。对于重要的输入,要多次测试,并把它作为一个小型代表性评估集的一部分来测试,而不是孤立地测试。
- 维护一个包含边界情况的评估集。这些是在你做出改动时最可能发生变化的输入。要包含清晰匹配、清晰不匹配和接近边界三类情况的混合。
- 在主题集发生变化后重新测试。新增主题、重命名主题、调整定义或重排列表顺序,都可能改变此前表现符合预期的输入的结果。
- 对于正确性至关重要的输入,不要仅依赖 Denied Topics。将它与其他策略(Content Filter、Prompt Attack、Sensitive Information filter)组合使用,使任何单一策略都不会成为高风险决策的唯一防线。
- 在产品设计上让错误拦截可恢复。当主题涉及高风险时,将被拦截的输入转交人工处理;给用户提供重新表述的途径;并记录带有原因码的拦截日志,以便你随时间审计和改进主题集。
注意:本文中所有通过或失败的判断都已在 Amazon Bedrock Guardrails(Standard 层级)上端到端测试过,每个查询都重复多次以确认结果稳定。
关键要点
回顾一下,本文中的实践可以归结为八点:
- 围绕用户的意图来构建每个主题,并以具体动作来表达。先诊断用户想要得到什么,然后以表达该意图的动作来命名主题,而不是以查询所接近的学科领域来命名。用 “Investment Recommendations”,而不是 “Finance”。
- 编写定义时要描述该主题是什么。使用动作或内容类型开头,指明具体对象,添加限定性约束,并包含一到两个子案例。
- 最多使用五个边界示例。覆盖不同的子案例和句式。不要改写定义,并避免出现国家、产品和竞争对手名称。
- 用上下文或目的为模糊主题提供锚点。使用机构场景(“at an embassy”)或目的限定语(“for the user’s own investment returns”)。当单一锚点不够时,使用双重条件。
- 管理重叠和主题数量。合并共享词汇的主题,在列表中将语义相似的主题分开,并在更改后重新测试。
- 为任务选用正确的策略。Denied Topics 适用于自定义的、业务特定的主题。Content Filter、Word Filter、Sensitive Information 和 Prompt Attack 覆盖各自设计针对的类别。
- 避免七种反模式。用指令代替描述、仅用否定式表述、关键词列表、捕获实体、在示例中使用命名实体、仅改写的示例,以及占位符定义,都会产生阻止错误输入的主题。
- 为结果并非完全确定这一事实做好规划。保留一个边界评估集,在每次更改后重新测试,并设计产品使错误拦截可恢复。
结论
Denied Topics 是一个强大的策略。借助它,你可以在简短的自然语言定义中描述一个定制的内容类别,而无需训练分类器或手工编写正则表达式。这种能力取决于以护栏读取类别的方式来描述它:即用户的意图,以针对具体对象的具体动作来表达,而不是作为学科领域。把框架搭对,本文中的其余实践,如命名、定义、示例、锚点、重叠管理和策略选择,就会自然到位。
要在你自己的应用中应用这一点:
- 审计你现有的主题。对每个主题,问一问名称描述的是动作还是学科领域。为描述学科领域的主题重命名。
- 按模板重写每个定义:[动作或内容类型开头] for [具体对象] by [限定性约束或目的]。Includes [一到两个子案例]。
- 将每个非主题信号移到正确的策略。将通用安全交给 Content Filter,将特定字符串交给 Word Filter,将标识符交给 Sensitive Information 过滤器,将越狱尝试交给 Prompt Attack。
- 构建一个小型评估集,既包含明显的匹配项,也包含从真实流量中提取的接近边界的非匹配项。在每次更改护栏后重新测试。
要开始使用,请访问 Amazon Bedrock Guardrails 控制台和 Amazon Bedrock Guardrails 文档,获取完整的策略参考和 API 详情,包括 CreateGuardrail 和 ApplyGuardrail。