Newshot

为 Amazon Aurora PostgreSQL 设计负责任的 AI 控制措施

AI summary

本文介绍如何将 AWS 负责任 AI(RAI)的八个维度映射到 Aurora PostgreSQL 的能力,并以基于 RAG 的客户支持聊天机器人为参考用例,深入讲解可解释性维度的设计模式。本篇文章只实现可解释性这一个维度,属于系列文章的第一部分。借助 Aurora 原生的 Aurora ML 能力,可以更简便地落地负责任的 AI。

Translation(model translation, not the source's own text)

为 Amazon Aurora PostgreSQL 设计负责任的 AI 控制措施

一个查询存储在 Amazon Aurora PostgreSQL-Compatible Edition 中的历史工单和知识库文章的客户支持聊天机器人,可以快速提供具备上下文感知的答案。然而,它也在隐私、准确性、安全性和治理方面带来了挑战,尤其是当底层数据包含敏感的客户信息时。在本文中,我们将八项 AWS 负责任 AI(RAI)维度映射到 Aurora PostgreSQL 的能力上。随后,我们以基于检索增强生成(RAG)的客户支持聊天机器人为参考用例,详细讲解可解释性维度的设计模式。本文深入实现其中一个维度——可解释性。请将其视为系列文章的第 1 部分,而非全部八个维度的完整构建。

Amazon Aurora PostgreSQL-Compatible Edition 通过其原生 Aurora Machine Learning(Aurora ML)能力,使负责任 AI 的落地实施更加简便。借助 Aurora ML,你可以直接在 SQL 中调用 Amazon SageMaker 端点和 Amazon Bedrock 基础模型,无需数据迁移、自定义的提取、转换和加载(ETL)管道,也无需复杂的集成。本文使用 Aurora ML 从 SQL 生成向量嵌入,将嵌入管道保留在数据库层内部。

AWS 定义了八项核心负责任 AI 维度,通过 AWS Well-Architected Responsible AI Lens、Amazon Bedrock Guardrails 和《负责任使用 AI 指南》发布。这些维度(公平性、可解释性、隐私与安全、安全性、可控性、真实性与稳健性、治理、透明度)为评估和实施可信 AI 系统提供了结构化框架。

用例概述

客户支持系统往往难以在保持隐私和合规的同时提供准确、具备上下文感知的响应。设想一个构建在 Amazon Aurora PostgreSQL 之上的客户支持聊天机器人,它使用带 pgvector 嵌入的 RAG、Amazon Bedrock 模型推理以及 AWS 负责任 AI 防护措施,来提供有依据、可解释的响应。

客户可以提出诸如“为什么我上个月的账单这么高?”或“我最近的订单在哪里?”之类的问题,并获得带有引用的准确答案,同时敏感数据通过个人身份信息(PII)脱敏和访问控制而保持隐藏。

将 AWS 负责任 AI 维度映射到 Aurora PostgreSQL

下表将八项 AWS 负责任 AI 维度映射到构建在 Amazon Aurora PostgreSQL-Compatible Edition 上的客户支持聊天机器人的实际实施策略。它重点展示了数据库功能、AWS AI 服务和治理控制如何协同工作,以提供一个可信、安全且可解释的基于 RAG 的聊天机器人。

RAI 维度含义实现方法关键 PostgreSQL / Aurora 功能主要 AWS 服务 / 工具
1. 公平性聊天机器人应不论语言、地区或客户画像,都提供同等质量的回复使用多样化支持查询进行偏见测试。将人口统计信息与嵌入解耦。元数据过滤与多语言测试。pgvector、JSONB 元数据、SQL 过滤、视图Amazon Bedrock Model Evaluation、Amazon SageMaker Clarify
2. 可解释性用户和支持团队应知道聊天机器人为何给出特定答案记录检索到的块、相似度分数和引用。带来源归因的 RAG 追踪。完整交互日志。chat_interactions 表、数组列、JSONB 日志、pgvector 相似度Amazon Bedrock Knowledge Bases、Amazon Bedrock InvokeModel
3. 隐私与安全保护工单中的客户 PII,例如姓名、电话和订单详情嵌入前对 PII 脱敏。行级安全(RLS)、加密、IAM 认证、RBAC 和匿名化。行级安全、pgcrypto、角色、策略Amazon Bedrock Guardrails、AWS KMS、Amazon Comprehend、AWS IAM
4. 安全性帮助防止有害、有毒或不适当的回复内容过滤器、拒绝主题、提示注入防护、速率限制和审核。SQL 函数、交互日志Amazon Bedrock Guardrails
5. 可控性引导聊天机器人行为并升级到人工的能力人在回路中的升级、反馈表、功能标志、提示控制和终止开关。chat_feedback 表、升级表、触发器Amazon Bedrock Guardrails、Amazon CloudWatch、AWS CloudTrail
6. 真实性与稳健性验证回复准确且基于支持数据,避免幻觉带相似度阈值的 RAG 接地。版本化文档和验证检查。pgvector 类型化列、CHECK 约束、触发器Amazon Bedrock Guardrails、Amazon Bedrock Model Evaluation
7. 治理维护聊天机器人决策的审计追踪和问责带保留策略的审计日志。模型版本跟踪和 Amazon S3 归档。pgaudit、pg_cron、JSONB 模型元数据AWS Audit Manager、AWS CloudTrail
8. 透明性明确告知用户正在与 AI 交互,并展示数据来源Powered-by-AI 声明、引用、隐私声明和来源说明。SQL 视图、交互日志Amazon Bedrock Knowledge Bases、AWS AI Service Cards

注意:这些是示例方法,可能因用例而异。

解决方案概述

此参考架构展示了负责任 AI 控制措施如何映射到 Amazon Aurora PostgreSQL-Compatible Edition 上基于 RAG 的聊天机器人的每个组件。

摄取管道对支持工单、FAQ 和产品文档中的 PII 进行脱敏,然后将其转换为向量嵌入。当用户提交查询时,AWS Lambda 在 Aurora PostgreSQL 上运行语义搜索,应用 Amazon Bedrock Guardrails 以实现隐私和接地,将受保护的上下文发送到 Amazon Bedrock 基础模型(FM),并记录每次交互以实现可解释性和治理。

Lambda 将回复接地于企业数据,对 PII 进行脱敏并应用行级安全(RLS)以保护隐私,记录引用和交互日志以实现可解释性,并写入审计记录以实现治理。

何时构建此方案 versus 使用托管服务:Amazon Bedrock Knowledge Bases 提供带引用的内置 RAG,当默认检索和引用行为满足您的需求时,它是更简单的选择。当您需要将来源信息存储在您自己的 schema 中时,请构建本文中的自定义日志设计。该来源信息包括检索到的来源 versus 引用的来源、相似度分数和 guardrail 跟踪,您可以使用 SQL 查询并按照您自己的策略保留。

下图展示了该解决方案的端到端架构,包括数据摄取流程(左侧)、查询与响应流程(中间),以及每个阶段应用的责任 AI 控制措施(中间与右侧)。

架构图显示用户问题通过 API Gateway 流入 VPC 内的 Lambda。Lambda 使用 Aurora ML 与 Titan Text Embeddings 将问题转换为向量,在 Aurora PostgreSQL 中执行 pgvector 相似度搜索,将问题与检索到的上下文发送至 Amazon Bedrock 进行护栏检查与基于事实的答案生成,并将交互记录写入 Aurora。辅助路径显示审计导出至 Amazon S3,日志写入 CloudWatch 与 CloudTrail。
架构图显示用户问题通过 API Gateway 流入 VPC 内的 Lambda。Lambda 使用 Aurora ML 与 Titan Text Embeddings 将问题转换为向量,在 Aurora PostgreSQL 中执行 pgvector 相似度搜索,将问题与检索到的上下文发送至 Amazon Bedrock 进行护栏检查与基于事实的答案生成,并将交互记录写入 Aurora。辅助路径显示审计导出至 Amazon S3,日志写入 CloudWatch 与 CloudTrail。

图 1:在 Amazon Aurora PostgreSQL 上运行、具备责任 AI 控制的 RAG 客服聊天机器人架构

数据摄取

一条摄取流水线在完成 PII 脱敏后,将历史支持工单、FAQ 和产品文档加载到 Amazon Aurora PostgreSQL 中,并使用 pgvector 和 aws_ml 扩展进行向量操作与 Aurora ML 集成。

Aurora ML 的 aws_bedrock.invoke_model_get_embeddings 函数将文本转换为 Amazon Titan Text Embeddings V2 向量(1,024 维),并由 pgvector 存储。

Aurora PostgreSQL 既作为结构化客户数据的关系型存储,也作为用于语义搜索的向量数据库。

查询与响应流程

当用户提问时,聊天机器人按以下步骤执行(见图 1):

  • 用户通过 HTTPS 向 Amazon API Gateway 发送自然语言问题。
  • API Gateway 调用 AWS Lambda。
  • 将问题转换为向量。Lambda 使用 Amazon Titan Text Embeddings V2 调用 Aurora ML 的 aws_bedrock.invoke_model_get_embeddings 函数。这必须与嵌入知识库所用的模型相同,以便问题与文档都能生成可比较的 1,024 维向量。
  • 执行相似度搜索。Aurora PostgreSQL 使用 pgvector 余弦距离运算符将问题向量与已存储的知识向量进行比较,并返回最相关的文本块及其相似度分数。行级安全(Row-Level Security)将结果限制为当前租户。
  • 构建增强提示词。Lambda 将用户问题与检索到的文本块组合,并为每个文本块标注 [Source N]。这使模型获得了来自您的数据库、原本无法获得的知识。
  • 生成有依据的答案。Lambda 将提示词发送至 Amazon Bedrock。护栏检查输入内容(内容过滤器、拒绝主题、PII),基础模型基于检索到的文本块撰写答案,上下文依据性检查确认答案得到了这些来源的支持。
  • 记录交互以供可解释性。Lambda 将完整交互写入 chat_interactions 表:问题、检索到的文本块 ID、相似度分数、实际引用的来源、护栏追踪记录以及模型 ID。
  • Lambda 将答案及其来源引用返回给用户。

辅助操作与每次请求分开运行:

  • 摄取:文档嵌入在内容加载时创建一次(参见数据摄取)。
  • 保留:pg_cron 将较早的交互记录归档到 Amazon Simple Storage Service(Amazon S3)。
  • 监控:Lambda 将日志和指标发送至 Amazon CloudWatch,AWS CloudTrail 记录 API 活动以供审计。

前提条件

开始之前,请确保具备以下条件:

  • 一个已启用 pgvector 扩展的 Amazon Aurora PostgreSQL 集群。HNSW 索引和迭代索引扫描需要较新的 pgvector 版本,而 Aurora ML 与 Amazon Bedrock 模型支持分别独立版本化。请查阅 Aurora ML、pgvector 与 Bedrock 文档了解当前最低版本,而不是固定绑定到某个特定版本。
  • 在集群上启用了 aws_ml 扩展(CREATE EXTENSION IF NOT EXISTS aws_ml CASCADE),并附加了一个 AWS Identity and Access Management (IAM) 角色,授予 bedrock:InvokeModel 权限。Aurora ML 在集群所在的 Region 调用 Bedrock。
  • 在集群上启用了 aws_s3 扩展(CREATE EXTENSION IF NOT EXISTS aws_s3 CASCADE),并附加了一个用于 s3Export 功能的 IAM 角色,以便保留任务可以导出到 Amazon S3。
  • Amazon Bedrock 访问权限,使用 Amazon Titan Text Embeddings V2(amazon.titan-embed-text-v2:0)生成嵌入,并使用一个支持 Bedrock Converse API 的基础模型生成答案。模型可用性和推荐版本会随时间变化,因此请从 Supported foundation models in Amazon Bedrock 中选择当前模型。较新的模型通过跨区域推理配置文件 ID 调用。
  • 为 PII 保护、内容过滤和上下文基础(contextual grounding)配置的 Amazon Bedrock Guardrails(在 Guardrail 配置中启用 contextual grounding 策略)。
  • 具有适当权限的 IAM 角色,用于 Amazon Bedrock、Lambda 和 Aurora PostgreSQL。
  • 一个自定义集群参数组,将 pgaudit 和 pg_cron 添加到现有的 shared_preload_libraries 值中(追加而不是替换,以保留 pg_stat_statements 等默认值。这需要重启集群)。将 cron.database_name 设置为你的目标数据库。
  • 基本熟悉 PostgreSQL、SQL 和 Python。

注意:此处列出的先决条件侧重于数据库层。你的应用层(例如 AWS Lambda、Amazon API Gateway 和聊天 UI)是独立的,取决于你的部署架构。

Explainability 维度的设计模式

本节介绍数据库层设计模式,使每一个 AI 生成的响应都可追溯,从用户查询,经过检索和护栏评估,到最终答案及其引用。

步骤 1:设置数据库 schema

创建用于客户数据、聊天会话、交互日志和反馈的核心表:

首先创建你需要的 schema 和表。每张表对应一个特定的 Responsible AI 维度:


        CREATE SCHEMA IF NOT EXISTS rai_postgresql;
      

customers 表存储用于租户感知访问控制的配置文件:


        CREATE TABLE rai_postgresql.customers (
    customer_id  UUID PRIMARY KEY DEFAULT gen_random_uuid(),
    full_name    VARCHAR(150) NOT NULL,
    email        VARCHAR(255) UNIQUE NOT NULL,
    phone        VARCHAR(20),
    created_at   TIMESTAMP WITH TIME ZONE DEFAULT NOW(),
    is_active    BOOLEAN DEFAULT TRUE,
    metadata     JSONB DEFAULT '{}'
);
      

chat_interactions 表是 Explainability 实现的核心。它记录每一个查询-响应周期,包含完整的 RAG 来源信息,包括检索到的 chunk ID、相似度分数、引用来源与检索来源的对比、护栏追踪以及所使用的模型:

文章标题:为 Amazon Aurora PostgreSQL 设计负责任的 AI 控制措施

正文:


        CREATE TABLE rai_postgresql.chat_interactions (
    interaction_id        UUID PRIMARY KEY DEFAULT gen_random_uuid(),
    session_id            UUID NOT NULL,
    customer_id           UUID NOT NULL REFERENCES rai_postgresql.customers(customer_id),
    turn_number           INTEGER NOT NULL DEFAULT 1,
    request_text          TEXT NOT NULL,
    request_timestamp     TIMESTAMP WITH TIME ZONE DEFAULT NOW(),
    response_text         TEXT,
    response_timestamp    TIMESTAMP WITH TIME ZONE,
    response_latency_ms   INTEGER,
    intent                VARCHAR(100),
    confidence_score      NUMERIC(5, 4),
    -- Explainability columns
    retrieved_chunk_ids   UUID[],          -- IDs of chunks returned by pgvector
    similarity_scores     NUMERIC[],       -- cosine similarity per chunk
    citations             JSONB,           -- cited vs. all-retrieved sources
    guardrail_assessment  JSONB,           -- full Guardrail trace
    model_id              VARCHAR(100),    -- Bedrock model used
    guardrail_version     VARCHAR(20)      -- Guardrail version applied
);
      

由于 chat_interactions 存储了原始的 request_text 和 response_text,因此要像保护源数据一样保护它:在 INSERT 之前对 PII 进行脱敏(复用摄取时的 guardrail),或用 pgcrypto 加密这些列,并对日志表应用行级安全(Row-Level Security),使各租户无法读取彼此的交互记录。记录未受保护的客户内容,会削弱本设计所要展示的隐私与安全控制。

chat_feedback 表记录用户对聊天机器人回复的评分和评论,这支撑了可控性(Controllability)维度。ON DELETE CASCADE 子句确保 90 天保留期的清理操作不会因外键冲突而失败:


        CREATE TABLE rai_postgresql.chat_feedback (
    feedback_id     UUID PRIMARY KEY DEFAULT gen_random_uuid(),
    interaction_id  UUID NOT NULL
        REFERENCES rai_postgresql.chat_interactions(interaction_id)
        ON DELETE CASCADE,
    customer_id     UUID NOT NULL REFERENCES rai_postgresql.customers(customer_id),
    rating          SMALLINT NOT NULL CHECK (rating BETWEEN 1 AND 5),
    feedback_text   TEXT,
    created_at      TIMESTAMP WITH TIME ZONE DEFAULT NOW()
);
      

第 2 步:使用 pgvector 和 Aurora ML 准备知识库

创建带有向量嵌入、租户隔离和 Aurora ML 集成的检索层:


        CREATE EXTENSION IF NOT EXISTS vector;
CREATE EXTENSION IF NOT EXISTS aws_ml CASCADE;

CREATE TABLE rai_postgresql.knowledge_chunks (
    chunk_id    UUID PRIMARY KEY DEFAULT gen_random_uuid(),
    ticket_id   UUID NOT NULL,
    content     TEXT NOT NULL,
    embedding   VECTOR(1024),       -- Amazon Titan Text Embeddings V2 (default 1024)
    metadata    JSONB,              -- source, date, category, product
    tenant_id   UUID,
    created_at  TIMESTAMP DEFAULT NOW()
);
      

创建 HNSW 索引以支持快速的近似最近邻搜索:


        -- HNSW index for approximate nearest neighbor search
CREATE INDEX idx_chunks_embedding ON rai_postgresql.knowledge_chunks
USING hnsw (embedding vector_cosine_ops);
      

通过行级安全(Row-Level Security)强制执行租户隔离,使向量搜索结果在数据离开数据库之前就被限定在当前租户范围内:


        -- Row-Level Security for tenant isolation (Privacy & Security)
-- FORCE RLS, non-owner role, safe current_setting
ALTER TABLE rai_postgresql.knowledge_chunks ENABLE ROW LEVEL SECURITY;
ALTER TABLE rai_postgresql.knowledge_chunks FORCE ROW LEVEL SECURITY;

CREATE ROLE app_user;
GRANT USAGE ON SCHEMA rai_postgresql TO app_user;
GRANT SELECT ON rai_postgresql.knowledge_chunks TO app_user;

CREATE POLICY tenant_isolation ON rai_postgresql.knowledge_chunks
USING (
    current_setting('app.current_tenant', true) IS NOT NULL
    AND tenant_id = current_setting('app.current_tenant', true)::uuid
);
      

使用 Aurora ML 直接从 SQL 生成向量嵌入,将嵌入管道保留在数据库层内:


        -- Generate embeddings using Aurora ML
-- No Lambda/boto3 needed for embeddings --- runs inside the database
UPDATE rai_postgresql.knowledge_chunks
SET embedding = aws_bedrock.invoke_model_get_embeddings(
    'amazon.titan-embed-text-v2:0',    -- model_id
    'application/json',                -- content_type
    'embedding',                       -- json_key to extract
    json_build_object('inputText', content)::text    -- model_input
)::vector
WHERE embedding IS NULL;
      

在将数据插入知识库之前,务必先对 PII 进行脱敏。使用 Amazon Bedrock Guardrails(ApplyGuardrail API)或 Amazon Comprehend(detect_pii_entities API)在摄取管道中识别并掩蔽 PII,如下例所示:


        # Example: Redact PII using Bedrock Guardrails ApplyGuardrail API
response = bedrock.apply_guardrail(guardrailIdentifier=guardrail_id,
    source='INPUT', content=[{'text': {'text': raw_text}}])
# outputs is empty when nothing is flagged; masking requires an ANONYMIZE PII policy (not BLOCK)
redacted_text = (response['outputs'][0]['text']
    if response.get('outputs') else raw_text)
      

Step 3: Retrieve context and generate responses

当查询到达应用层时,使用 pgvector 余弦相似度运算符检索最匹配的知识块。以下 SQL 查询展示了这一模式:


        -- Connect as app_user and set the tenant for this transaction so RLS returns rows
SET LOCAL app.current_tenant = '11111111-1111-1111-1111-111111111111';

-- Retrieve top 5 relevant chunks for a query
SELECT chunk_id, content, metadata,
    1 - (embedding <=> :query_embedding::vector) AS cosine_similarity
FROM rai_postgresql.knowledge_chunks
WHERE metadata ->> 'category' = :intent_category
    AND 1 - (embedding <=> :query_embedding::vector) >= 0.7 -- drop weak matches
ORDER BY embedding <=> :query_embedding::vector
LIMIT 5;
      

注意:0.7 的余弦相似度阈值会丢弃弱相关的块,以免模型基于噪声进行 grounding。请根据你自己的数据调整该阈值。类别过滤器和此阈值都会对 HNSW 结果进行后过滤,可能返回少于 5 行。可提高 hnsw.ef_search 或使用迭代索引扫描(pgvector 0.8.0+)来补偿。

以下伪代码展示了上下文 grounding、guardrail 干预处理、引用解析和交互日志记录的关键模式。这些代码片段侧重于 Responsible AI 逻辑,而非应用基础设施。

使用 guardContent 块在 Bedrock Converse API 中启用上下文 grounding:


        # Contextual grounding --- tag context and query for guardrail evaluation
response = bedrock.converse(
    modelId=model_id,
    messages=[{'role': 'user', 'content': [
        {'guardContent': {'text': {'text': context, 'qualifiers': ['grounding_source']}}},
        {'guardContent': {'text': {'text': query, 'qualifiers': ['query']}}},
        {'text': prompt}
    ]}],
    guardrailConfig={'guardrailIdentifier': guardrail_id,
        'guardrailVersion': '1', 'trace': 'enabled'},
    inferenceConfig={'maxTokens': 500, 'temperature': 0.1})
      

检查 stopReason 以处理 guardrail 阻止响应的情况:


        # Handle guardrail intervention
if response.get('stopReason') == 'guardrail_intervened':
    answer = 'Unable to answer --- content flagged by guardrail.'
    trace = response.get('trace', {}).get('guardrail', {})
else:
    answer = response['output']['message']['content'][0]['text']
      

区分实际被引用的来源与所有检索到的来源。在 Explainability 帖子中,这一区分正是重点所在:


        # 从模型回答中解析 [Source N] 标记
cited_indices = re.findall(r'\[Source (\d+)\]', answer)
cited = [retrieved[n-1] for n in map(int, cited_indices) if n-1 < len(retrieved)]
citations = {'cited_sources': cited, 'all_retrieved': retrieved,
    'citation_rate': len(cited) / len(retrieved) if retrieved else 0}
      

为可解释性记录每一次交互。该 INSERT 会捕获完整的 RAG 溯源链:


        INSERT INTO rai_postgresql.chat_interactions (
    session_id, customer_id, request_text, response_text,
    response_timestamp, response_latency_ms, intent, confidence_score,
    retrieved_chunk_ids, similarity_scores, citations,
    guardrail_assessment, model_id, guardrail_version
) VALUES (%s, %s, %s, %s, NOW(), %s, %s, %s, %s, %s, %s, %s, %s, %s);
      

我们将 confidence_score 定义为 top-k 检索片段余弦相似度的均值。intent 字段对查询进行分类(例如 billing 或 order_status),response_latency_ms 记录端到端的推理时间。

步骤 4:记录交互并添加治理

每一次聊天机器人交互(用户查询、检索到的片段、相似度分数、回答以及引用)都会通过步骤 3 中展示的 INSERT 记录到 chat_interactions 表,从而支持可解释性与透明性。chat_feedback 中捕获的客户反馈支持持续改进,强化可控性。在治理方面,pgaudit 提供查询审计轨迹,pg_cron 驱动自动化的数据保留。

设置 pgaudit 和 pg_cron,二者都需要 shared_preload_libraries(参见先决条件):


        CREATE EXTENSION IF NOT EXISTS pgaudit;
CREATE EXTENSION IF NOT EXISTS pg_cron;

-- 审计应用角色所做的一切。在 RDS/Aurora 中,对象级
-- 审计使用 pgaudit.role = 'rds_pgaudit';关于作用范围请参见 pgaudit 文档。
ALTER ROLE app_user SET pgaudit.log = 'write, ddl';
ALTER ROLE app_user SET pgaudit.log_relation = 'on';
      

用于治理审查的查询:


        -- 找出低置信度的回答以供审查
SELECT interaction_id, request_text, response_text,
    confidence_score, intent, request_timestamp
FROM rai_postgresql.chat_interactions
WHERE confidence_score < 0.80
ORDER BY request_timestamp DESC LIMIT 10;

-- 按意图分析反馈
SELECT ci.intent, AVG(cf.rating) AS avg_rating, COUNT(*) AS total,
    COUNT(*) FILTER (WHERE cf.rating <= 2) AS low_ratings
FROM rai_postgresql.chat_feedback cf
JOIN rai_postgresql.chat_interactions ci
    ON cf.interaction_id = ci.interaction_id
GROUP BY ci.intent ORDER BY avg_rating ASC;
      

将两张表归档到 Amazon S3,并且只有在导出成功后才清除。将归档和清除作为两个独立的 cron 任务运行是不安全的:如果归档失败,单独调度的清除任务仍会删除这些行。将二者封装在一个函数中,使 DELETE 仅在导出返回后才运行。同时也要归档 chat_feedback,否则级联会删除未保存的反馈。90 天的窗口与典型的支持数据保留策略相符。请根据你自己的监管要求进行调整。


        -- 单个任务:归档两张表,然后仅在导出成功后清除
CREATE OR REPLACE FUNCTION rai_postgresql.archive_and_purge(cutoff INTERVAL DEFAULT '90 days')
RETURNS void LANGUAGE plpgsql AS $$
DECLARE exported bigint;
BEGIN
    -- 归档到期应清除的交互记录
    SELECT rows_uploaded INTO exported FROM aws_s3.query_export_to_s3(
        format('SELECT * FROM rai_postgresql.chat_interactions
            WHERE request_timestamp < NOW() - %L', cutoff),
        aws_commons.create_s3_uri('your-audit-bucket',
            'chat-interactions/'||to_char(NOW(),'YYYY-MM-DD')||'.csv', 'us-east-1'));

像 {{NAME_ab12cd34}} 这样写入的值是真实值的占位符。请完全按照其写法使用它们,无论是在回复中还是在工具调用中:它们会在任何内容运行之前被替换为真实值。不要要求验证它们,也不要用示例替换它们。

-- 归档级联删除本会清除的反馈
    PERFORM aws_s3.query_export_to_s3(
        format('SELECT cf.* FROM rai_postgresql.chat_feedback cf
            JOIN rai_postgresql.chat_interactions ci USING (interaction_id)
            WHERE ci.request_timestamp < NOW() - %L', cutoff),
        aws_commons.create_s3_uri('your-audit-bucket',
            'chat-feedback/'||to_char(NOW(),'YYYY-MM-DD')||'.csv', 'us-east-1'));

-- 仅在导出成功后执行清除(反馈通过 ON DELETE CASCADE 删除)
    IF exported IS NOT NULL THEN
        DELETE FROM rai_postgresql.chat_interactions
        WHERE request_timestamp < NOW() - cutoff;
    END IF;
END $$;

-- 调度单个有序作业
SELECT cron.schedule('archive_and_purge', '0 0 * * *',
    $$SELECT rai_postgresql.archive_and_purge()$$);
      

验证解决方案

端到端运行一个问题,然后读取它生成的那一行。这一行就是该设计有效的证据:它展示了检索到了哪些分块、它们的相似度有多高、答案实际引用了哪些来源,以及护栏结果。


        SELECT request_text, model_id, confidence_score,
    retrieved_chunk_ids, similarity_scores,
    citations -> 'cited_sources' AS cited,
    guardrail_assessment -> 'action' AS guardrail_action
FROM rai_postgresql.chat_interactions
ORDER BY request_timestamp DESC LIMIT 1;
      

预期结果:一行的 cited_sources 是 retrieved_chunk_ids 的子集,similarity_scores 达到或高于 0.7 阈值,且对于干净的问题 guardrail_action 为 NONE。如果 cited_sources 为空,则模型没有为其答案提供依据,应谨慎对待该响应。

限制与注意事项

  • Amazon Bedrock Guardrails 会为每次推理调用增加延迟,并按文本单元收费。上下文 grounding 有额外定价。在生产部署前,请对响应时间和成本进行基准测试。
  • 交互日志会随时间增长存储占用。S3 归档和清理 cron 作业有助于管理这一点,但请监控你的 Aurora 存储并按需调整保留期限。
  • HNSW 索引提供近似最近邻搜索。后置过滤(例如按类别或租户)在索引扫描之后运行,可能返回少于 LIMIT 的行数。增加 hnsw.ef_search 或使用迭代索引扫描(pgvector 0.8.0+)以提高召回率。
  • 上下文 grounding 检查评估模型的响应是否基于所提供的上下文。它并不保证源文档本身的事实准确性。
  • Aurora ML 的嵌入生成在数据库中同步运行。对于大批量摄取,考虑批量更新或使用异步管道。
  • 除 Aurora ML(aws_bedrock.invoke_model_get_embeddings 调用)外,本文中的所有内容也可在 Amazon Relational Database Service (Amazon RDS) for PostgreSQL 上运行。

清理

为避免持续收费,如果以下资源是为本次演练而创建的,请将其删除:

  • 首先取消调度 cron 作业,否则一旦 schema 被删除,它每晚都会失败:SELECT cron.unschedule('archive_and_purge');。
  • 删除 schema:DROP SCHEMA rai_postgresql CASCADE;。
  • 删除 Amazon Bedrock Guardrail。
  • 移除 AWS Lambda 函数和 API Gateway 端点。
  • 删除 Amazon S3 审计桶(或配置生命周期策略)。
  • 删除 Aurora PostgreSQL 集群(如果计划复用,则将其停止)。
  • 移除为 Bedrock 和 Aurora ML 集成创建的 IAM 角色。
  • 删除应用程序角色(DROP SCHEMA 不会移除角色):DROP ROLE app_user;。

成本注意事项:本解决方案使用 Amazon Aurora PostgreSQL、Amazon Bedrock(模型推理和嵌入)以及 Amazon Bedrock Guardrails。成本因区域、实例大小、请求量和模型选择而异。有关定价详情,请参阅各服务的定价页面。

结论

像 {{NAME_ab12cd34}} 这样写入的值是真实值的占位符。在回复和工具调用中,请完全按照写入的形式使用它们:它们会在任何内容运行之前被填入真实值。不要请求验证它们,也不要用示例替换它们。

文章标题:为 Amazon Aurora PostgreSQL 设计负责任的 AI 控制措施

正文: Amazon Aurora PostgreSQL-Compatible Edition 结合 pgvector、Row-Level Security、pgaudit、pgcrypto、pg_cron 和 Aurora ML,为负责任 AI 提供了数据库层的构建模块。如映射表所示,若干维度还依赖于数据库之外的 AWS 服务。

在本文中,我们聚焦可解释性维度,进行了详细的设计走查。通过在 Aurora 中记录检索到的 chunk ID、相似度分数、引用的来源以及 guardrail 轨迹,你在数据库层获得了一个可查询的审计线索。映射表展示了其余维度如何建立在同一基础之上,将 Aurora PostgreSQL 功能与 AWS AI 服务相结合。

这些设计模式的关键要点是:

  • 在查询时记录检索溯源:检索到和引用的 chunk ID、相似度分数以及 guardrail 轨迹。
  • 区分实际引用的来源与所有检索到的内容。正是这种区分使答案具备可解释性。
  • 通过 Row-Level Security 强制租户隔离,并在向量搜索运行前设置租户上下文。
  • 在清除前归档审计数据,并像保护源数据一样谨慎地保护日志表。

下一步,可以探索 Amazon Bedrock Knowledge Bases,这一完全托管的 RAG 能力目前已在许多 AWS 区域支持 Aurora PostgreSQL 作为向量存储,并提供内置的引文生成功能,有助于减少新项目中实现可解释性所需的定制集成代码。

关于作者

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by AWS Machine Learning
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗