使用 Amazon Bedrock 上的模型运行 Kimi Code CLI
Kimi Code CLI 是来自 Moonshot AI 的开源编码智能体,Moonshot AI 也是 Kimi 系列开放权重基础模型的创造者。此前,要将 Kimi Code 与 Amazon Bedrock 上的模型配合使用,需要配置一个通用连接“provider”,并搭配 Amazon Bedrock API 密钥。对许多 AWS 客户来说,这意味着要额外获取并保护一项凭证。
在 v2.7.0 中,Moonshot AI 为 CLI 添加了原生 bedrock provider。现在,你可以将智能体配置为使用标准的 AWS 凭证链,包括命名配置文件和单点登录(SSO),而无需创建和管理单独的 API 密钥。
本文将展示如何使用你现有的 AWS 凭证将 Kimi Code CLI 连接到 Amazon Bedrock 上的模型。我们以 Kimi K3.1 Pro Highspeed 为例,它支持流式传输、可配置推理、图像输入和客户端工具调用。
新变化
Amazon Bedrock 为来自领先提供商的一系列开放和专有模型提供按 token 计费的推理服务,可通过标准 API 使用。处理过程保持在 AWS 数据边界内,详见用户指南的“数据保护”部分。模型卡片详细说明了每个模型支持哪些 API 和功能。
在旧版本的 Kimi Code CLI 中,你可以通过 type = "openai" 或 type = "openai_responses" 的 provider 连接到 Amazon Bedrock。它们分别使用 OpenAI 兼容的 Chat Completions 或 Responses API。这种方法要求你设置区域 base_url 并提供 Amazon Bedrock API 密钥。密钥可以是短期的或长期的,但它是你需要获取和管理的单独凭证。
原生 provider 改变了这一设置:
- 使用你现有的 AWS 身份验证工作流。bedrock provider 可以通过标准 AWS Command Line Interface (AWS CLI) 凭证链解析临时凭证。你可以使用默认链,也可以选择命名配置文件,包括由 SSO 支持的配置文件。
- 如有需要,覆盖每个模型的协议。provider 会根据模型 ID 推断 API 格式和区域端点,但你可以按本文“覆盖端点 URL 和协议”部分所述进行更改。
AWS 建议使用短期凭证而非长期凭证。这条新路径减少了对手动管理 API 密钥的依赖,但并未改变你保护 AWS 凭证并适当限定权限的责任。
工作原理
原生 provider 通过四个步骤处理身份验证和请求路由:
- 解析 AWS 凭证。除非你配置 Amazon Bedrock API 密钥,否则 bedrock provider 会使用你环境中的标准 AWS 凭证链。你可以设置 AWS_PROFILE 来选择特定的命名配置文件。
- 生成短期 bearer token。provider 使用 @aws/bedrock-token-generator 创建短期 Amazon Bedrock API 密钥,并在需要时续期。你无需将任何 AWS 访问密钥或手动生成的 Amazon Bedrock 密钥放入 Kimi Code 的 config.toml。不过,如果你通过 api_key 或 api_key_env 显式提供密钥,则该密钥优先。
- 构建区域端点。provider 解析 AWS_REGION 或 AWS_DEFAULT_REGION,并为模型推断的 API 构造相应的 bedrock-runtime 端点。对于 Kimi 模型,这会解析为推荐的 OpenAI 兼容 Chat Completions 路径。
- 调用选定的推理配置文件。模型别名映射到 Amazon Bedrock 模型或推理配置文件 ID。本示例使用全局推理配置文件 global.moonshotai.kimi-k3.1。global. 前缀用于选择配置文件,而 AWS_REGION 决定接收你请求的区域端点。
随后,CLI 会以流式方式接收模型响应,并可在编码任务中使用模型客户端侧的工具调用支持。一个请求要成功完成,身份验证、授权、模型访问和网络连接都必须全部通过。提供商生成的临时 API 密钥有效期最长为 12 小时,或与你的 AWS 会话时长一致,以较短者为准。
前置条件
本次演练中,我们以 Kimi K3.1 Pro Highspeed 作为示例模型,通过全球跨区域推理访问,以获得最广泛的可用性和最低的成本。在使用该模型之前,请查阅 Amazon Bedrock 定价以了解预期成本。
要跟随本演练操作,你需要:
- 一个 AWS 账户,并且能在受支持的源 AWS 区域中访问目标模型和推理配置文件。请查看 Kimi K3.1 Pro Highspeed 模型卡片,了解当前支持的区域和推理配置文件。
- Kimi Code CLI v2.7.0 或更高版本。请按照 Kimi Code CLI 安装指南操作,并运行 kimi --version 检查安装情况。
- AWS CLI,用于执行本文中的配置文件和身份检查命令。可选的 aws login 工作流需要 AWS CLI v2.32.0 或更高版本。
- 一个 AWS Identity and Access Management (IAM) 身份(用户或代入角色),并且在你选择的 AWS 区域中拥有调用目标模型和推理配置文件的权限。
以下示例 IAM 策略授予本次演练所使用的权限,仅针对 Kimi K3.1 Pro Highspeed 模型和全球推理配置文件。请将 ${AWS_REGION} 替换为你的源区域(例如美国西部俄勒冈州为 us-west-2),将 ${AWS_ACCOUNT_ID} 替换为你的 12 位 AWS 账户 ID:
{
"Version": "2012-10-17",
"Statement": [
{
"Sid": "BedrockShortTermBearerToken",
"Effect": "Allow",
"Action": "bedrock:CallWithBearerToken",
"Resource": "*",
"Condition": {
"StringEquals": {
"bedrock:bearerTokenType": "SHORT_TERM"
}
}
},
{
"Sid": "BedrockReadKimiK31InferenceProfile",
"Effect": "Allow",
"Action": "bedrock:GetInferenceProfile",
"Resource": "arn:aws:bedrock:${AWS_REGION}:${AWS_ACCOUNT_ID}:inference-profile/global.moonshotai.kimi-k3.1"
},
{
"Sid": "BedrockInvokeKimiK31GlobalProfile",
"Effect": "Allow",
"Action": [
"bedrock:InvokeModel",
"bedrock:InvokeModelWithResponseStream"
],
"Resource": "arn:aws:bedrock:${AWS_REGION}:${AWS_ACCOUNT_ID}:inference-profile/global.moonshotai.kimi-k3.1"
},
{
"Sid": "BedrockInvokeKimiK31ModelsThroughGlobalProfile",
"Effect": "Allow",
"Action": [
"bedrock:InvokeModel",
"bedrock:InvokeModelWithResponseStream"
],
"Resource": [
"arn:aws:bedrock:${AWS_REGION}::foundation-model/moonshotai.kimi-k3.1",
"arn:aws:bedrock:::foundation-model/moonshotai.kimi-k3.1"
],
"Condition": {
"StringEquals": {
"bedrock:InferenceProfileArn": "arn:aws:bedrock:${AWS_REGION}:${AWS_ACCOUNT_ID}:inference-profile/global.moonshotai.kimi-k3.1"
}
}
},
{
"Sid": "BedrockInvokeKimiK31DefaultProject",
"Effect": "Allow",
"Action": [
"bedrock:InvokeModel"
],
"Resource": "arn:aws:bedrock:${AWS_REGION}:${AWS_ACCOUNT_ID}:project/default",
"Condition": {
"StringEquals": {
"bedrock:ModelArn": "arn:aws:bedrock:${AWS_REGION}:${AWS_ACCOUNT_ID}:inference-profile/global.moonshotai.kimi-k3.1"
}
}
}
]
}
不带区域或账户 ID 的基础模型 ARN 是有意为之,并且是全球跨区域路由所必需的。BedrockInvokeKimiK31DefaultProject 语句仅在使用 openai_responses 协议时需要,使用默认的 openai(Chat Completions)时不需要。
使用 Amazon Bedrock 上的模型配合 Kimi Code CLI
AWS 环境的安全由您和 AWS 共同承担。请按照最小权限原则审查并授予 IAM 权限,尤其是在生产环境中。考虑为 Kimi Code CLI 使用专用的 IAM 角色,与您日常的 AWS 操作分开。
bedrock provider 入门
前提条件准备就绪后,按以下步骤配置 AWS 身份验证、添加 provider 和模型,并发送测试请求。
第 1 步:配置 AWS 凭证
根据您所在组织的设置,可以通过不同方式向 AWS CLI 进行身份验证。使用命名配置文件(Named profiles),您可以配置多个 AWS 上下文并在它们之间切换。
例如:
- 如果您通过 AWS IAM Identity Center 使用 SSO,请运行 aws configure sso --profile YOUR_PROFILE_NAME 来设置配置文件,然后运行 aws sso login --profile YOUR_PROFILE_NAME 进行身份验证。
- 要在 AWS CLI v2.32.0 或更高版本中使用 AWS Management Console 凭证,请运行 aws login --profile YOUR_PROFILE_NAME。控制台凭证登录指南还介绍了针对不直接支持缓存登录会话的工具的 credential_process 配置。
- 省略 --profile 参数即可使用默认 AWS 配置文件,而不是命名配置文件。
无论选择哪种方式,您的会话都会解析为一个 IAM 身份(用户或角色),该身份需要具备前提条件中列出的 Amazon Bedrock 权限。在 AWS CLI 配置文件中配置的 Region 适用于 AWS CLI 命令,但您仍须在第 2 步中为 Kimi Code 显式设置 Region。
验证 AWS CLI 解析出的是您预期的身份。如果您使用默认配置文件,请省略 --profile YOUR_PROFILE_NAME:
aws sts get-caller-identity --profile YOUR_PROFILE_NAME
第 2 步:添加 provider 和模型
- 在文本编辑器中打开或创建 ~/.kimi-code/config.toml。如果您设置了 KIMI_CODE_HOME,请改用 $KIMI_CODE_HOME/config.toml。如果文件已存在,请先备份,并将这些条目与您当前的设置合并,而不是覆盖无关的 provider 或模型。
- 将 YOUR_SOURCE_REGION 替换为您受支持的源 Region(例如 us-west-2)。要使用命名配置文件,请替换 YOUR_PROFILE_NAME 并取消注释 AWS_PROFILE 行:
default_model = "bedrock-kimi-k3-1"
[providers.bedrock]
type = "bedrock"
[providers.bedrock.env]
AWS_REGION = "YOUR_SOURCE_REGION"
# AWS_PROFILE = "YOUR_PROFILE_NAME"
[models.bedrock-kimi-k3-1]
provider = "bedrock"
model = "global.moonshotai.kimi-k3.1"
max_context_size = 1000000
capabilities = ["always_thinking", "thinking", "image_in", "tool_use"]
模型别名 bedrock-kimi-k3-1 是 Kimi Code CLI 使用的本地名称。model 的值是 Amazon Bedrock 全局推理配置文件 ID。该示例声明了 100 万 token 的上下文窗口,以及显式的推理、图像输入和工具使用能力。它省略了 api_key、api_key_env 和 AWS_BEARER_TOKEN_BEDROCK,因此 provider 使用环境中的 AWS 凭证。如果配置了 Amazon Bedrock 密钥,则会优先使用该密钥。
- 保存文件。[providers.bedrock.env] 表为 provider 提供配置。它不会将变量导出到您的 shell 中。
第 3 步:发送请求并开始编码会话
在 Amazon Bedrock 上使用模型运行 Kimi Code CLI
- 运行一个小的非交互式编程请求:kimi --model bedrock-kimi-k3-1 --prompt "Write a Python function that checks whether a string is a palindrome. Include a short usage example."
kimi --model bedrock-kimi-k3-1 --prompt "Write a Python function that checks whether a string is a palindrome. Include a short usage example."
- 确认 CLI 能流式返回响应,且没有出现身份验证、授权、Region、模型访问或网络错误。相比查看提供商状态指示器,这个请求能提供更有意义的连通性检查。
- 在项目目录中启动交互式会话:cd /path/to/your/project kimi 由于你设置了 default_model,会话会自动选择 bedrock-kimi-k3-1。让智能体解释该仓库或提出一个小改动。在批准它提议的文件修改和 shell 命令之前,请先审阅。
cd /path/to/your/project
kimi
由于你设置了 default_model,会话会自动选择 bedrock-kimi-k3-1。让智能体解释该仓库或提出一个小改动。在批准它提议的文件修改和 shell 命令之前,请先审阅。
配置最佳实践
在撰写本文时,原生 bedrock 提供商有几项配置注意事项。这些实践有助于你避免状态信息含义不清和设置不匹配的问题。
使用配置文件来设置提供商
在撰写本文时,Kimi Code 的桌面端和 Web 端提供商创建界面并未暴露此凭证链设置所用的全部提供商环境字段。请直接编辑 config.toml 来设置 Amazon Bedrock 提供商。更多细节请参阅 Kimi Code 文档中的 Model providers。
显式声明模型能力
Kimi Code 不会自动检测 Amazon Bedrock 上大多数模型的能力,包括 Kimi 模型。请查看每个目标模型的 Amazon Bedrock 模型卡,并显式声明其能力,以便 Kimi Code 加以利用。
例如,Kimi K3.1 Pro Highspeed 支持 always_thinking、thinking、image_in 和 tool_use,但不支持 audio_in 或 video_in,正如前面展示的 config.toml 示例所反映的那样。
这些声明描述的是客户端行为。你只应包含每个目标模型和 Amazon Bedrock API 端点所支持的能力。请在你的应用中对工具和图像工作流进行验证,而不是仅依赖能力标签。
保持 Region 设置一致,并尽可能优先使用跨 Region 推理
bedrock 提供商要求在 Kimi Code 的 config.toml 或 shell 环境中显式提供 AWS_REGION 或 AWS_DEFAULT_REGION。它无法推断仅在 ~/.aws/config 中或通过 aws configure 配置的 Region。
当你使用跨 Region 推理配置文件(带有 global.、us. 或 in. 等前缀)时,所配置的 Kimi Code Region 控制接收你请求的源 Region。更多信息请参阅 Amazon Bedrock User Guide 中的 cross-Region inference。
对于没有数据驻留要求的工作负载,请从 global 推理配置文件开始。与其他许多模型一样,此模型使用 global 推理的价格比使用地理配置文件低 10%。请查看 Amazon Bedrock 定价了解当前费率和地理替代方案。
在需要时覆盖端点 URL 和协议
在某些情况下,提供商自动检测可能会把你为特定模型想要使用的 API 协议或目标 URL 弄错。例如,你需要设置不同的 URL 才能通过 VPC 端点或 Mantle 端点使用 Amazon Bedrock。
在 Kimi Code 的 config.toml 中,你可以:
- 将 protocol 字段设置为 openai(Chat Completions)、openai_responses 或 anthropic(Messages),以配置模型使用特定的受支持线上协议。请查看模型卡了解哪些模型支持哪些 API。
- 设置 base_url 字段以更改目标 URL,该 URL 必须包含所附加的 API 路径,如 /openai/v1 或 /anthropic。
文章标题:Use Kimi Code CLI with models on Amazon Bedrock
正文: 在下面的示例中,我们展示了一个配置,用于连接同一个模型,但通过你已设置的 Amazon Bedrock VPC 端点使用 OpenAI Responses API:
[models.bedrock-kimi-k3-1]
provider = "bedrock"
model = "global.moonshotai.kimi-k3.1"
max_context_size = 1000000
capabilities = ["always_thinking", "thinking", "image_in", "tool_use"]
protocol = "openai_responses"
base_url = "https://vpce-EXAMPLE-VPCEID.bedrock-runtime.us-west-2.vpce.amazonaws.com/openai/v1"
将连接状态视为配置指示
在 Kimi Code 桌面应用和 Web 应用中,提供商列表可能会对某个 bedrock 提供商显示为已连接。该状态并不验证所配置的 AWS 凭证、IAM 权限、区域、模型访问权限或网络路径。不要把它当作模型请求成功的证明。请使用非交互式提示词来测试完整路径,并在失败时诊断实际响应。
清理
如果你为在 Amazon Bedrock 上试验 Kimi K3.1 Pro 而创建了新的 AWS IAM 身份或分配了新的权限,请记得在测试完成后删除它们。
你可能还希望还原你所设置的任何本地 Kimi Code CLI 提供商配置或 AWS CLI 配置文件。如果不再需要,你甚至可以将这些 CLI 完全卸载。详情请参阅 Kimi Code 和 AWS CLI 的卸载指南。请记住,删除本地 AWS 配置或 CLI 本身并不会撤销 IAM 权限或活动的 AWS 会话。
我们所展示的模型在 Amazon Bedrock 上的推理按 token 计费,因此没有需要清理的持久性云基础设施部署。
结论
我们展示了 Kimi Code CLI v2.7.0 中 Moonshot AI 的原生 bedrock 提供商如何通过标准 AWS 凭证链连接到 Amazon Bedrock 上的 Kimi K3.1 Pro Highspeed。你不再需要单独管理的 Amazon Bedrock API 密钥。
Amazon Bedrock 让你可以通过标准 API 访问来自领先提供商的开源和专有 AI 模型。其治理控制和合规验证计划甚至可以支持受到严格监管的工作负载。
如果你已经在使用 Kimi Code CLI 并希望在 AWS 上运行推理,请立即升级并尝试全新的简化身份验证。
有关 Amazon Bedrock 上 Kimi K3.1 Pro 的更多信息,请参阅我们的发布博客文章和 Moonshot AI on AWS 示例仓库。要了解各模型支持的 API 和功能,请参阅 Amazon Bedrock 用户指南中的模型卡。如需与 Amazon Bedrock 团队讨论你的使用场景,请联系我们。