SpyBara
Go Premium

llm-gateway.md 2026-06-25 23:58 UTC to 2026-06-26 23:00 UTC

This page contains 3 additions and 11 deletions.

2026
Wed 10 23:57 Wed 17 17:02 Thu 25 23:58 Fri 26 23:00 Mon 29 23:02 Tue 30 23:02

LLM gateway

通过 LLM gateway 路由 Claude Code 以实现集中身份验证、使用情况跟踪和成本控制。涵盖将 Claude Code 连接到网关、为您的组织部署网关、Claude Code 发送到网关的内容,以及网关如何与 claude.ai 订阅交互。

LLM gateway 是您的组织在 Claude Code 和模型提供商之间运行的代理。Claude Code 将 API 流量发送到网关,网关使用您的组织控制的凭证将其转发给提供商。

网关提供的功能

网关为您的组织提供一个地方来管理:

  • 凭证:提供商密钥保留在服务器端;开发人员改为持有网关凭证
  • 使用情况跟踪:按开发人员或团队归属使用情况,无论哪个提供商处理请求
  • 成本控制:在一个地方强制执行预算和速率限制
  • 审计日志:记录每个模型请求以实现合规性
  • 提供商切换:在网关配置中更改提供商,无需接触开发人员机器

除了提供商切换外,所有这些都适用于上游是 Anthropic 的 API 还是云提供商。

权衡是网关成为您的组织运营的基础设施。Claude Code 在每个版本中添加功能,不转发这些功能的网关会破坏相应的功能,因此网关产品需要随着 Claude Code 的发展而保持更新。网关协议参考涵盖要转发的内容。

网关如何工作

默认情况下,Claude Code 直接向 Anthropic 的 API api.anthropic.com 发送请求。要通过网关路由,请将 ANTHROPIC_BASE_URL 设置为网关的地址;Claude Code 改为向那里发送相同的请求。网关对开发人员进行身份验证,附加您的组织的提供商凭证,并将每个请求转发给它配置的任何提供商。

ANTHROPIC_BASE_URL 是大多数网关的地址变量。面向特定云提供商(如 Bedrock、Vertex、Foundry 或 AWS 上的 Claude Platform)的网关改为使用该提供商的基础 URL 变量;API 格式列出了哪个变量与每个配置相关联。

显示 Claude Code 通过 LLM gateway 路由的图表。在开发人员机器区域中,Claude Code CLI、VS Code 扩展和 CI 或 Agent SDK 客户端向网关发送请求,网关 API 格式的基础 URL 变量指向它,每个开发人员持有每个开发人员的凭证,桌面应用通过组织分发的配置到达相同的网关。在标记为您的基础设施的区域中,LLM gateway 处理身份验证、使用情况跟踪、预算和路由,并使用您的组织的凭证转发请求。在模型提供商区域中,实线箭头指向您配置的提供商,显示为 Anthropic API,虚线箭头指向其他提供商选项,以 Amazon Bedrock、Google Vertex AI 和 Microsoft Foundry 为例。

涉及两种凭证:

  • 开发人员凭证:每个开发人员持有自己的凭证,由网关颁发。它向网关验证他们的身份并在使用情况跟踪中识别他们
  • 提供商凭证:网关持有一个提供商账户的凭证,由所有转发的流量共享。您不需要为每个开发人员配置提供商密钥

网关将每个请求转发给您配置的提供商,例如 Anthropic API、Amazon Bedrock、Google Vertex AI、Microsoft Foundry 或 AWS 上的 Claude Platform。因为 Claude Code 仅与网关通信,提供商选择是网关的配置,而不是客户端的。

部署网关

当您准备好为组织部署 LLM gateway 时,无论您选择哪个网关产品,顺序都是相同的:

  1. 部署网关并给予它您的提供商凭证,以便它可以验证它转发的请求。
  2. 为每个开发人员颁发网关凭证,以便使用情况归属于开发人员,离职时撤销一个凭证。
  3. 通过托管设置文件和您的机密工具分发配置,以便每台机器都接收基础 URL 和凭证。当两者都分发时,开发人员无需配置任何内容。如果您没有设置分发,开发人员按照连接页面自己设置变量。
  4. 让每个开发人员检查 Claude Code 中的配置,以便分发问题在他们依赖网关之前浮出水面。

为您的组织部署 LLM gateway 逐步讲解每个步骤,并显示在每个步骤中分发的配置文件。网关是组织设置的一部分;对于策略强制执行、使用情况可见性和数据处理决策,请参阅为您的组织设置 Claude Code。

第三方网关

任何公开支持的 API 格式的网关都可以工作。Anthropic 不认可、维护或审计第三方网关产品。按照它们自己的文档部署它们,然后使用部署步骤完成 Claude Code 端的部署。

订阅和网关

当网关凭证变量或 apiKeyHelper 处于活动状态时,开发人员的 claude.ai 订阅不被使用:凭证替换该会话的订阅登录,订阅的使用限制不适用。该流量按令牌计费给拥有网关转发的凭证的人,例如您的组织的 Anthropic Console 账户,或当网关路由到那里时您的 Bedrock、Vertex 或 Foundry 账户。

仅设置 ANTHROPIC_BASE_URL,不设置网关凭证,不会替换订阅。请求仍然通过网关路由,但保存的 claude.ai 登录保持活动凭证,因此其使用限制和计费适用。将此流量转发给 Anthropic 的网关必须转发 anthropic-beta 中的 OAuth 功能;请参阅请求头参考。

与网关分开配置

网关确定模型 API 请求的发送位置。模型选择、Claude Code 的其余网络流量和企业代理分开配置:

  • 模型选择:基础 URL 决定请求的发送位置,而不是哪个模型回答它们。使用 /model 命令或模型环境变量选择模型;请参阅如何设置您的模型
  • 客户端流量:版本检查和可选的客户端遥测(都可以用 CLAUDE_CODE_DISABLE_NONESSENTIAL_TRAFFIC 禁用),以及当使用 claude.ai 或 Console 登录时的登录流量,转到 Anthropic 的更新和身份验证端点而不是网关。请参阅网络访问要求了解域名
  • 企业代理:使用 HTTPS_PROXY 设置的代理位于 Claude Code 和它与之通信的每个服务器之间,包括网关。如果您的网络需要代理,请配置两者;请参阅代理配置