SpyBara
Go Premium

llm-gateway.md 2026-06-25 23:58 UTC to 2026-06-26 23:00 UTC

3 added, 11 removed.

2026
Tue 30 23:02 Mon 29 23:02 Sat 27 01:01 Fri 26 23:00 Thu 25 23:58 Wed 24 22:02 Tue 23 22:00 Mon 22 23:59 Fri 19 22:58 Thu 18 22:00 Wed 17 17:02 Tue 16 21:57 Mon 15 23:02 Sat 13 21:59 Fri 12 22:00 Thu 11 23:01 Wed 10 23:57 Tue 9 06:34 Mon 8 06:52 Sat 6 06:24 Fri 5 06:45 Thu 4 06:52 Wed 3 06:53 Tue 2 06:51

LLM gateway

透過 LLM gateway 路由 Claude Code 以進行集中身份驗證、使用情況追蹤和成本控制。涵蓋將 Claude Code 連接到 gateway、為您的組織推出 gateway、Claude Code 發送到 gateway 的內容,以及 gateway 如何與 claude.ai 訂閱互動。

LLM gateway 是您的組織在 Claude Code 和模型提供商之間運行的代理。Claude Code 將 API 流量發送到 gateway,gateway 使用您的組織控制的憑證將其轉發給提供商。

gateway 提供的功能

gateway 為您的組織提供一個地方來管理:

  • 憑證:提供商金鑰保留在伺服器端;開發人員改為持有 gateway 憑證
  • 使用情況追蹤:按開發人員或團隊歸屬使用情況,無論哪個提供商處理請求
  • 成本控制:在一個地方強制執行預算和速率限制
  • 審計日誌:記錄每個模型請求以進行合規性檢查
  • 提供商切換:在 gateway 配置中更改提供商,無需觸及開發人員機器

除了提供商切換外,所有這些都適用於上游是 Anthropic API 還是雲提供商

權衡是 gateway 成為您的組織運營的基礎設施。Claude Code 在每個版本中添加功能,不轉發這些功能的 gateway 會破壞相應的功能,因此 gateway 產品需要隨著 Claude Code 的發展而保持更新。gateway 協議參考涵蓋要轉發的內容。

gateway 如何運作

默認情況下,Claude Code 直接向 Anthropic API 在 api.anthropic.com 發送請求。要透過 gateway 路由,請將 ANTHROPIC_BASE_URL 設置為 gateway 的地址;Claude Code 改為向那裡發送相同的請求。gateway 對開發人員進行身份驗證,附加您的組織的提供商憑證,並將每個請求轉發給它配置的任何提供商。

ANTHROPIC_BASE_URL 是大多數 gateway 的地址變數。面向特定雲提供商(如 Bedrock、Vertex、Foundry 或 AWS 上的 Claude Platform)的 gateway 改為使用該提供商的基本 URL 變數;API 格式列出哪個變數與每個配置相關聯。

顯示 Claude Code 透過 LLM gateway 路由的圖表。在開發人員機器區域中,Claude Code CLI、VS Code 擴展和 CI 或 Agent SDK 客戶端向 gateway 發送請求,gateway API 格式的基本 URL 變數指向它,每個開發人員持有每個開發人員的憑證,桌面應用程式透過組織分發的配置到達相同的 gateway。在標記為您的基礎設施的區域中,LLM gateway 處理身份驗證、使用情況追蹤、預算和路由,並使用您的組織的憑證轉發請求。在模型提供商區域中,實線箭頭指向您配置的提供商(顯示為 Anthropic API),虛線箭頭指向其他提供商選項,以 Amazon Bedrock、Google Vertex AI 和 Microsoft Foundry 為例。

涉及兩種憑證:

  • 開發人員憑證:每個開發人員持有自己的憑證,由 gateway 發行。它對 gateway 進行身份驗證,並在使用情況追蹤中識別他們
  • 提供商憑證:gateway 為您的提供商帳戶持有一個憑證,由所有轉發的流量共享。您不需要為每個開發人員配置提供商金鑰

gateway 將每個請求轉發給您配置的提供商,例如 Anthropic API、Amazon BedrockGoogle Vertex AIMicrosoft FoundryAWS 上的 Claude Platform。因為 Claude Code 只與 gateway 通信,提供商選擇是 gateway 的配置,而不是客戶端的。

推出 gateway

當您準備好為組織推出 LLM gateway 時,無論您選擇哪個 gateway 產品,順序都是相同的:

  1. 部署 gateway 並給予它您的提供商憑證,以便它可以對它轉發的請求進行身份驗證。
  2. 為每個開發人員發行 gateway 憑證,以便使用情況歸屬於開發人員,離職時撤銷一個憑證。
  3. 透過受管設定檔和您的機密工具分發配置,以便每台機器都接收基本 URL 和憑證。當兩者都分發時,開發人員無需配置任何內容。如果您沒有設定分發,開發人員按照連接頁面自己設置變數。
  4. 讓每個開發人員檢查 Claude Code 中的配置,以便分發問題在他們依賴 gateway 之前浮出水面。

為您的組織推出 LLM gateway 逐步介紹每個步驟,並顯示在每個步驟分發的配置檔案。gateway 是組織設置的一部分;有關政策強制執行、使用情況可見性和資料處理決策,請參閱為您的組織設置 Claude Code

第三方 gateway

任何公開支持的 API 格式的 gateway 都可以運作。Anthropic 不認可、維護或審計第三方 gateway 產品。按照他們自己的文檔部署它們,然後使用推出步驟完成 Claude Code 端的推出。

訂閱和 gateway

gateway 憑證變數apiKeyHelper 處於活動狀態時,開發人員的 claude.ai 訂閱不被使用:憑證替換該會話的訂閱登錄,訂閱的使用限制不適用。該流量按令牌計費給擁有 gateway 轉發的憑證的人,例如您的組織的 Anthropic Console 帳戶,或當 gateway 路由到那裡時您的 Bedrock、Vertex 或 Foundry 帳戶。

僅設置 ANTHROPIC_BASE_URL 而不設置 gateway 憑證不會替換訂閱。請求仍然透過 gateway 路由,但保存的 claude.ai 登錄保持活動憑證,因此其使用限制和計費適用。將此流量轉發給 Anthropic 的 gateway 必須轉發 anthropic-beta 中的 OAuth 功能;請參閱請求標頭參考

與 gateway 分開配置

gateway 決定模型 API 請求的發送位置。模型選擇、Claude Code 的其餘網路流量和公司代理分開配置:

  • 模型選擇:基本 URL 決定請求的發送位置,而不是哪個模型回答它們。使用 /model 命令或模型環境變數選擇模型;請參閱如何設置您的模型
  • 客戶端流量:版本檢查和可選客戶端遙測(都使用 CLAUDE_CODE_DISABLE_NONESSENTIAL_TRAFFIC 禁用),以及當使用 claude.ai 或 Console 登錄時的登錄流量,轉到 Anthropic 的更新和身份驗證端點而不是 gateway。有關域,請參閱網路存取要求
  • 公司代理:使用 HTTPS_PROXY 設置的代理位於 Claude Code 和它與之通信的每個伺服器之間,包括 gateway。如果您的網路需要代理,請配置兩者;請參閱代理配置