LLM gateway
透過 LLM gateway 路由 Claude Code 以進行集中身份驗證、使用情況追蹤和成本控制。涵蓋將 Claude Code 連接到 gateway、為您的組織推出 gateway、Claude Code 發送到 gateway 的內容,以及 gateway 如何與 claude.ai 訂閱互動。
LLM gateway 是您的組織在 Claude Code 和模型提供商之間運行的代理。Claude Code 將 API 流量發送到 gateway,gateway 使用您的組織控制的憑證將其轉發給提供商。
- 如果您是連接到現有 gateway 的開發人員:將 Claude Code 連接到您的 gateway
- 如果您是為組織推出 gateway 的管理員:部署和分發 gateway
- 如果您正在配置 gateway 產品:gateway 協議參考
gateway 提供的功能
gateway 為您的組織提供一個地方來管理:
- 憑證:提供商金鑰保留在伺服器端;開發人員改為持有 gateway 憑證
- 使用情況追蹤:按開發人員或團隊歸屬使用情況,無論哪個提供商處理請求
- 成本控制:在一個地方強制執行預算和速率限制
- 審計日誌:記錄每個模型請求以進行合規性檢查
- 提供商切換:在 gateway 配置中更改提供商,無需觸及開發人員機器
除了提供商切換外,所有這些都適用於上游是 Anthropic API 還是雲提供商。
權衡是 gateway 成為您的組織運營的基礎設施。Claude Code 在每個版本中添加功能,不轉發這些功能的 gateway 會破壞相應的功能,因此 gateway 產品需要隨著 Claude Code 的發展而保持更新。gateway 協議參考涵蓋要轉發的內容。
gateway 如何運作
默認情況下,Claude Code 直接向 Anthropic API 在 api.anthropic.com 發送請求。要透過 gateway 路由,請將 ANTHROPIC_BASE_URL 設置為 gateway 的地址;Claude Code 改為向那裡發送相同的請求。gateway 對開發人員進行身份驗證,附加您的組織的提供商憑證,並將每個請求轉發給它配置的任何提供商。
ANTHROPIC_BASE_URL 是大多數 gateway 的地址變數。面向特定雲提供商(如 Bedrock、Vertex、Foundry 或 AWS 上的 Claude Platform)的 gateway 改為使用該提供商的基本 URL 變數;API 格式列出哪個變數與每個配置相關聯。
涉及兩種憑證:
- 開發人員憑證:每個開發人員持有自己的憑證,由 gateway 發行。它對 gateway 進行身份驗證,並在使用情況追蹤中識別他們
- 提供商憑證:gateway 為您的提供商帳戶持有一個憑證,由所有轉發的流量共享。您不需要為每個開發人員配置提供商金鑰
gateway 將每個請求轉發給您配置的提供商,例如 Anthropic API、Amazon Bedrock、Google Vertex AI、Microsoft Foundry 或 AWS 上的 Claude Platform。因為 Claude Code 只與 gateway 通信,提供商選擇是 gateway 的配置,而不是客戶端的。
推出 gateway
當您準備好為組織推出 LLM gateway 時,無論您選擇哪個 gateway 產品,順序都是相同的:
- 部署 gateway 並給予它您的提供商憑證,以便它可以對它轉發的請求進行身份驗證。
- 為每個開發人員發行 gateway 憑證,以便使用情況歸屬於開發人員,離職時撤銷一個憑證。
- 透過受管設定檔和您的機密工具分發配置,以便每台機器都接收基本 URL 和憑證。當兩者都分發時,開發人員無需配置任何內容。如果您沒有設定分發,開發人員按照連接頁面自己設置變數。
- 讓每個開發人員檢查 Claude Code 中的配置,以便分發問題在他們依賴 gateway 之前浮出水面。
為您的組織推出 LLM gateway 逐步介紹每個步驟,並顯示在每個步驟分發的配置檔案。gateway 是組織設置的一部分;有關政策強制執行、使用情況可見性和資料處理決策,請參閱為您的組織設置 Claude Code。
第三方 gateway
任何公開支持的 API 格式的 gateway 都可以運作。Anthropic 不認可、維護或審計第三方 gateway 產品。按照他們自己的文檔部署它們,然後使用推出步驟完成 Claude Code 端的推出。
訂閱和 gateway
當gateway 憑證變數或 apiKeyHelper 處於活動狀態時,開發人員的 claude.ai 訂閱不被使用:憑證替換該會話的訂閱登錄,訂閱的使用限制不適用。該流量按令牌計費給擁有 gateway 轉發的憑證的人,例如您的組織的 Anthropic Console 帳戶,或當 gateway 路由到那裡時您的 Bedrock、Vertex 或 Foundry 帳戶。
僅設置 ANTHROPIC_BASE_URL 而不設置 gateway 憑證不會替換訂閱。請求仍然透過 gateway 路由,但保存的 claude.ai 登錄保持活動憑證,因此其使用限制和計費適用。將此流量轉發給 Anthropic 的 gateway 必須轉發 anthropic-beta 中的 OAuth 功能;請參閱請求標頭參考。
與 gateway 分開配置
gateway 決定模型 API 請求的發送位置。模型選擇、Claude Code 的其餘網路流量和公司代理分開配置:
- 模型選擇:基本 URL 決定請求的發送位置,而不是哪個模型回答它們。使用
/model命令或模型環境變數選擇模型;請參閱如何設置您的模型 - 客戶端流量:版本檢查和可選客戶端遙測(都使用
CLAUDE_CODE_DISABLE_NONESSENTIAL_TRAFFIC禁用),以及當使用 claude.ai 或 Console 登錄時的登錄流量,轉到 Anthropic 的更新和身份驗證端點而不是 gateway。有關域,請參閱網路存取要求 - 公司代理:使用
HTTPS_PROXY設置的代理位於 Claude Code 和它與之通信的每個伺服器之間,包括 gateway。如果您的網路需要代理,請配置兩者;請參閱代理配置
相關頁面
- 將 Claude Code 連接到 LLM gateway:在您自己的機器上設置基本 URL 和憑證,具有每個表面的配置和故障排除表
- 為您的組織推出 LLM gateway:部署 gateway、發行開發人員憑證和分發受管設定的管理員檢查清單
- Gateway 協議參考:Claude Code 發送到 gateway 的內容,供配置 gateway 的操作人員使用,涵蓋端點、要轉發的標頭和功能傳遞
- 為您的組織設置 Claude Code:gateway 是其中一部分的更廣泛推出決策,包括政策強制執行和使用情況可見性