Gateway LLM

Instrada Claude Code attraverso un gateway LLM per l'autenticazione centralizzata, il tracciamento dell'utilizzo e i controlli dei costi. Copre il collegamento di Claude Code a un gateway, il rollout per la tua organizzazione, cosa Claude Code invia a un gateway e come i gateway interagiscono con gli abbonamenti a claude.ai.

Un gateway LLM è un proxy che la tua organizzazione esegue tra Claude Code e un provider di modelli. Claude Code invia il traffico API al gateway, e il gateway lo inoltra al provider utilizzando una credenziale che la tua organizzazione controlla.

Cosa fornisce un gateway

Un gateway offre alla tua organizzazione un unico posto per gestire:

• Credenziali: la chiave del provider rimane lato server; gli sviluppatori mantengono invece le credenziali del gateway
• Tracciamento dell'utilizzo: attribuisci l'utilizzo per sviluppatore o team, indipendentemente da quale provider serve la richiesta
• Controlli dei costi: applica budget e limiti di velocità in un unico posto
• Registrazione di audit: registra ogni richiesta di modello per la conformità
• Cambio di provider: cambia il provider nella configurazione del gateway, senza toccare le macchine degli sviluppatori

Tutti questi, tranne il cambio di provider, si applicano sia che l'upstream sia l'API di Anthropic che un provider cloud.

Il compromesso è che il gateway diventa un'infrastruttura che la tua organizzazione gestisce. Claude Code aggiunge funzionalità con ogni rilascio, e un gateway che non le inoltra interrompe le funzionalità corrispondenti, quindi il prodotto gateway deve essere mantenuto aggiornato man mano che Claude Code evolve. Il riferimento del protocollo gateway copre cosa inoltrare.

Come funziona un gateway

Per impostazione predefinita, Claude Code invia richieste direttamente all'API di Anthropic su api.anthropic.com. Per instradare attraverso un gateway, imposta ANTHROPIC_BASE_URL all'indirizzo del gateway; Claude Code invia le stesse richieste lì invece. Il gateway autentica lo sviluppatore, allega la credenziale del provider della tua organizzazione e inoltra ogni richiesta a qualunque provider sia configurato.

ANTHROPIC_BASE_URL è la variabile di indirizzo per la maggior parte dei gateway. Un gateway che fronteggia un provider cloud specifico, come Bedrock, Vertex, Foundry o la Claude Platform su AWS, utilizza invece la variabile di URL di base di quel provider; Formati API elenca quale variabile va con ogni configurazione.

Due tipi di credenziale sono coinvolti:

• Credenziali sviluppatore: ogni sviluppatore ne tiene una propria, emessa dal gateway. Autentica lo sviluppatore al gateway e lo identifica nel tracciamento dell'utilizzo
• Credenziale provider: il gateway ne tiene una per il tuo account provider, condivisa da tutto il traffico inoltrato. Non esegui il provisioning delle chiavi del provider per sviluppatore

Il gateway inoltra ogni richiesta al provider che configuri, come l'API di Anthropic, Amazon Bedrock, Google Vertex AI, Microsoft Foundry, o la Claude Platform su AWS. Poiché Claude Code parla solo al gateway, la scelta del provider è la configurazione del gateway, non quella del client.

Esegui il rollout di un gateway

Quando sei pronto a eseguire il rollout di un gateway LLM alla tua organizzazione, la sequenza è la stessa indipendentemente dal prodotto gateway che scegli:

1. Distribuisci il gateway e dagli la tua credenziale del provider, in modo che possa autenticare le richieste che inoltra.
2. Emetti a ogni sviluppatore una credenziale del gateway, in modo che l'utilizzo sia attribuito allo sviluppatore e l'offboarding revoca una credenziale.
3. Distribuisci la configurazione attraverso un file di impostazioni gestite e il tuo strumento di segreti, in modo che ogni macchina riceva l'URL di base e una credenziale. Quando entrambi sono distribuiti, gli sviluppatori non configurano nulla. Se non hai la distribuzione delle impostazioni in atto, gli sviluppatori seguono la pagina di connessione per impostare le variabili stessi.
4. Fai in modo che ogni sviluppatore verifichi la configurazione in Claude Code, in modo che i problemi di distribuzione emergano prima che dipendano dal gateway.

Esegui il rollout di un gateway LLM per la tua organizzazione esamina ogni passaggio e mostra i file di configurazione da distribuire a ogni passaggio. Il gateway è una parte della configurazione dell'organizzazione; per l'applicazione delle politiche, la visibilità dell'utilizzo e le decisioni sulla gestione dei dati, vedi Configura Claude Code per la tua organizzazione.

Gateway di terze parti

Qualsiasi gateway che espone un formato API supportato funziona. Anthropic non approva, mantiene o controlla i prodotti gateway di terze parti. Distribuiscili seguendo la loro documentazione, quindi completa il lato Claude Code del rollout con i passaggi di rollout.

Abbonamenti e gateway

Mentre una variabile di credenziale del gateway o apiKeyHelper è attiva, l'abbonamento a claude.ai di uno sviluppatore non viene utilizzato: la credenziale sostituisce l'accesso all'abbonamento per quella sessione, e i limiti di utilizzo dell'abbonamento non si applicano. Quel traffico viene fatturato per token a chiunque possieda la credenziale che il gateway inoltra, come l'account Anthropic Console della tua organizzazione, o il tuo account Bedrock, Vertex o Foundry quando il gateway instrada lì.

Impostare solo ANTHROPIC_BASE_URL, senza una credenziale del gateway, non sostituisce l'abbonamento. Le richieste vengono comunque instradate attraverso il gateway, ma un accesso a claude.ai salvato rimane la credenziale attiva, quindi i suoi limiti di utilizzo e la fatturazione si applicano. I gateway che passano questo traffico ad Anthropic devono inoltrare la capacità OAuth in anthropic-beta; vedi il riferimento delle intestazioni della richiesta.

Configura separatamente dal gateway

Un gateway determina dove vengono inviate le richieste API del modello. La selezione del modello, il resto del traffico di rete di Claude Code e i proxy aziendali sono configurati separatamente:

• Selezione del modello: l'URL di base decide dove vanno le richieste, non quale modello le risponde. Scegli il modello con il comando /model o le variabili di ambiente del modello; vedi come impostare il tuo modello
• Traffico lato client: i controlli della versione e la telemetria facoltativa del client, entrambi disabilitati con CLAUDE_CODE_DISABLE_NONESSENTIAL_TRAFFIC, e il traffico di accesso quando è in uso un accesso a claude.ai o Console, vanno agli endpoint di aggiornamento e autenticazione di Anthropic piuttosto che al gateway. Vedi requisiti di accesso alla rete per i domini
• Proxy aziendali: un proxy impostato con HTTPS_PROXY si trova tra Claude Code e ogni server con cui parla, incluso il gateway. Se la tua rete richiede un proxy, configura entrambi; vedi configurazione del proxy

Pagine correlate

• Collega Claude Code a un gateway LLM: imposta l'URL di base e la credenziale sulla tua macchina, con configurazione per superficie e una tabella di risoluzione dei problemi
• Esegui il rollout di un gateway LLM per la tua organizzazione: la checklist dell'amministratore per distribuire un gateway, emettere credenziali sviluppatore e distribuire impostazioni gestite
• Riferimento del protocollo gateway: cosa Claude Code invia a un gateway, per gli operatori che ne configurano uno, coprendo endpoint, intestazioni da inoltrare e pass-through delle funzionalità
• Configura Claude Code per la tua organizzazione: le decisioni di rollout più ampie di cui un gateway è una parte, inclusa l'applicazione delle politiche e la visibilità dell'utilizzo