SpyBara
Go Premium

llm-gateway.md 2026-06-24 22:02 UTC to 2026-06-25 23:58 UTC

64 added, 205 removed.

2026
Tue 30 23:02 Mon 29 23:02 Sat 27 01:01 Fri 26 23:00 Thu 25 23:58 Wed 24 22:02 Tue 23 22:00 Mon 22 23:59 Fri 19 22:58 Thu 18 22:00 Wed 17 17:02 Tue 16 21:57 Mon 15 23:02 Sat 13 21:59 Fri 12 22:00 Thu 11 23:01 Wed 10 23:57 Tue 9 06:34 Mon 8 06:52 Sat 6 06:24 Fri 5 06:45 Thu 4 06:52 Wed 3 06:53 Tue 2 06:51

LLM-Gateways

Leiten Sie Claude Code über ein LLM-Gateway für zentralisierte Authentifizierung, Nutzungsverfolgung und Kostenkontrollen weiter. Behandelt die Verbindung von Claude Code mit einem Gateway, die Bereitstellung für Ihre Organisation, was Claude Code an ein Gateway sendet und wie Gateways mit claude.ai-Abonnements interagieren.

Ein LLM-Gateway ist ein Proxy, den Ihre Organisation zwischen Claude Code und einem Modelleanbieter betreibt. Claude Code sendet API-Verkehr an das Gateway, und das Gateway leitet ihn mit einem Anmeldedaten weiter, das Ihre Organisation kontrolliert, an den Anbieter.

Diese Seite behandelt:

Was ein Gateway bietet

Ein Gateway gibt Ihrer Organisation einen Ort zur Verwaltung von:

  • Anmeldedaten: Der Anbieter-Schlüssel bleibt serverseitig; Entwickler halten stattdessen Gateway-Anmeldedaten
  • Nutzungsverfolgung: Attributieren Sie die Nutzung nach Entwickler oder Team, unabhängig davon, welcher Anbieter die Anfrage bedient
  • Kostenkontrollen: Erzwingen Sie Budgets und Ratenlimits an einem Ort
  • Audit-Protokollierung: Protokollieren Sie jede Modellanfrage zur Compliance
  • Anbieter-Wechsel: Ändern Sie den Anbieter in der Gateway-Konfiguration, ohne Entwicklermaschinen zu berühren

Alle diese außer dem Anbieter-Wechsel gelten, ob der Upstream die API von Anthropic oder ein Cloud-Anbieter ist.

Der Kompromiss besteht darin, dass das Gateway zu einer Infrastruktur wird, die Ihre Organisation betreibt. Claude Code fügt mit jeder Version Funktionen hinzu, und ein Gateway, das diese nicht weiterleitet, bricht die entsprechenden Funktionen, daher muss das Gateway-Produkt aktualisiert werden, wenn sich Claude Code entwickelt. Die Gateway-Protokoll-Referenz behandelt, was weitergeleitet werden soll.

Wie ein Gateway funktioniert

Standardmäßig sendet Claude Code Anfragen direkt an die API von Anthropic unter api.anthropic.com. Um über ein Gateway zu leiten, setzen Sie ANTHROPIC_BASE_URL auf die Adresse des Gateways; Claude Code sendet stattdessen die gleichen Anfragen dorthin. Das Gateway authentifiziert den Entwickler, fügt die Anmeldedaten des Anbieters Ihrer Organisation an und leitet jede Anfrage an den Anbieter weiter, für den es konfiguriert ist.

ANTHROPIC_BASE_URL ist die Adressvariable für die meisten Gateways. Ein Gateway, das einen bestimmten Cloud-Anbieter wie Bedrock, Vertex, Foundry oder die Claude Platform auf AWS frontet, verwendet stattdessen die Basis-URL-Variable dieses Anbieters; API-Formate listet auf, welche Variable zu jeder Konfiguration passt.

Diagramm, das zeigt, wie Claude Code über ein LLM-Gateway geleitet wird. In einer Zone für Entwicklermaschinen senden die Claude Code CLI, VS Code-Erweiterung und CI- oder Agent SDK-Clients Anfragen an das Gateway, wobei die Basis-URL-Variable für das API-Format des Gateways darauf verweist und jeder Entwickler ein Pro-Entwickler-Anmeldedaten hält, und die Desktop-App erreicht das gleiche Gateway über organisationsweit verteilte Konfiguration. In einer Zone mit der Bezeichnung Ihre Infrastruktur verwaltet das LLM-Gateway Authentifizierung, Nutzungsverfolgung, Budgets und Routing und leitet Anfragen mit den Anmeldedaten Ihrer Organisation weiter. In einer Zone für Modelleanbieter führt ein durchgehender Pfeil zum Anbieter, den Sie konfigurieren, dargestellt als die Anthropic API, und gestrichelte Pfeile führen zu anderen Anbieteroptionen, dargestellt mit Amazon Bedrock, Google Vertex AI und Microsoft Foundry als Beispiele.

Zwei Arten von Anmeldedaten sind beteiligt:

  • Entwickler-Anmeldedaten: Jeder Entwickler hält seine eigenen, vom Gateway ausgestellt. Es authentifiziert ihn beim Gateway und identifiziert ihn in der Nutzungsverfolgung
  • Anbieter-Anmeldedaten: Das Gateway hält ein Anmeldedaten für Ihr Anbieterkonto, geteilt von allem weitergeleitetem Verkehr. Sie stellen keine Anbieter-Schlüssel pro Entwickler bereit

Das Gateway leitet jede Anfrage an den Anbieter weiter, den Sie konfigurieren, wie die Anthropic API, Amazon Bedrock, Google Vertex AI, Microsoft Foundry oder die Claude Platform auf AWS. Da Claude Code nur mit dem Gateway spricht, ist die Anbieterauswahl die Konfiguration des Gateways, nicht die des Clients.

Ein Gateway bereitstellen

Wenn Sie bereit sind, ein LLM-Gateway für Ihre Organisation bereitzustellen, ist die Abfolge gleich, welches Gateway-Produkt Sie auch wählen:

  1. Stellen Sie das Gateway bereit und geben Sie ihm Ihre Anbieter-Anmeldedaten, damit es die Anfragen authentifizieren kann, die es weiterleitet.
  2. Geben Sie jedem Entwickler ein Gateway-Anmeldedaten aus, damit die Nutzung dem Entwickler zugeordnet wird und das Offboarding ein Anmeldedaten widerruft.
  3. Verteilen Sie die Konfiguration über eine verwaltete Einstellungsdatei und Ihre Secrets-Tools, damit jede Maschine die Basis-URL und ein Anmeldedaten erhält. Wenn beide verteilt werden, konfigurieren Entwickler nichts. Wenn Sie keine Einstellungsverteilung haben, folgen Entwickler der Verbindungsseite, um die Variablen selbst zu setzen.
  4. Lassen Sie jeden Entwickler die Konfiguration in Claude Code überprüfen, damit Verteilungsprobleme auftauchen, bevor sie vom Gateway abhängig sind.

Ein LLM-Gateway für Ihre Organisation bereitstellen führt jeden Schritt durch und zeigt die Konfigurationsdateien, die bei jedem verteilt werden sollen. Das Gateway ist ein Teil der Organisationseinrichtung; für Richtliniendurchsetzung, Nutzungssichtbarkeit und Datenbehandlungsentscheidungen siehe Claude Code für Ihre Organisation einrichten.

Gateways von Drittanbietern

Jedes Gateway, das ein unterstütztes API-Format bereitstellt, funktioniert. Anthropic befürwortet, wartet oder prüft keine Gateway-Produkte von Drittanbietern. Stellen Sie sie nach ihrer eigenen Dokumentation bereit, und schließen Sie dann die Claude Code-Seite der Bereitstellung mit den Bereitstellungsschritten ab.

Abonnements und Gateways

Während eine Gateway-Anmeldedaten-Variable oder apiKeyHelper aktiv ist, wird das claude.ai-Abonnement eines Entwicklers nicht verwendet: Das Anmeldedaten ersetzt die Abonnement-Anmeldung für diese Sitzung, und die Nutzungslimits des Abonnements gelten nicht. Dieser Verkehr wird pro Token dem Besitzer des Anmeldedaten, das das Gateway weiterleitet, wie Ihr Anthropic Console-Konto der Organisation oder Ihr Bedrock-, Vertex- oder Foundry-Konto, wenn das Gateway dorthin leitet, in Rechnung gestellt.

Das Setzen nur von ANTHROPIC_BASE_URL ohne Gateway-Anmeldedaten ersetzt das Abonnement nicht. Anfragen werden immer noch über das Gateway geleitet, aber eine gespeicherte claude.ai-Anmeldung bleibt das aktive Anmeldedaten, daher gelten seine Nutzungslimits und Abrechnung. Gateways, die diesen Verkehr an Anthropic weitergeben, müssen die OAuth-Fähigkeit in anthropic-beta weiterleiten; siehe die Request-Header-Referenz.

Separat vom Gateway konfigurieren

Ein Gateway bestimmt, wohin Modell-API-Anfragen gesendet werden. Modellauswahl, der Rest des Netzwerkverkehrs von Claude Code und Unternehmens-Proxies werden separat konfiguriert:

  • Modellauswahl: Die Basis-URL entscheidet, wohin Anfragen gehen, nicht welches Modell sie beantwortet. Wählen Sie das Modell mit dem /model-Befehl oder den Modell-Umgebungsvariablen; siehe wie Sie Ihr Modell setzen
  • Client-seitiger Verkehr: Versionsprüfungen und optionale Client-Telemetrie, beide deaktiviert mit CLAUDE_CODE_DISABLE_NONESSENTIAL_TRAFFIC, und Anmeldungsverkehr, wenn eine claude.ai- oder Console-Anmeldung verwendet wird, gehen zu den Update- und Authentifizierungsendpunkten von Anthropic statt zum Gateway. Siehe Netzwerkzugriffsanforderungen für die Domänen
  • Unternehmens-Proxies: Ein mit HTTPS_PROXY gesetzter Proxy sitzt zwischen Claude Code und jedem Server, mit dem es spricht, einschließlich des Gateways. Wenn Ihr Netzwerk einen Proxy erfordert, konfigurieren Sie beide; siehe Proxy-Konfiguration