SpyBara
Go Premium

llm-gateway.md 2026-06-27 01:01 UTC to 2026-06-29 23:02 UTC

1 added, 1 removed.

2026
Tue 30 23:02 Mon 29 23:02 Sat 27 01:01 Fri 26 23:00 Thu 25 23:58 Wed 24 22:02 Tue 23 22:00 Mon 22 23:59 Fri 19 22:58 Thu 18 22:00 Wed 17 17:02 Tue 16 21:57 Mon 15 23:02 Sat 13 21:59 Fri 12 22:00 Thu 11 23:01 Wed 10 23:57 Tue 9 06:34 Mon 8 06:52 Sat 6 06:24 Fri 5 06:45 Thu 4 06:52 Wed 3 06:53 Tue 2 06:51

LLM gateways

Маршрутизируйте Claude Code через LLM gateway для централизованной аутентификации, отслеживания использования и контроля затрат. Охватывает подключение Claude Code к шлюзу, развертывание шлюза для вашей организации, что Claude Code отправляет на шлюз и как шлюзы взаимодействуют с подписками claude.ai.

LLM gateway — это прокси, который ваша организация запускает между Claude Code и поставщиком модели. Claude Code отправляет трафик API на шлюз, а шлюз перенаправляет его поставщику, используя учетные данные, которыми управляет ваша организация.

Что предоставляет шлюз

Шлюз дает вашей организации одно место для управления:

  • Учетные данные: ключ поставщика остается на стороне сервера; разработчики вместо этого используют учетные данные шлюза
  • Отслеживание использования: атрибутируйте использование по разработчику или команде, независимо от того, какой поставщик обслуживает запрос
  • Контроль затрат: применяйте бюджеты и ограничения скорости в одном месте
  • Логирование аудита: логируйте каждый запрос модели для соответствия требованиям
  • Переключение поставщика: измените поставщика в конфигурации шлюза, не трогая машины разработчиков

Все эти функции, кроме переключения поставщика, применяются независимо от того, является ли upstream API Anthropic или облачный поставщик.

Компромисс заключается в том, что шлюз становится инфраструктурой, которую управляет ваша организация. Claude Code добавляет возможности с каждым выпуском, и шлюз, который не перенаправляет их, нарушает соответствующие функции, поэтому продукт шлюза должен быть обновлен по мере развития Claude Code. Справочник протокола шлюза охватывает то, что нужно перенаправлять.

Как работает шлюз

По умолчанию Claude Code отправляет запросы непосредственно на API Anthropic по адресу api.anthropic.com. Чтобы маршрутизировать через шлюз, установите ANTHROPIC_BASE_URL на адрес шлюза; Claude Code отправляет туда же запросы. Шлюз аутентифицирует разработчика, прикрепляет учетные данные поставщика вашей организации и перенаправляет каждый запрос поставщику, для которого он настроен.

ANTHROPIC_BASE_URL — это переменная адреса для большинства шлюзов. Шлюз, который находится перед конкретным облачным поставщиком, таким как Bedrock, Vertex, Foundry или Claude Platform на AWS, использует переменную базового URL этого поставщика; Форматы API указывает, какая переменная идет с каждой конфигурацией.

Диаграмма, показывающая маршрутизацию Claude Code через LLM gateway. В зоне машин разработчиков Claude Code CLI, расширение VS Code и клиенты CI или Agent SDK отправляют запросы на шлюз, с переменной базового URL для формата API шлюза, указывающей на него, и каждый разработчик держит учетные данные для каждого разработчика, а настольное приложение достигает того же шлюза через конфигурацию, распределенную организацией. В зоне, обозначенной как ваша инфраструктура, LLM gateway обрабатывает аутентификацию, отслеживание использования, бюджеты и маршрутизацию, и перенаправляет запросы с учетными данными вашей организации. В зоне поставщиков моделей сплошная стрелка ведет к поставщику, который вы настраиваете, показанному как API Anthropic, и пунктирные стрелки ведут к другим вариантам поставщика, проиллюстрированным Amazon Bedrock, Google Vertex AI и Microsoft Foundry в качестве примеров.

Задействованы два вида учетных данных:

  • Учетные данные разработчика: каждый разработчик держит свои собственные, выданные шлюзом. Они аутентифицируют его на шлюзе и идентифицируют его при отслеживании использования
  • Учетные данные поставщика: шлюз держит одно учетное данные для вашей учетной записи поставщика, используемое всем перенаправленным трафиком. Вы не предоставляете ключи поставщика для каждого разработчика

Шлюз перенаправляет каждый запрос поставщику, который вы настраиваете, такому как API Anthropic, Amazon Bedrock, Google Vertex AI, Microsoft Foundry или Claude Platform на AWS. Поскольку Claude Code разговаривает только со шлюзом, выбор поставщика — это конфигурация шлюза, а не клиента.

Развертывание шлюза

Когда вы готовы развернуть LLM gateway для вашей организации, последовательность одинакова независимо от того, какой продукт шлюза вы выберете:

  1. Разверните шлюз и дайте ему учетные данные вашего поставщика, чтобы он мог аутентифицировать запросы, которые он перенаправляет.
  2. Выдайте каждому разработчику учетные данные шлюза, чтобы использование было отнесено разработчику и отключение отзывает одно учетное данные.
  3. Распределите конфигурацию через управляемый файл параметров и ваши инструменты управления секретами, чтобы каждая машина получила базовый URL и учетные данные. Когда оба распределены, разработчики ничего не настраивают. Если у вас нет распределения параметров, разработчики следуют странице подключения, чтобы установить переменные самостоятельно.
  4. Попросите каждого разработчика проверить конфигурацию в Claude Code, чтобы проблемы распределения выявились до того, как они будут зависеть от шлюза.

Развертывание LLM gateway для вашей организации проходит каждый шаг и показывает файлы конфигурации для распределения на каждом. Шлюз — это одна часть организационной настройки; для применения политики, видимости использования и решений по обработке данных см. Настройка Claude Code для вашей организации.

Шлюзы третьих сторон

Любой шлюз, который предоставляет поддерживаемый формат API, работает. Anthropic не одобряет, не поддерживает и не проверяет продукты шлюзов третьих сторон. Разверните их, следуя их собственной документации, затем завершите сторону Claude Code развертывания с помощью этапов развертывания.

Подписки и шлюзы

Пока активна переменная учетных данных шлюза или apiKeyHelper, подписка claude.ai разработчика не используется: учетные данные заменяют вход подписки для этого сеанса, и ограничения использования подписки не применяются. Этот трафик выставляется счетом за токен тому, кто владеет учетными данными, которые перенаправляет шлюз, например вашей учетной записи Anthropic Console организации или вашей учетной записи Bedrock, Vertex или Foundry, когда шлюз маршрутизирует туда.

Установка только ANTHROPIC_BASE_URL без учетных данных шлюза не заменяет подписку. Запросы по-прежнему маршрутизируются через шлюз, но сохраненный вход claude.ai остается активным учетным данным, поэтому применяются его ограничения использования и выставление счетов. Шлюзы, которые передают этот трафик на Anthropic, должны перенаправлять возможность OAuth в anthropic-beta; см. справочник заголовков запроса.

Настройка отдельно от шлюза

Шлюз определяет, куда отправляются запросы API модели. Выбор модели, остальной трафик сети Claude Code и корпоративные прокси настраиваются отдельно:

  • Выбор модели: базовый URL определяет, куда идут запросы, а не какая модель отвечает. Выберите модель с помощью команды /model или переменных окружения модели; см. как установить вашу модель
  • Трафик на стороне клиента: проверки версии и дополнительная телеметрия клиента, обе отключены с помощью CLAUDE_CODE_DISABLE_NONESSENTIAL_TRAFFIC, и трафик входа при использовании входа claude.ai или Console идут на конечные точки обновления и аутентификации Anthropic, а не на шлюз. См. требования доступа в сеть для доменов
  • Корпоративные прокси: прокси, установленный с помощью HTTPS_PROXY, находится между Claude Code и каждым сервером, с которым он разговаривает, включая шлюз. Если ваша сеть требует прокси, настройте оба; см. конфигурация прокси
  • Подключение Claude Code к LLM gateway: установите базовый URL и учетные данные на вашей собственной машине, с конфигурацией для каждой поверхности и таблицей устранения неполадок
  • Развертывание LLM gateway для вашей организации: контрольный список администратора для развертывания шлюза, выдачи учетных данных разработчика и распределения управляемых параметров
  • Справочник протокола шлюза: что Claude Code отправляет на шлюз, для операторов, настраивающих его, охватывающий конечные точки, заголовки для перенаправления и передачу функций
  • Настройка Claude Code для вашей организации: более широкие решения развертывания, частью которых является шлюз, включая применение политики и видимость использования