LLM gateway
Claude Code를 LLM gateway를 통해 라우팅하여 중앙 집중식 인증, 사용량 추적 및 비용 제어를 수행합니다. Claude Code를 gateway에 연결하고, 조직을 위해 gateway를 배포하고, Claude Code가 gateway에 전송하는 내용, 그리고 gateway가 claude.ai 구독과 상호작용하는 방식을 다룹니다.
LLM gateway는 Claude Code와 모델 공급자 간에 조직이 운영하는 프록시입니다. Claude Code는 API 트래픽을 gateway로 전송하고, gateway는 조직이 제어하는 자격 증명을 사용하여 공급자에게 이를 전달합니다.
gateway가 제공하는 것
gateway는 조직이 다음을 관리할 수 있는 한 곳을 제공합니다:
- 자격 증명: 공급자 키는 서버 측에 유지되고, 개발자는 gateway 자격 증명을 대신 보유합니다
- 사용량 추적: 요청을 처리하는 공급자와 관계없이 개발자 또는 팀별로 사용량을 속성화합니다
- 비용 제어: 한 곳에서 예산 및 속도 제한을 적용합니다
- 감사 로깅: 규정 준수를 위해 모든 모델 요청을 기록합니다
- 공급자 전환: 개발자 머신을 건드리지 않고 gateway 구성에서 공급자를 변경합니다
이 중 공급자 전환을 제외한 모든 것은 업스트림이 Anthropic의 API이든 클라우드 공급자이든 적용됩니다.
트레이드오프는 gateway가 조직이 운영하는 인프라가 된다는 것입니다. Claude Code는 각 릴리스마다 기능을 추가하고, gateway가 이를 전달하지 않으면 해당 기능이 손상되므로, gateway 제품은 Claude Code가 진화함에 따라 최신 상태로 유지되어야 합니다. gateway 프로토콜 참조는 전달할 내용을 다룹니다.
gateway가 작동하는 방식
기본적으로 Claude Code는 api.anthropic.com의 Anthropic API로 요청을 직접 전송합니다. gateway를 통해 라우팅하려면 ANTHROPIC_BASE_URL을 gateway의 주소로 설정합니다. Claude Code는 대신 동일한 요청을 그곳으로 전송합니다. gateway는 개발자를 인증하고, 조직의 공급자 자격 증명을 첨부하고, 각 요청을 구성된 공급자로 전달합니다.
ANTHROPIC_BASE_URL은 대부분의 gateway에 대한 주소 변수입니다. Bedrock, Vertex, Foundry 또는 AWS의 Claude Platform과 같은 특정 클라우드 공급자를 앞에 두는 gateway는 대신 해당 공급자의 기본 URL 변수를 사용합니다. API 형식은 각 구성과 함께 어떤 변수가 사용되는지 나열합니다.
두 가지 종류의 자격 증명이 관련됩니다:
- 개발자 자격 증명: 각 개발자는 gateway에서 발급한 자신의 자격 증명을 보유합니다. 이는 gateway에 대해 인증하고 사용량 추적에서 개발자를 식별합니다
- 공급자 자격 증명: gateway는 공급자 계정에 대한 하나의 자격 증명을 보유하며, 모든 전달된 트래픽에서 공유됩니다. 개발자별로 공급자 키를 프로비저닝하지 않습니다
gateway는 Anthropic API, Amazon Bedrock, Google Vertex AI, Microsoft Foundry 또는 AWS의 Claude Platform과 같이 구성한 공급자로 각 요청을 전달합니다. Claude Code는 gateway하고만 통신하므로, 공급자 선택은 gateway의 구성이지 클라이언트의 구성이 아닙니다.
gateway 배포
조직에 LLM gateway를 배포할 준비가 되면, 선택한 gateway 제품이 무엇이든 순서는 동일합니다:
- gateway를 배포하고 공급자 자격 증명을 제공하여 전달하는 요청을 인증할 수 있도록 합니다.
- 각 개발자에게 gateway 자격 증명을 발급하여 사용량이 개발자에게 속성화되고 오프보딩이 하나의 자격 증명을 취소하도록 합니다.
- 관리되는 설정 파일 및 비밀 도구를 통해 구성을 배포하여 모든 머신이 기본 URL과 자격 증명을 받도록 합니다. 둘 다 배포되면 개발자는 아무것도 구성하지 않습니다. 설정 배포가 없으면 개발자는 연결 페이지를 따라 변수를 직접 설정합니다.
- 각 개발자가 Claude Code에서 구성을 확인하도록 하여 배포 문제가 gateway에 의존하기 전에 표면화되도록 합니다.
조직을 위해 LLM gateway 배포는 각 단계를 안내하고 각 단계에서 배포할 구성 파일을 보여줍니다. gateway는 조직 설정의 한 부분입니다. 정책 적용, 사용량 가시성 및 데이터 처리 결정의 경우 조직을 위해 Claude Code 설정을 참조하세요.
제3자 gateway
지원되는 API 형식을 노출하는 모든 gateway가 작동합니다. Anthropic은 제3자 gateway 제품을 보증, 유지 관리 또는 감사하지 않습니다. 자신의 문서에 따라 배포한 다음 배포 단계를 사용하여 Claude Code 측의 배포를 완료합니다.
구독 및 gateway
gateway 자격 증명 변수 또는 apiKeyHelper가 활성화되어 있는 동안 개발자의 claude.ai 구독은 사용되지 않습니다: 자격 증명이 해당 세션에 대한 구독 로그인을 대체하고, 구독의 사용량 제한이 적용되지 않습니다. 해당 트래픽은 gateway가 전달하는 자격 증명의 소유자(예: 조직의 Anthropic Console 계정 또는 gateway가 그곳으로 라우팅할 때 Bedrock, Vertex 또는 Foundry 계정)에게 토큰당 청구됩니다.
gateway 자격 증명 없이 ANTHROPIC_BASE_URL만 설정하면 구독을 대체하지 않습니다. 요청은 여전히 gateway를 통해 라우팅되지만 저장된 claude.ai 로그인이 활성 자격 증명으로 유지되므로 해당 사용량 제한 및 청구가 적용됩니다. 이 트래픽을 Anthropic에 전달하는 gateway는 anthropic-beta에서 OAuth 기능을 전달해야 합니다. 요청 헤더 참조를 참조하세요.
gateway와 별도로 구성
gateway는 모델 API 요청이 전송되는 위치를 결정합니다. 모델 선택, Claude Code의 나머지 네트워크 트래픽 및 회사 프록시는 별도로 구성됩니다:
- 모델 선택: 기본 URL은 요청이 가는 위치를 결정하고, 어떤 모델이 응답하는지는 결정하지 않습니다.
/model명령 또는 모델 환경 변수로 모델을 선택합니다. 모델을 설정하는 방법을 참조하세요 - 클라이언트 측 트래픽: 버전 확인 및 선택적 클라이언트 원격 분석(둘 다
CLAUDE_CODE_DISABLE_NONESSENTIAL_TRAFFIC으로 비활성화됨) 및 claude.ai 또는 Console 로그인이 사용 중일 때의 로그인 트래픽은 gateway가 아닌 Anthropic의 업데이트 및 인증 엔드포인트로 이동합니다. 도메인은 네트워크 액세스 요구사항을 참조하세요 - 회사 프록시:
HTTPS_PROXY로 설정된 프록시는 Claude Code와 gateway를 포함하여 통신하는 모든 서버 간에 위치합니다. 네트워크에 프록시가 필요하면 둘 다 구성합니다. 프록시 구성을 참조하세요
관련 페이지
- Claude Code를 LLM gateway에 연결: 자신의 머신에서 기본 URL 및 자격 증명을 설정하고, 표면별 구성 및 문제 해결 테이블 포함
- 조직을 위해 LLM gateway 배포: gateway 배포, 개발자 자격 증명 발급 및 관리되는 설정 배포를 위한 관리자 체크리스트
- Gateway 프로토콜 참조: Claude Code가 gateway에 전송하는 내용, gateway를 구성하는 운영자를 위해, 엔드포인트, 전달할 헤더 및 기능 통과를 다룸
- 조직을 위해 Claude Code 설정: gateway가 정책 적용 및 사용량 가시성을 포함한 한 부분인 더 넓은 배포 결정