LLM gateway
Arahkan Claude Code melalui LLM gateway untuk autentikasi terpusat, pelacakan penggunaan, dan kontrol biaya. Mencakup menghubungkan Claude Code ke gateway, meluncurkannya untuk organisasi Anda, apa yang Claude Code kirimkan ke gateway, dan bagaimana gateway berinteraksi dengan langganan claude.ai.
LLM gateway adalah proxy yang dijalankan organisasi Anda antara Claude Code dan penyedia model. Claude Code mengirimkan lalu lintas API ke gateway, dan gateway meneruskannya ke penyedia menggunakan kredensial yang dikendalikan organisasi Anda.
Apa yang disediakan gateway
Gateway memberikan organisasi Anda satu tempat untuk mengelola:
- Kredensial: kunci penyedia tetap di sisi server; pengembang memegang kredensial gateway sebagai gantinya
- Pelacakan penggunaan: atribusikan penggunaan berdasarkan pengembang atau tim, terlepas dari penyedia mana yang melayani permintaan
- Kontrol biaya: terapkan anggaran dan batas laju di satu tempat
- Pencatatan audit: catat setiap permintaan model untuk kepatuhan
- Peralihan penyedia: ubah penyedia dalam konfigurasi gateway, tanpa menyentuh mesin pengembang
Semua ini kecuali peralihan penyedia berlaku apakah upstream adalah API Anthropic atau penyedia cloud.
Pertukaran adalah bahwa gateway menjadi infrastruktur yang dioperasikan organisasi Anda. Claude Code menambahkan kemampuan dengan setiap rilis, dan gateway yang tidak meneruskannya merusak fitur yang sesuai, jadi produk gateway perlu tetap diperbarui seiring Claude Code berkembang. Referensi protokol gateway mencakup apa yang harus diteruskan.
Bagaimana gateway bekerja
Secara default, Claude Code mengirimkan permintaan langsung ke API Anthropic di api.anthropic.com. Untuk merutekan melalui gateway, atur ANTHROPIC_BASE_URL ke alamat gateway; Claude Code mengirimkan permintaan yang sama ke sana sebagai gantinya. Gateway mengautentikasi pengembang, melampirkan kredensial penyedia organisasi Anda, dan meneruskan setiap permintaan ke penyedia mana pun yang dikonfigurasinya.
ANTHROPIC_BASE_URL adalah variabel alamat untuk sebagian besar gateway. Gateway yang menghadap penyedia cloud tertentu, seperti Bedrock, Vertex, Foundry, atau Claude Platform di AWS, menggunakan variabel URL dasar penyedia itu sebagai gantinya; Format API mencantumkan variabel mana yang cocok dengan setiap konfigurasi.
Dua jenis kredensial terlibat:
- Kredensial pengembang: setiap pengembang memegang miliknya sendiri, dikeluarkan oleh gateway. Ini mengautentikasi mereka ke gateway dan mengidentifikasi mereka dalam pelacakan penggunaan
- Kredensial penyedia: gateway memegang satu kredensial untuk akun penyedia Anda, dibagikan oleh semua lalu lintas yang diteruskan. Anda tidak menyediakan kunci penyedia per pengembang
Gateway meneruskan setiap permintaan ke penyedia yang Anda konfigurasi, seperti API Anthropic, Amazon Bedrock, Google Vertex AI, Microsoft Foundry, atau Claude Platform di AWS. Karena Claude Code hanya berbicara dengan gateway, pilihan penyedia adalah konfigurasi gateway, bukan klien.
Luncurkan gateway
Ketika Anda siap meluncurkan LLM gateway ke organisasi Anda, urutannya sama terlepas dari produk gateway mana yang Anda pilih:
- Terapkan gateway dan berikan kredensial penyedia Anda, sehingga dapat mengautentikasi permintaan yang diteruskannya.
- Keluarkan setiap pengembang kredensial gateway, sehingga penggunaan dikaitkan dengan pengembang dan offboarding mencabut satu kredensial.
- Distribusikan konfigurasi melalui file pengaturan terkelola dan alat rahasia Anda, sehingga setiap mesin menerima URL dasar dan kredensial. Ketika keduanya didistribusikan, pengembang tidak mengonfigurasi apa pun. Jika Anda tidak memiliki distribusi pengaturan, pengembang mengikuti halaman koneksi untuk menetapkan variabel sendiri.
- Minta setiap pengembang memeriksa konfigurasi di Claude Code, sehingga masalah distribusi muncul sebelum mereka bergantung pada gateway.
Luncurkan LLM gateway untuk organisasi Anda menjelaskan setiap langkah dan menunjukkan file konfigurasi untuk didistribusikan di setiap langkah. Gateway adalah satu bagian dari pengaturan organisasi; untuk penegakan kebijakan, visibilitas penggunaan, dan keputusan penanganan data, lihat Siapkan Claude Code untuk organisasi Anda.
Gateway pihak ketiga
Setiap gateway yang mengekspos format API yang didukung berfungsi. Anthropic tidak mendukung, memelihara, atau mengaudit produk gateway pihak ketiga. Terapkan mengikuti dokumentasi mereka sendiri, kemudian selesaikan sisi Claude Code dari peluncuran dengan langkah-langkah peluncuran.
Langganan dan gateway
Sementara variabel kredensial gateway atau apiKeyHelper aktif, langganan claude.ai pengembang tidak digunakan: kredensial menggantikan login langganan untuk sesi itu, dan batas penggunaan langganan tidak berlaku. Lalu lintas itu ditagih per token kepada siapa pun yang memiliki kredensial yang diteruskan gateway, seperti akun Anthropic Console organisasi Anda, atau akun Bedrock, Vertex, atau Foundry Anda ketika gateway merutekan ke sana.
Menetapkan hanya ANTHROPIC_BASE_URL, tanpa kredensial gateway, tidak menggantikan langganan. Permintaan masih merutekan melalui gateway, tetapi login claude.ai yang disimpan tetap menjadi kredensial aktif, sehingga batas penggunaan dan penagihan berlaku. Gateway yang meneruskan lalu lintas ini ke Anthropic harus meneruskan kemampuan OAuth di anthropic-beta; lihat referensi header permintaan.
Konfigurasi secara terpisah dari gateway
Gateway menentukan di mana permintaan API model dikirim. Pemilihan model, sisa lalu lintas jaringan Claude Code, dan proxy korporat dikonfigurasi secara terpisah:
- Pemilihan model: URL dasar menentukan di mana permintaan pergi, bukan model mana yang menjawabnya. Pilih model dengan perintah
/modelatau variabel lingkungan model; lihat cara mengatur model Anda - Lalu lintas sisi klien: pemeriksaan versi dan telemetri klien opsional, keduanya dinonaktifkan dengan
CLAUDE_CODE_DISABLE_NONESSENTIAL_TRAFFIC, dan lalu lintas login ketika login claude.ai atau Console digunakan, pergi ke endpoint pembaruan dan autentikasi Anthropic daripada gateway. Lihat persyaratan akses jaringan untuk domain - Proxy korporat: proxy yang ditetapkan dengan
HTTPS_PROXYduduk di antara Claude Code dan setiap server yang dibicarakannya, termasuk gateway. Jika jaringan Anda memerlukan proxy, konfigurasi keduanya; lihat konfigurasi proxy
Halaman terkait
- Hubungkan Claude Code ke LLM gateway: atur URL dasar dan kredensial di mesin Anda sendiri, dengan konfigurasi per-permukaan dan tabel pemecahan masalah
- Luncurkan LLM gateway untuk organisasi Anda: daftar periksa admin untuk menerapkan gateway, mengeluarkan kredensial pengembang, dan mendistribusikan pengaturan terkelola
- Referensi protokol gateway: apa yang Claude Code kirimkan ke gateway, untuk operator yang mengonfigurasi satu, mencakup endpoint, header untuk diteruskan, dan pass-through fitur
- Siapkan Claude Code untuk organisasi Anda: keputusan peluncuran yang lebih luas yang merupakan bagian dari gateway, termasuk penegakan kebijakan dan visibilitas penggunaan