SpyBara
Go Premium

llm-gateway.md 2026-10-22 22:58 UTC to 2026-10-23 22:59 UTC

This page contains 18 additions and 18 deletions.

2026
Thu 1 23:59 Tue 20 23:00 Thu 22 22:58 Fri 23 22:59

Gateway LLM lainnya

Arahkan Claude Code melalui gateway LLM yang sudah dijalankan organisasi Anda. Mencakup menghubungkan Claude Code ke gateway, meluncurkannya untuk organisasi Anda, dan apa yang Claude Code kirimkan ke gateway.

Bagian ini mencakup penggunaan produk gateway yang sudah dijalankan organisasi Anda, bukan gateway aplikasi Claude. Untuk apa itu gateway, bagaimana gateway berada di antara Claude Code dan penyedia Anda, dan cara memilih antara gateway aplikasi Claude dan produk lain, lihat gambaran umum gateway.

[!NOTE]

Setiap gateway yang mengekspos format API yang didukung berfungsi. Anthropic tidak mendukung, memelihara, atau mengaudit produk gateway pihak ketiga, dan tidak mendukung perutean Claude Code ke model non-Claude melalui gateway apa pun. Terapkan gateway mengikuti dokumentasinya sendiri, kemudian selesaikan sisi Claude Code dengan langkah-langkah peluncuran di bawah.

Apa yang disediakan gateway

Gateway memberikan organisasi Anda satu tempat untuk mengelola:

  • Kredensial: kunci penyedia tetap di sisi server; pengembang memegang kredensial gateway sebagai gantinya
  • Pelacakan penggunaan: atribusikan penggunaan berdasarkan pengembang atau tim, terlepas dari penyedia mana yang melayani permintaan
  • Kontrol biaya: terapkan anggaran dan batas laju di satu tempat
  • Pencatatan audit: catat setiap permintaan model untuk kepatuhan
  • Peralihan penyedia: ubah penyedia dalam konfigurasi gateway, tanpa menyentuh mesin pengembang

Semua ini kecuali peralihan penyedia berlaku apakah upstream adalah API Anthropic atau penyedia cloud. Peralihan penyedia tanpa mengonfigurasi ulang mesin pengembang juga bergantung pada gateway yang mengekspos satu endpoint format Anthropic terlepas dari upstream. Gateway yang mengekspos format penyedia sendiri mengikat konfigurasi klien ke penyedia itu dan mengubah apa yang Claude Code kirimkan dan default mana yang diterapkannya.

Pertukaran adalah bahwa gateway menjadi infrastruktur yang dioperasikan organisasi Anda. Claude Code menambahkan kemampuan dengan setiap rilis, dan gateway yang tidak meneruskannya merusak fitur yang sesuai, jadi produk gateway perlu tetap diperbarui seiring Claude Code berkembang. Panduan kompatibilitas gateway mencakup apa yang harus diteruskan.

Luncurkan gateway

Ketika Anda siap meluncurkan gateway LLM ke organisasi Anda, urutannya sama terlepas dari produk gateway mana yang Anda pilih:

  1. Terapkan gateway dan berikan kredensial penyedia Anda, sehingga dapat mengautentikasi permintaan yang diteruskannya.
  2. Keluarkan setiap pengembang kredensial gateway, sehingga penggunaan dikaitkan dengan pengembang dan offboarding mencabut satu kredensial.
  3. Distribusikan konfigurasi melalui file pengaturan terkelola dan alat rahasia Anda, sehingga setiap mesin menerima URL dasar dan kredensial. Ketika keduanya didistribusikan, pengembang tidak mengonfigurasi apa pun. Jika Anda tidak memiliki distribusi pengaturan, pengembang mengikuti halaman koneksi untuk menetapkan variabel sendiri.
  4. Minta setiap pengembang memeriksa konfigurasi di Claude Code, sehingga masalah distribusi muncul sebelum mereka bergantung pada gateway.

Luncurkan gateway LLM untuk organisasi Anda menjelaskan setiap langkah dan menunjukkan file konfigurasi untuk didistribusikan di setiap langkah. Gateway adalah satu bagian dari pengaturan organisasi; untuk penegakan kebijakan, visibilitas penggunaan, dan keputusan penanganan data, lihat Siapkan Claude Code untuk organisasi Anda.

Untuk membuat gateway yang dicapai melalui ANTHROPIC_BASE_URL menjadi satu-satunya tujuan yang dapat digunakan mesin terkelola, atur allowedProviders ke ["customEndpoint"] dalam file pengaturan terkelola yang sama dan masukkan ANTHROPIC_BASE_URL gateway dalam blok env file tersebut. Claude Code kemudian menolak sesi yang ditunjukkan ke tempat lain, termasuk ke Anthropic secara langsung atau ke proxy pengembang sendiri, dan menerima ANTHROPIC_BASE_URL hanya dengan nilai yang Anda tetapkan di sana. Untuk gateway yang dicapai melalui variabel titik akhir khusus penyedia seperti ANTHROPIC_BEDROCK_BASE_URL, entri allowedProviders mengatakan variabel mana yang akan dikunci. Memerlukan Claude Code v2.1.285 atau lebih baru.

Langganan dan gateway

Sementara variabel kredensial gateway atau apiKeyHelper aktif, permintaan membawa kredensial itu menggantikan login langganan claude.ai pengembang, dan batas penggunaan langganan tidak berlaku untuk mereka. Claude Code menyimpan login claude.ai yang tersimpan di mesin tetapi tidak mengirimnya dengan permintaan tersebut. Lalu lintas itu ditagih per token kepada siapa pun yang memiliki kredensial yang diteruskan gateway, seperti akun Anthropic Console organisasi Anda, atau akun Amazon Bedrock, Google Cloud's Agent Platform, atau Microsoft Foundry Anda ketika gateway merutekan ke sana.

ANTHROPIC_BASE_URL adalah variabel yang menunjukkan Claude Code ke gateway. Menetapkan hanya variabel itu, tanpa kredensial gateway, tidak menggantikan langganan. Permintaan masih merutekan melalui gateway, tetapi login claude.ai yang disimpan tetap menjadi kredensial aktif, sehingga batas penggunaan dan penagihan berlaku. Gateway yang meneruskan lalu lintas ini ke Anthropic harus meneruskan kemampuan OAuth di anthropic-beta; lihat referensi header permintaan.

Halaman terkait