配置路径：自托管本指南涵盖自托管部署的自定义提供商配置。
什么是自定义提供商？
自定义提供商包括任何实现了 OpenAI API 格式的 API
- Azure OpenAI 服务：微软托管的 OpenAI 模型
- vLLM：自托管推理服务器
- Ollama：本地模型运行器
- 文本生成推理 (TGI)：Hugging Face 的推理服务器
- LocalAI：本地 OpenAI API 替代方案
- 其他 OpenAI 兼容 API：任何自定义实现
通过远程配置 JSON 中的 providerSettings.OpenAiCompatible 部分配置自定义提供商
{
"providerSettings": {
"OpenAiCompatible": {
"models": [
{
"id": "gpt-4-turbo",
"name": "GPT-4 Turbo"
}
],
"openAiBaseUrl": "https://your-api.company.com/v1"
}
}
}
配置字段
| 字段 | 类型 | 描述 | 必填 |
|---|
models | 数组 | 模型配置列表 | 是 |
openAiBaseUrl | 字符串 | API 终端基础 URL | 是 |
openAiApiKey | 字符串 | 用于身份验证的 API 密钥 | 否 |
openAiModelId | 字符串 | 默认模型标识符 | 否 |
Azure OpenAI 特有字段
对于 Azure OpenAI，还有额外的字段可用
| 字段 | 类型 | 描述 |
|---|
azureApiVersion | 字符串 | Azure API 版本（例如，2024-02-15-preview） |
配置示例
Azure OpenAI
{
"providerSettings": {
"OpenAiCompatible": {
"models": [
{
"id": "gpt-4-turbo",
"name": "GPT-4 Turbo"
}
],
"openAiBaseUrl": "https://your-resource.openai.azure.com/openai/deployments/gpt-4-turbo",
"openAiApiKey": "your-azure-api-key",
"azureApiVersion": "2024-02-15-preview"
}
}
}
自托管 vLLM
{
"providerSettings": {
"OpenAiCompatible": {
"models": [
{
"id": "meta-llama/Llama-2-70b-chat-hf",
"name": "Llama 2 70B"
}
],
"openAiBaseUrl": "http://vllm.company.com:8000/v1"
}
}
}
本地 Ollama
{
"providerSettings": {
"OpenAiCompatible": {
"models": [
{
"id": "codellama",
"name": "Code Llama"
}
],
"openAiBaseUrl": "https://:11434/v1"
}
}
}
文本生成推理 (TGI)
{
"providerSettings": {
"OpenAiCompatible": {
"models": [
{
"id": "mistralai/Mistral-7B-Instruct-v0.2",
"name": "Mistral 7B Instruct"
}
],
"openAiBaseUrl": "http://tgi.company.com:8080/v1",
"openAiApiKey": "your-tgi-api-key"
}
}
}
LocalAI
{
"providerSettings": {
"OpenAiCompatible": {
"models": [
{
"id": "gpt-3.5-turbo",
"name": "Local GPT-3.5"
}
],
"openAiBaseUrl": "https://:8080/v1"
}
}
}
内部网络（无需身份验证）
{
"providerSettings": {
"OpenAiCompatible": {
"models": [
{
"id": "custom-model",
"name": "Custom Model"
}
],
"openAiBaseUrl": "http://internal.api:8000/v1"
}
}
}
模型配置
每个模型都需要基本信息
{
"id": "model-identifier",
"name": "Display Name",
"info": {
"maxTokens": 4096,
"contextWindow": 128000,
"supportsImages": true,
"supportsPromptCache": false
}
}
先决条件
在配置自定义提供商之前，您需要
- API 终端：您的 OpenAI 兼容 API 的 URL
- API 密钥（如果需要）：身份验证凭据
- 模型 ID：可用模型的名称
- 网络访问：Cline 所在位置的网络连接
故障排除
连接错误 验证终端是否可访问：curl https://your-api.company.com/v1/models
curl -H "Authorization: Bearer your-api-key" \
https://your-api.company.com/v1/models
curl -H "Authorization: Bearer your-api-key" \
https://your-api.company.com/v1/models
- 检查网络延迟
- 验证服务器是否有足够的资源
- 考虑使用更快的模型
提供商文档
有关这些服务的设置和部署，请参阅其官方文档
