跳过主要内容
作为团队成员,您可以将本地开发环境连接到组织的 LiteLLM 代理设置。本指南将引导您完成在 VS Code 中的连接配置,以便您可以通过组织的统一代理界面开始使用多个 AI 模型。管理员已经配置了提供商设置——您只需添加凭据即可开始使用。

开始之前

要成功连接到组织的 LiteLLM 代理,您需要准备好几项内容。 已安装并配置 Cline 扩展程序
Cline 扩展程序必须安装在 VS Code 中,并且您需要登录到您的组织帐户。如果您尚未安装 Cline,请按照我们的安装指南进行操作。
快速检查:打开 VS Code 中的 Cline 面板。如果您在左下角看到您的组织名称,则表示您已正确登录。
组织 LiteLLM 代理的访问凭据
您需要凭据才能访问组织的 LiteLLM 代理。这可能是一个 API 密钥,或者代理可能已配置为在您的网络中开放访问。
如果您不确定所需的凭据,请咨询您的管理员或 IT 团队,了解如何访问组织的 LiteLLM 代理。

配置步骤

1

打开 Cline 设置

打开 VS Code 并使用以下任一方法访问 Cline 设置面板
  • 单击 Cline 面板中的设置图标 (⚙️)
  • 点击聊天区域正下方的 API Provider(API 提供商)下拉菜单(它将显示为 LiteLLM 或特定的模型名称)
2

配置 LiteLLM 连接

LiteLLM 配置选项取决于您的组织如何设置代理
如果您的组织需要 API 密钥认证
  1. 选择或确认已选择 LiteLLM 提供商
  2. API Key(API 密钥)字段中输入您分配的 API 密钥
  3. 基本 URL 应已由您的管理员配置
  4. 点击 Save(保存)以存储您的凭据
API 密钥存储在 VS Code 本地,仅供 Cline 扩展程序使用。
如果您的 LiteLLM 代理配置为在您的网络中开放访问
  1. 选择或确认已选择 LiteLLM 提供商
  2. 将 API 密钥字段留空
  3. 扩展程序将直接连接到配置的代理端点
  4. 无需额外的认证
当 LiteLLM 代理部署在安全的网络环境中时,开放访问很常见。
如果您的组织使用自定义认证或特定的连接参数
  1. 遵循管理员提供的任何自定义说明
  2. 如果遇到连接问题,请联系您的 IT 团队
  3. 可能需要在 VS Code 之外进行额外的配置
自定义配置可能需要特定的网络设置或额外的认证步骤。
3

选择可用模型

连接后,您将看到通过组织的 LiteLLM 代理可用的模型
  • 在模型下拉菜单中查看可用模型
  • 模型由管理员的代理配置确定
  • 您可以根据不同类型的任务在模型之间切换
  • 某些模型可能会根据您的访问级别受到限制
模型选择根据您的任务要求选择模型:
  • 快速模型(如 GPT-3.5-turbo)用于快速响应
  • 强大模型(如 GPT-4)用于复杂推理
  • 专业模型用于代码生成或特定领域
4

测试连接

在 Cline 中发送一条测试消息,以验证您的连接是否与 LiteLLM 代理正常工作。
测试建议首先在计划模式下测试连接,以验证一切正常,然后再将其用于实际的开发任务。

模型使用

可用模型类别

通过 LiteLLM 代理可用的模型通常包括: 文本生成模型:
  • OpenAI GPT-4、GPT-3.5-turbo 变体
  • Anthropic Claude 3 Sonnet、Haiku、Opus
  • Llama 2、Mistral 等开源模型
代码专用模型
  • 用于代码的 OpenAI GPT-4
  • CodeLlama 变体
  • 专业代码补全模型
多模态模型
  • 用于图像分析的 GPT-4 Vision
  • 具有视觉功能的 Claude 3 模型

模型选择策略

根据您的开发需求选择模型
  • 快速迭代:使用更快、成本效益更高的模型
  • 复杂问题:使用更强大的模型
  • 代码密集型任务:使用代码专用模型
  • 视觉内容:处理图像时使用多模态模型

故障排除

LiteLLM 不作为提供商选项可用
确认您已登录正确的 Cline 组织。验证您的管理员是否已保存 LiteLLM 配置,并且您拥有最新版本的 Cline 扩展程序。
连接错误或超时
验证您的网络是否可以访问 LiteLLM 代理端点。咨询您的 IT 团队有关防火墙规则或 VPN 要求的信息。确保代理端点可从您的开发环境访问。
认证失败
如果使用 API 密钥认证,请验证密钥是否正确输入且未过期。联系您的管理员以确认您的密钥处于活动状态并具有适当的权限。
模型未加载或受限
可用模型取决于您组织的 LiteLLM 配置。如果您需要访问特定模型或期望的模型不可用,请联系您的管理员。
响应时间慢
响应时间取决于使用的模型和代理负载。尝试切换到更快的模型以完成日常任务。如果性能持续不佳,请联系您的管理员。
特定模型的错误消息
某些模型可能暂时不可用或有特定的限制。尝试使用替代模型或在特定模型持续失败时联系您的管理员。

安全最佳实践

使用组织的 LiteLLM 代理时
  • 保护您的 API 凭据,不要共享它们
  • 根据数据的敏感性使用适当的模型
  • 遵循组织的S使用指南
  • 报告任何可疑活动或未经授权的访问尝试
  • 定期更新 Cline 扩展程序以获取安全补丁
您的组织管理员控制哪些模型可用以及使用策略。扩展程序将根据您的代理配置和访问级别自动显示可用模型。