开始之前
要成功连接到组织的 LiteLLM 代理,您需要准备好几项内容。 已安装并配置 Cline 扩展程序Cline 扩展程序必须安装在 VS Code 中,并且您需要登录到您的组织帐户。如果您尚未安装 Cline,请按照我们的安装指南进行操作。
快速检查:打开 VS Code 中的 Cline 面板。如果您在左下角看到您的组织名称,则表示您已正确登录。
您需要凭据才能访问组织的 LiteLLM 代理。这可能是一个 API 密钥,或者代理可能已配置为在您的网络中开放访问。
如果您不确定所需的凭据,请咨询您的管理员或 IT 团队,了解如何访问组织的 LiteLLM 代理。
配置步骤
1
打开 Cline 设置
打开 VS Code 并使用以下任一方法访问 Cline 设置面板
- 单击 Cline 面板中的设置图标 (⚙️)
- 点击聊天区域正下方的 API Provider(API 提供商)下拉菜单(它将显示为
LiteLLM或特定的模型名称)
2
配置 LiteLLM 连接
LiteLLM 配置选项取决于您的组织如何设置代理
API 密钥认证
API 密钥认证
如果您的组织需要 API 密钥认证
- 选择或确认已选择 LiteLLM 提供商
- 在 API Key(API 密钥)字段中输入您分配的 API 密钥
- 基本 URL 应已由您的管理员配置
- 点击 Save(保存)以存储您的凭据
开放访问(无需认证)
开放访问(无需认证)
如果您的 LiteLLM 代理配置为在您的网络中开放访问
- 选择或确认已选择 LiteLLM 提供商
- 将 API 密钥字段留空
- 扩展程序将直接连接到配置的代理端点
- 无需额外的认证
当 LiteLLM 代理部署在安全的网络环境中时,开放访问很常见。
自定义配置
自定义配置
如果您的组织使用自定义认证或特定的连接参数
- 遵循管理员提供的任何自定义说明
- 如果遇到连接问题,请联系您的 IT 团队
- 可能需要在 VS Code 之外进行额外的配置
自定义配置可能需要特定的网络设置或额外的认证步骤。
3
选择可用模型
连接后,您将看到通过组织的 LiteLLM 代理可用的模型
- 在模型下拉菜单中查看可用模型
- 模型由管理员的代理配置确定
- 您可以根据不同类型的任务在模型之间切换
- 某些模型可能会根据您的访问级别受到限制
4
测试连接
在 Cline 中发送一条测试消息,以验证您的连接是否与 LiteLLM 代理正常工作。
模型使用
可用模型类别
通过 LiteLLM 代理可用的模型通常包括: 文本生成模型:- OpenAI GPT-4、GPT-3.5-turbo 变体
- Anthropic Claude 3 Sonnet、Haiku、Opus
- Llama 2、Mistral 等开源模型
- 用于代码的 OpenAI GPT-4
- CodeLlama 变体
- 专业代码补全模型
- 用于图像分析的 GPT-4 Vision
- 具有视觉功能的 Claude 3 模型
模型选择策略
根据您的开发需求选择模型- 快速迭代:使用更快、成本效益更高的模型
- 复杂问题:使用更强大的模型
- 代码密集型任务:使用代码专用模型
- 视觉内容:处理图像时使用多模态模型
故障排除
LiteLLM 不作为提供商选项可用确认您已登录正确的 Cline 组织。验证您的管理员是否已保存 LiteLLM 配置,并且您拥有最新版本的 Cline 扩展程序。 连接错误或超时
验证您的网络是否可以访问 LiteLLM 代理端点。咨询您的 IT 团队有关防火墙规则或 VPN 要求的信息。确保代理端点可从您的开发环境访问。 认证失败
如果使用 API 密钥认证,请验证密钥是否正确输入且未过期。联系您的管理员以确认您的密钥处于活动状态并具有适当的权限。 模型未加载或受限
可用模型取决于您组织的 LiteLLM 配置。如果您需要访问特定模型或期望的模型不可用,请联系您的管理员。 响应时间慢
响应时间取决于使用的模型和代理负载。尝试切换到更快的模型以完成日常任务。如果性能持续不佳,请联系您的管理员。 特定模型的错误消息
某些模型可能暂时不可用或有特定的限制。尝试使用替代模型或在特定模型持续失败时联系您的管理员。
安全最佳实践
使用组织的 LiteLLM 代理时- 保护您的 API 凭据,不要共享它们
- 根据数据的敏感性使用适当的模型
- 遵循组织的S使用指南
- 报告任何可疑活动或未经授权的访问尝试
- 定期更新 Cline 扩展程序以获取安全补丁

