跳过主要内容

​
将 LiteLLM 与 Cline 结合使用

本指南演示了如何运行 LiteLLM 演示，从 Codestral 模型开始，以便与 Cline 配合使用。

​
先决条件

  • 安装 Docker CLI 或 Docker Desktop 以在本地运行 LiteLLM 镜像
  • 对于此示例配置：Codestral API 密钥（与 Mistral API 密钥不同）

​
设置

  1. 创建一个 .env 文件并填写相应字段 
    # Tip: Use the following command to generate a random alphanumeric key:
# openssl rand -base64 32 | tr -dc 'A-Za-z0-9' | head -c 32
LITELLM_MASTER_KEY=YOUR_LITELLM_MASTER_KEY
CODESTRAL_API_KEY=YOUR_CODESTRAL_API_KEY
    注意：尽管这仅限于本地主机，但设置安全的 LITELLM_MASTER_KEY 是一个好习惯
  2. 配置 我们需要创建一个 config.yaml 文件来包含 LiteLLM 配置。在这种情况下，我们将只有一个模型 'codestral-latest'，并将其标记为 'codestral'。
    model_list:
    - model_name: codestral
      litellm_params:
          model: codestral/codestral-latest
          api_key: os.environ/CODESTRAL_API_KEY

​
运行演示

  1. 启动 LiteLLM Docker 容器 
    docker run \
    --env-file .env \
    -v $(pwd)/config.yaml:/app/config.yaml \
    -p 127.0.0.1:4000:4000 \
    ghcr.io/berriai/litellm:main-latest \
    --config /app/config.yaml --detailed_debug
  2. 设置 Cline LiteLLM 服务器启动并运行后，您可以在 Cline 中进行设置：
    • 基本 URL 应为 http://0.0.0.0:4000/v1
    • API 密钥应为您在 .env 中为 LITELLM_MASTER_KEY 设置的密钥
    • 模型 ID 为 codestral 或您在 config.yaml 中命名的名称

​
获取帮助