Code Llama 70B API运行指南

时间：2026-06-08 15:27

MetaCodeLlama70B以700亿参数在HumanEval测试中获67 8分，超越GPT-4零样本表现。通过API一行代码即可云端运行，支持JavaScript、Python及cURL调用，实用价值极高。

先来看几个核心要点：Meta 最新发布的 Code Llama 70B，拥有 700 亿参数，是目前性能最为突出的开源代码大模型之一。它在 HumanEval 基准测试中取得了 67.8 分，甚至超越了零样本场景下的 GPT-4。这意味着，如果你需要代码生成或编程辅助，这款模型的实用价值相当突出。

还有一个好消息：通过某平台提供的 API，你只需一行代码就能在云端轻松运行它。下面我们分别用 JavaScript、Python 和 cURL 三种方式，演示如何调用 Code Llama 70B。

通过API运行Code Llama 70B

Code Llama 70B 的变体

Code Llama 70B 共推出三个变体，本文示例均基于 codellama-70b-instruct，但每个变体都可在该平台上直接使用：

Code Llama 70B Base：基础模型，适用于通用的代码生成任务。
Code Llama 70B Python：专门针对 Python 代码训练过的版本，处理 Python 任务更加得心应手。
Code Llama 70B Instruct：针对自然语言指令进行了微调，能更精准地理解你的需求。

使用 JavaScript 运行 Code Llama 70B

通过官方的 JavaScript 客户端来调用，流程非常直接。首先安装依赖：

npm install replicate

然后设置环境变量：

export REPLICATE_API_TOKEN=

接下来导入并配置客户端：

import Replicate from "replicate";
const replicate = new Replicate({
  auth: process.env.REPLICATE_API_TOKEN,
});

最后调用 API 运行模型——以“如何在 Bash 中列出过去一个月修改过的文本文件”为例：

const output = await replicate.run(
  "meta/codellama-70b-instruct:a279116fe47a0f65701a8817188601e2fe8f4b9e04a518789655ea7b995851bf",
  {
    input: {
      prompt: "在 Bash 中，如何列出当前目录下（不包括子目录）在过去一个月内修改过的所有文本文件？",
    },
  }
);
console.log(output);

使用 Python 运行 Code Llama 70B

Python 客户端的用法类似，先安装依赖包：

pip install replicate

同样设置环境变量：

export REPLICATE_API_TOKEN=

然后直接调用：

import replicate

output = replicate.run(
  "meta/codellama-70b-instruct:a279116fe47a0f65701a8817188601e2fe8f4b9e04a518789655ea7b995851bf",
  input={
    "prompt": "在 Bash 中，如何列出当前目录下（不包括子目录）在过去一个月内修改过的所有文本文件？",
  }
)
print("".join(output))

使用 cURL 运行 Code Llama 70B

如果你更倾向于直接调用 HTTP API，使用 cURL 即可完成。先设置环境变量：

export REPLICATE_API_TOKEN=

然后发送 POST 请求：

curl -s -X POST \
  -H "Authorization: Bearer $REPLICATE_API_TOKEN" \
  -H "Content-Type: application/json" \
  -H "Prefer: wait" \
  -d '{
    "version": "a279116fe47a0f65701a8817188601e2fe8f4b9e04a518789655ea7b995851bf",
    "input": {
      "top_k": 10,
      "top_p": 0.95,
      "prompt": "在 Bash 中，如何列出当前目录下（不包括子目录）在过去一个月内修改过的所有文本文件？",
      "max_tokens": 500,
      "temperature": 0.8,
      "system_prompt": "",
      "repeat_penalty": 1.1,
      "presence_penalty": 0,
      "frequency_penalty": 0
    }
  }' https://api.replicate.com/v1/predictions

除了以上三种方式，你还可以通过其他语言（如 Go、Swift）的客户端库来运行 Code Llama 70B，核心原理完全相同。