Gorilla项目推理指南：本地与云端部署全解析

项目概述

Gorilla是一个强大的大语言模型项目，专注于API调用和函数执行任务。该项目提供了多个模型变体，包括基于LLaMA、MPT和Falcon架构的不同版本，能够处理来自Hugging Face、PyTorch Hub和TensorFlow的API调用请求。

环境准备

基础环境配置

首先需要创建一个干净的Python环境：

conda create -n gorilla python=3.10
conda activate gorilla
pip install -r requirements.txt

模型获取与准备

Gorilla提供了多种模型权重，包括完整权重和delta权重两种形式：

1. 完整权重模型：包括gorilla-mpt-7b-hf-v0和gorilla-falcon-7b-hf-v0，可直接下载使用
2. Delta权重模型：基于LLaMA的模型需要先获取原始LLaMA权重，再应用delta

Delta权重应用方法

对于基于LLaMA的模型，需要执行以下步骤：

python3 apply_delta.py \
--base-model-path path/to/hf_llama/ \
--target-model-path path/to/gorilla-7b-hf-v0 \
--delta-path path/to/models--gorilla-llm--gorilla-7b-hf-delta-v0

推理方式详解

1. 命令行交互模式

使用简单的命令行界面与Gorilla模型交互：

# 对于LLaMA基础模型
python3 serve/gorilla_cli.py --model-path path/to/gorilla-7b-{hf,th,tf}-v0

# 对于Falcon基础模型
python3 serve/gorilla_falcon_cli.py --model-path path/to/gorilla-falcon-7b-hf-v0

注意：在Apple Silicon设备(M1/M2芯片)上运行时，可添加--device mps参数以启用Metal Performance Shaders加速。

2. 批量推理模式

对于需要处理大量提示的场景，可以使用批量推理模式：

1. 准备JSONL格式的问题文件，例如：

{"question_id": 1, "text": "I want to generate image from text."}
{"question_id": 2, "text": "I want to generate text from image."}

2. 执行批量推理命令：

python3 gorilla_eval.py \
--model-path path/to/gorilla-7b-hf-v0 \
--question-file path/to/questions.jsonl \
--answer-file path/to/answers.jsonl

3. 量化模型本地推理

Gorilla提供了多种量化版本的模型，适用于资源受限的环境：

使用text-generation-webui部署

1. 克隆text-generation-webui仓库：

git clone https://github.com/oobabooga/text-generation-webui.git

2. 启动服务：

cd text-generation-webui
./start_macos.sh

3. 通过浏览器访问http://127.0.0.1:7860/界面

4. 下载并加载量化模型：

   • 在界面中选择"Model" → "Download model or LoRA"
   • 输入模型路径如gorilla-llm/gorilla-7b-hf-v1
   • 指定量化版本如gorilla-7b-hf-v1-q3_K_M

5. 在"Chat"页面开始交互

量化模型性能特点

• 显著减少内存占用
• 可在CPU上高效运行
• 支持多种量化级别(Q2_K, Q3_K_M, Q4_K_M等)
• 在Apple Silicon设备上表现优异

4. 私有云端部署(Replicate平台)

Gorilla模型可以通过Replicate平台进行私有化部署，步骤如下：

环境准备

1. 安装Cog工具：

sudo curl -o /usr/local/bin/cog -L https://github.com/replicate/cog/releases/latest/download/cog_`uname -s`_`uname -m`
sudo chmod +x /usr/local/bin/cog

配置文件

1. cog.yaml - 定义构建配置：

build:
  gpu: true
  python_version: "3.10"
  python_packages:
    - "torch==2.0.1"
    - "transformers==4.28.1"
    - "huggingface-hub==0.14.1"
    - "sentencepiece==0.1.99"
    - "accelerate==0.19.0"
    - "einops"
predict: "predict.py:Predictor"

2. predict.py - 预测接口实现：

from cog import BasePredictor, Input
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM, pipeline

def get_prompt(user_query: str) -> str:
    return f"USER: <<question>> {user_query}\nASSISTANT: "

class Predictor(BasePredictor):
    def setup(self):
        self.device = "cuda:0" if torch.cuda.is_available() else "cpu"
        self.torch_dtype = torch.float16 if torch.cuda.is_available() else torch.float32
        
        model_id = "gorilla-llm/gorilla-falcon-7b-hf-v0"
        self.tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
        self.model = AutoModelForCausalLM.from_pretrained(
            model_id, 
            torch_dtype=self.torch_dtype, 
            low_cpu_mem_usage=True, 
            trust_remote_code=True
        )
        self.model.to(self.device)
        
        self.pipe = pipeline(
            "text-generation",
            model=self.model,
            tokenizer=self.tokenizer,
            max_new_tokens=256,
            batch_size=16,
            torch_dtype=self.torch_dtype,
            device=self.device,
        )

    def predict(self, user_query: str = Input(description="User's query")) -> str:
        prompt = get_prompt(user_query)
        output = self.pipe(prompt)
        return output

部署流程

1. 构建Docker镜像：

cog build -t <image-name>

2. 登录并推送镜像：

cog login
cog push r8.im/<your-username>/<your-model-name>

3. 使用Python客户端调用：

import replicate

output = replicate.run(
    "<your-username>/<your-model-name>:<model-version>",
    input={"user_query": "How to generate an image from text?"}
)
print(output)

模型版本说明

1. gorilla-7b-hf-v0：首个发布的模型，支持925个Hugging Face API
2. gorilla-7b-th-v0：支持94个PyTorch Hub API
3. gorilla-7b-tf-v0：支持626个TensorFlow API
4. gorilla-mpt-7b-hf-v0：基于MPT架构的商业友好模型(Apache 2.0许可)
5. gorilla-falcon-7b-hf-v0：基于Falcon架构的商业友好模型

性能优化建议

1. 对于GPU环境，调整n-gpu-layers参数可提高推理速度
2. 在内存受限设备上使用量化模型
3. 批量处理提示可提高吞吐量
4. 根据任务复杂度调整max_new_tokens参数

常见问题解决

1. CUDA内存不足：尝试使用更小的批次或启用内存优化选项
2. Apple Silicon设备性能问题：确保使用--device mps参数
3. 模型加载失败：检查模型路径和文件完整性
4. API调用格式错误：验证输入提示是否符合预期格式

通过本指南，您应该能够根据自身需求选择合适的Gorilla模型部署方式，无论是本地开发还是生产环境部署。