LLM4Decompile项目微调指南：基于LLaMA-Factory与Ghidra伪代码的模型训练

项目概述

LLM4Decompile是一个专注于二进制反编译领域的语言模型项目，旨在将汇编代码或二进制文件转换为高级语言表示。该项目基于先进的深度学习技术，能够处理复杂的反编译任务，为逆向工程和安全分析提供强大支持。

微调环境准备

基础依赖安装

在开始微调前，需要确保系统已安装必要的Python包：

pip install -r requirements.txt

性能优化选项

为提升训练效率，推荐安装FlashAttention：

pip install flash-attn

该优化可显著减少训练时间，特别是在处理长序列时效果更为明显。

数据集准备

数据集获取

项目使用decompile-ghidra-100k数据集，该数据集包含10万条Ghidra反编译工具生成的伪代码样本。数据集需要转换为JSON格式，每条记录应包含：

• instruction：输入指令或提示
• output：期望的输出结果

数据格式示例

{
  "instruction": "反编译以下汇编代码...",
  "output": "对应的C语言伪代码..."
}

微调配置与执行

关键参数说明

微调脚本支持以下重要参数：

1. model_name_or_path：指定基础模型路径
2. data_path：训练数据集路径
3. output_dir：模型输出目录
4. per_device_train_batch_size：每个设备的训练批次大小
5. learning_rate：学习率设置
6. use_flash_attention：启用FlashAttention加速

完整微调命令

WORKSPACE="/workspace"
DATA_PATH="${WORKSPACE}/decompile-ghidra-100k.json"
OUTPUT_PATH="${WORKSPACE}/output_models/llm4decompile-ref"
MODEL_PATH="deepseek-ai/deepseek-coder-1.3b-base"

CUDA_VISIBLE_DEVICES=0 deepspeed finetune.py \
    --model_name_or_path $MODEL_PATH \
    --data_path $DATA_PATH \
    --output_dir $OUTPUT_PATH \
    --num_train_epochs 2 \
    --model_max_length 1024 \
    --per_device_train_batch_size 16 \
    --gradient_accumulation_steps 16 \
    --evaluation_strategy "no" \
    --save_strategy "steps" \
    --use_flash_attention \
    --save_steps 100 \
    --save_total_limit 100 \
    --learning_rate 2e-5 \
    --max_grad_norm 1.0 \
    --weight_decay 0.1 \
    --warmup_ratio 0.025 \
    --logging_steps 1 \
    --lr_scheduler_type "cosine" \
    --gradient_checkpointing True \
    --report_to "tensorboard" \
    --bf16 True

训练数据构建（基于Objdump汇编）

AnghaBench数据集准备

1. 获取AnghaBench数据集
2. 使用提供的编译脚本处理数据：

python compile.py --root Anghabench_path --output AnghaBench_compile.jsonl

该过程会将原始代码编译为可用于训练的格式，最终使用ExeBench作为训练数据集。

训练监控与优化建议

1. 训练监控：通过TensorBoard可以实时监控训练过程
2. 学习率调整：采用cosine学习率调度器，初始阶段有warmup过程
3. 内存优化：启用梯度检查点技术减少显存占用
4. 精度设置：使用bfloat16混合精度训练

常见问题解决

1. 显存不足：可尝试减小batch size或增加gradient_accumulation_steps
2. 训练不稳定：适当降低学习率或调整max_grad_norm参数
3. 性能瓶颈：确保已正确安装FlashAttention并启用相关参数

通过本指南，开发者可以高效地微调LLM4Decompile模型，使其适应特定的反编译任务需求。项目提供的工具链和优化选项使得在有限硬件资源下训练大规模模型成为可能。