NixOS分布式构建系统配置教程

前言

在现代软件开发中，构建时间往往成为开发效率的瓶颈。NixOS提供的分布式构建功能可以将构建任务分发到多台机器上并行执行，显著提高构建速度。本教程将详细介绍如何配置NixOS的分布式构建系统。

核心概念

分布式构建原理

Nix的分布式构建系统基于以下核心机制：

1. 构建任务分发：主节点将构建任务分配给可用工作节点
2. 依赖管理：Nix确保所有依赖项在工作节点上可用
3. 结果回传：构建完成后，结果从工作节点传回主节点

系统角色

• 本地机器(Local Machine)：发起构建任务的机器
• 远程构建器(Remote Builder)：执行构建任务的机器

准备工作

硬件要求

• 至少两台运行NixOS的机器
• 机器间网络连接稳定
• SSH服务正常运行

软件要求

• 所有机器安装最新版Nix
• 主节点和工作节点系统架构兼容

配置步骤详解

1. 创建SSH密钥对

在主节点上执行以下命令创建专用密钥对：

sudo ssh-keygen -f /root/.ssh/remotebuild

此命令会生成：

• 私钥：/root/.ssh/remotebuild
• 公钥：/root/.ssh/remotebuild.pub

2. 配置远程构建器

在工作节点上创建remote-builder.nix配置文件：

{
  users.users.remotebuild = {
    isNormalUser = true;
    createHome = false;
    group = "remotebuild";
    openssh.authorizedKeys.keyFiles = [ ./remotebuild.pub ];
  };

  users.groups.remotebuild = {};
  nix.settings.trusted-users = [ "remotebuild" ];
}

关键配置说明：

• 创建无家目录的专用用户remotebuild
• 配置SSH公钥认证
• 将该用户加入Nix信任列表

3. 测试连接

在主节点上测试SSH连接：

sudo ssh remotebuild@remotemachine -i /root/.ssh/remotebuild "echo hello"

预期看到"hello"输出表示认证成功。

4. 配置分布式构建

非NixOS主节点配置

编辑/etc/nix/nix.conf：

builders = ssh-ng://remotebuild@remotebuilder $(nix-instantiate --eval -E builtins.currentSystem) /root/.ssh/remotemachine - - nixos-test,big-parallel,kvm
builders-use-substitutes = true

配置说明：

• ssh-ng协议连接构建器
• 自动检测系统类型
• 指定密钥位置
• 启用特定构建特性

重启Nix守护进程使配置生效。

NixOS主节点配置

创建distributed-builds.nix：

{ pkgs, ... }:
{
  nix.distributedBuilds = true;
  nix.settings.builders-use-substitutes = true;

  nix.buildMachines = [
    {
      hostName = "remotebuilder";
      sshUser = "remotebuild";
      sshKey = "/root/.ssh/remotebuild";
      system = pkgs.stdenv.hostPlatform.system;
      supportedFeatures = [ "nixos-test" "big-parallel" "kvm" ];
    }
  ];
}

5. 测试构建

运行测试构建命令：

nix-build --max-jobs 0 -E "(import <nixpkgs> {}).writeText \"test\" \"$(date)\""

观察构建过程是否被分发到远程构建器。

高级优化配置

构建器性能调优

nix = {
  nrBuildUsers = 64;
  settings = {
    min-free = 10 * 1024 * 1024;
    max-free = 200 * 1024 * 1024;
    max-jobs = "auto";
    cores = 0;
  };
};

systemd.services.nix-daemon.serviceConfig = {
  MemoryAccounting = true;
  MemoryMax = "90%";
  OOMScoreAdjust = 500;
};

优化要点：

• 增加构建用户数量
• 设置内存使用限制
• 自动检测CPU核心数
• 内存管理保护机制

安全最佳实践

1. 为每个构建器配置独立用户
2. 限制构建器用户的权限
3. 使用SSH主机密钥验证
4. 定期轮换SSH密钥
5. 监控构建器活动日志

常见问题排查

认证失败

• 检查密钥权限(应为600)
• 验证远程用户是否在信任列表
• 确认known_hosts文件包含正确主机密钥

构建未分发

• 检查nix-daemon服务状态
• 验证系统类型是否匹配
• 确认网络连接正常

性能问题

• 调整max-jobs参数
• 检查网络带宽
• 监控构建器资源使用

扩展应用

多构建器配置

只需重复上述步骤为每个新构建器创建配置，并在nix.buildMachines中添加相应条目。

与CI系统集成

分布式构建可与CI系统(如Jenkins、GitLab CI)结合，实现：

• 自动构建任务分发
• 构建资源动态扩展
• 构建结果缓存共享

总结

NixOS分布式构建系统提供了强大的构建能力扩展方案。通过本教程的配置，您可以：

• 显著缩短大规模项目的构建时间
• 充分利用多机资源
• 保持构建环境的隔离性和可重现性

后续可进一步探索二进制缓存配置和构建后钩子等高级功能，以完善您的构建基础设施。