Easy DataSet 项目架构解析：构建高效的大模型微调数据集工具

项目背景与核心价值

Easy DataSet 是一款专为大模型微调而设计的数据集构建工具。在人工智能领域，高质量的数据集是模型性能的关键因素之一。传统的数据集构建过程往往需要大量人工参与，效率低下且难以标准化。该项目通过自动化文本处理、问题生成和数据集构建流程，显著提升了数据准备阶段的效率。

技术架构深度解析

前端架构设计

基于 Next.js 14 构建的前端应用采用了最新的 App Router 模式，这种架构具有以下优势：

1. 服务端组件优先：充分利用 React 18 的服务器组件特性，优化首屏加载性能
2. 路由分组：清晰的 API 路由与页面路由分离，便于维护和扩展
3. 按需渲染：动态路由参数（如 [projectId]）实现高效的项目详情加载

Material-UI (MUI) 作为 UI 框架选择，提供了：

• 丰富的预制组件库
• 响应式设计支持
• 主题定制能力
• 无障碍访问支持

数据存储方案

项目采用文件系统模拟数据库的设计，这种轻量级方案特别适合：

• 快速原型开发
• 单用户桌面应用场景
• 需要简单持久化的场景

核心设计特点包括：

1. JSON 文件存储：所有数据以 JSON 格式持久化
2. 目录结构映射：项目数据按目录组织，便于管理
3. 原子操作：每个数据操作都是独立的文件读写

核心模块详解

数据库抽象层

数据库模块采用分层设计，各司其职：

1. base.js 提供基础文件操作能力：

   • 文件读写原子操作
   • 目录结构维护
   • 数据校验

2. projects.js 实现项目管理：

   • 项目生命周期管理
   • 配置持久化
   • 元数据维护

3. texts.js 处理文本处理：

   • 文件上传解析
   • 文本分割算法
   • 片段索引构建

4. datasets.js 负责数据集生成：

   • 问题-答案对管理
   • 标签系统实现
   • 导出格式转换

前端组件体系

组件设计遵循高内聚低耦合原则：

1. Navbar 实现全局导航：

   • 项目快速切换
   • 模型提供商选择
   • 主题切换

2. ProjectList 展示项目卡片：

   • 分页加载
   • 搜索过滤
   • 状态标记

3. CreateProjectDialog 处理项目创建：

   • 表单验证
   • 异步提交
   • 错误处理

核心业务流程解析

文本处理流程

1. 文件上传：

   • 支持 Markdown 格式
   • 文件大小限制
   • 编码自动检测

2. 文本分割：

   • 基于语义的段落分割
   • 章节结构提取
   • 元数据生成

3. 结果展示：

   • 可视化目录树
   • 片段预览
   • 编辑能力

问题生成机制

1. 片段选择：

   • 多选支持
   • 上下文关联
   • 批量操作

2. 问题生成：

   • 多模型支持
   • 提示词工程
   • 结果去重

3. 质量管理：

   • 人工审核
   • 自动过滤
   • 问题分类

数据集构建流程

1. 答案生成：

   • 模型选择
   • 参数调优
   • 异步处理

2. 格式转换：

   • 支持多种微调格式
   • 元数据保留
   • 版本控制

3. 导出选项：

   • 文件格式选择
   • 内容筛选
   • 批量导出

模型集成方案

项目设计了灵活的模型集成架构：

1. 统一接口层：抽象不同提供商的 API 差异
2. 配置管理：支持运行时模型切换
3. 扩展机制：易于添加新模型支持

当前支持的模型类型包括：

• 本地模型（如 Ollama）
• 商业 API（如 OpenAI）
• 国产大模型（如智谱AI）

国际化实现

国际化方案基于成熟的 i18next 生态：

1. 多语言资源：JSON 格式的键值对存储
2. 动态加载：按需加载语言包
3. 上下文感知：组件级翻译支持
4. 格式化处理：日期、数字等本地化

架构优势与适用场景

技术优势

1. 轻量级：无需复杂数据库依赖
2. 可移植性：纯 JavaScript 实现
3. 模块化：功能边界清晰
4. 可扩展：易于添加新功能

典型使用场景

1. 个人研究者：快速构建实验数据集
2. 小型团队：协作创建领域特定数据
3. 教育场景：教学用数据准备
4. 原型开发：产品验证阶段

未来演进方向

从架构角度看，项目可向以下方向演进：

1. 存储抽象：引入 IndexedDB 或 SQLite 选项
2. 插件体系：支持自定义处理流程
3. 性能优化：引入 Web Worker 处理大文件
4. 云同步：增加远程存储支持

开发者建议

对于希望基于此架构进行开发的工程师，建议：

1. 理解文件系统约定：熟悉 local-db 目录结构
2. 遵循 API 契约：保持前后端接口一致
3. 利用现有组件：复用已实现的 UI 模式
4. 渐进式增强：按需扩展功能模块

该架构平衡了开发效率与功能完整性，是构建数据密集型工具的优质参考实现。