LinkedIn WhereHows项目DataHub API全面指南

前言

在数据治理领域，LinkedIn开源的WhereHows项目(现称为DataHub)提供了一套完整的元数据管理解决方案。作为其核心功能之一，DataHub提供了多种API接口，允许开发者以编程方式操作元数据。本文将全面解析DataHub的API体系，帮助开发者根据实际需求选择最合适的接口方案。

DataHub API体系概览

DataHub主要提供三类API接口，每种接口都有其特定的适用场景和优缺点：

1. SDK接口（Python/Java）

核心特点：

• 提供完整的CRUD操作能力
• 支持批量元数据操作
• 可实现复杂业务逻辑

适用场景：

• 需要执行大批量元数据操作
• 需要创建自定义元数据实体
• 需要实现复杂的数据血缘关系

优势：

• 功能全面，灵活性高
• 支持高级功能如细粒度血缘关系
• 适合集成到自动化流程中

学习曲线：

• 需要理解元数据变更事件模型
• 需要一定的编程基础

2. GraphQL API

核心特点：

• 直观易用的查询语言
• 与UI功能保持同步
• 支持大多数常见操作

适用场景：

• 快速查询元数据
• 简单的元数据更新操作
• 不需要复杂业务逻辑的场景

优势：

• 学习成本相对较低
• 查询语法直观
• 适合快速开发和原型验证

局限性：

• 不支持某些高级功能
• 灵活性不如SDK

3. OpenAPI（不推荐）

虽然DataHub提供了OpenAPI接口，但官方不建议在常规场景下使用。该接口更底层，复杂度高，除非有特殊需求，否则应优先考虑前两种方案。

功能对比详解

下表详细对比了各API支持的核心功能：

功能类别	GraphQL支持	SDK支持	典型应用场景
数据集基础操作	部分	完整	数据集生命周期管理
标签管理	完整	完整	数据分类和标记
术语表管理	完整	完整	业务术语标准化
数据域管理	完整	完整	数据资产分组
所有权管理	完整	完整	数据责任人管理
血缘关系	基础	完整	数据溯源和分析
机器学习元数据	只读	完整	ML模型管理
自定义属性	不支持	完整	扩展元数据模型
数据产品	不支持	完整	数据资产产品化

最佳实践建议

新手入门路径

对于刚接触DataHub的开发者，建议按照以下路径学习：

1. 首先尝试GraphQL API，熟悉基本查询和简单更新
2. 掌握常用操作如数据集搜索、标签添加等
3. 当需要更复杂功能时，转向SDK开发

生产环境推荐

在正式生产环境中，我们推荐：

1. Python SDK作为首选方案，特别是：

   • 需要批量处理元数据
   • 需要实现复杂业务逻辑
   • 需要扩展元数据模型

2. GraphQL适合：

   • 简单的查询需求
   • 与前端集成
   • 快速原型开发

高级功能实现

以下高级功能必须使用SDK实现：

1. 细粒度血缘关系：列级别的数据溯源
2. ML元数据管理：完整的机器学习特征和模型管理
3. 自定义属性：扩展标准的元数据模型
4. 数据产品：将数据资产产品化管理

典型代码示例

Python SDK创建数据集

from datahub.emitter.mce_builder import make_dataset_urn
from datahub.emitter.rest_emitter import DatahubRestEmitter

# 初始化emitter
emitter = DatahubRestEmitter(gms_server="http://localhost:8080")

# 创建数据集元数据
dataset_urn = make_dataset_urn(platform="hive", name="example_db.example_table", env="PROD")
metadata = {
    "customProperties": {
        "department": "finance",
        "confidentiality": "high"
    }
}

# 提交元数据
emitter.emit_metadata_change_event(
    entity_urn=dataset_urn,
    aspect_name="datasetProperties",
    aspect=metadata
)

GraphQL查询示例

query {
  search(input: { 
    type: DATASET, 
    query: "sales", 
    start: 0, 
    count: 10 
  }) {
    start
    count
    total
    searchResults {
      entity {
        urn
        type
        ... on Dataset {
          name
          platform
          tags {
            tags {
              tag {
                urn
                name
              }
            }
          }
        }
      }
    }
  }
}

总结

DataHub提供了多层次的API体系，满足不同场景下的元数据管理需求。理解各API的特点和适用场景，可以帮助开发者构建更高效的数据治理解决方案。对于大多数企业应用，我们推荐采用Python SDK作为主要开发方式，结合GraphQL实现简单的查询需求，这样可以在灵活性和开发效率之间取得最佳平衡。