Apache Nutch爬虫脚本crawl详解与使用指南

概述

Apache Nutch是一个开源的网络爬虫项目，而crawl脚本是Nutch工具包中最重要的脚本之一，它提供了一个完整的爬取流程控制机制。本文将深入解析这个脚本的功能和使用方法，帮助用户更好地利用Nutch进行网络数据采集。

脚本功能

crawl脚本是Nutch的核心控制脚本，它封装了完整的爬取工作流程，包括：

1. 初始URL注入
2. 站点地图处理
3. 多轮爬取循环（生成-抓取-解析-更新）
4. 链接反转
5. 去重处理
6. 索引构建（可选）

基本用法

最基本的爬取命令格式为：

crawl <crawl_dir> <num_rounds>

其中：

• <crawl_dir>：爬取数据存储目录
• <num_rounds>：爬取轮次

主要参数详解

输入控制参数

• -s <seed_dir>：指定种子URL文件目录
• -sm <sitemap_dir>：指定站点地图URL文件目录
• --sitemaps-from-hostdb：从HostDB处理站点地图的频率（never/always/once）

性能调优参数

• --num-fetchers：抓取任务数（分布式模式下对应工作节点数）
• --num-tasks：Reducer任务数
• --size-fetchlist：每轮抓取的URL数量
• --time-limit-fetch：抓取时间限制（分钟）
• --num-threads：抓取/站点地图处理的线程数

数据处理参数

• --dedup-group：去重分组方法（none/host/domain）
• -i/--index：是否将结果索引到配置的索引器
• --hostdbupdate：是否更新HostDB
• --hostdbgenerate：生成阶段是否使用HostDB

等待控制

• -w/--wait：当没有URL可抓取时的等待时间（支持s/m/h/d后缀）

工作流程解析

1. 初始化阶段：

   • 注入种子URL（如果指定了-s参数）
   • 处理站点地图URL（如果指定了-sm参数）

2. 主循环阶段（重复num_rounds次）：

   • 生成待抓取URL列表
   • 抓取网页内容
   • 解析抓取的内容
   • 更新爬取数据库
   • 更新HostDB（如果启用）
   • 反转链接关系
   • 执行去重操作
   • 索引内容（如果启用了-i选项）

高级功能

HostDB的使用

HostDB是Nutch中用于存储主机信息的数据库，可以通过以下参数控制其行为：

• --hostdbupdate：控制是否在每轮爬取后更新HostDB
• --hostdbgenerate：控制在生成阶段是否使用HostDB信息

站点地图处理

Nutch支持两种站点地图处理方式：

1. 通过-sm参数指定站点地图文件
2. 通过--sitemaps-from-hostdb从HostDB获取站点地图

去重策略

通过--dedup-group参数可以指定不同的去重粒度：

• none：不去重
• host：按主机名去重
• domain：按域名去重

性能调优建议

1. 分布式环境：

   • 设置--num-fetchers为工作节点数
   • 适当增加--num-tasks提高并行度

2. 内存配置：

   • 使用-D参数调整Hadoop任务内存
   • 示例：-D mapreduce.map.memory.mb=4608 -D mapreduce.map.java.opts=-Xmx4096m

3. 吞吐量控制：

   • 通过--size-fetchlist控制每轮抓取量
   • 通过--time-limit-fetch限制单轮抓取时间

实际应用示例

基础爬取示例

crawl -s ./seed.txt ./crawldata 5

完整参数示例

crawl -i -s ./seeds -sm ./sitemaps --num-fetchers 10 --num-tasks 20 \
--size-fetchlist 100000 --time-limit-fetch 240 --num-threads 100 \
--dedup-group host ./crawldata 10

注意事项

1. 在分布式模式下运行时，需要确保Hadoop可执行文件在PATH中
2. 本地模式下，--num-fetchers参数会被忽略（固定为1）
3. 可以通过创建.STOP文件来提前终止爬取过程
4. 等待时间（-w参数）支持多种时间单位（s/m/h/d）

总结

crawl脚本是Apache Nutch的核心控制脚本，通过合理配置其参数，可以实现从简单到复杂的各种网络爬取需求。理解脚本的各个参数和工作流程，有助于用户根据实际场景进行定制化配置，实现高效的网络数据采集。