节点

节点其实就是一个 Crawlab 实例，用于运行任务以及提供其他功能。基本上您可以将一个节点当作一台服务器。

有两类节点，它们分别提供不同的功能。

注意

您当然可以在一台服务器上搭建多个 Crawlab 实例（节点）。但那样做是 不推荐的，因为服务器上运行单实例（节点）通常已经足够了。

主节点

主节点是 Crawlab 中分布式系统的中控模块，相当于人体中的大脑。主节点分配任务给工作节点或它自己，并且管理它们。同时，主节点部署和分发爬虫文件至其他节点。另外，它还为前端应用提供 API，并处理节点间的通信。

注意

在 Crawlab 中只有一个主节点。

工作节点是一个 Crawlab 实例，专门用于运行抓取任务。通常，一个节点或服务器受限于计算能力和资源（包括 CPU、内存、网络 IO）。因此，我们可以通过调整工作节点的数量来对数据采集吞吐量进行扩容，以提高分布式系统的整体数据抓取能力。

提示

在 Crawlab 中可以不用工作节点（单节点部署 SND），或有多个工作节点（多节点部署 MND）。

在 Nodes 页面，您可以查看节点状态，看看在线与否。

您可以启用或禁用节点来控制它是否能运行爬虫任务。您可以在 Nodes 页面或详情页中点击 Enabled 属性中的切换按钮来控制。

一个节点能够在同一个时间运行多个任务。并发任务数量由节点的 Max Runners 控制，它能够在节点详情页里配置。

诸如节点名称、IP 地址、MAC 地址等基础信息都可以在节点详情页中设置。

您可以参考 Docker 安装中多节点部署章节的搭建工作节点来添加新节点。