爬虫

在 Crawlab 中，爬虫是网络爬虫程序的基本单位。您可以将其看作一个爬虫软件项目，它由代码文件组成，例如 Scrapy 项目。请注意，这里提到的项目与 Crawlab 中的基础概念项目是不同的。

注意

爬虫这个概念在 Crawlab 非常重要，因此我们强烈推荐您仔细阅读这一章节。

典型流程

以下是用户在 Crawlab 操作爬虫的典型流程。

执行命令 是爬虫运行时的基础命令，例如 scrapy crawl myspider，相当于在运行爬虫时执行的 bash/shell 命令。

增量同步文件 是指是在爬虫运行时，是否对爬虫程序的文件进行增量同步，而不是每次都下载全部文件。打开后，可以节省爬虫文件下载时间。

自动安装依赖 是指在爬虫运行时，是否自动安装爬虫所需的依赖包（例如 requirements.txt 中的依赖包）。（该功能仅限专业版）

有几种上传爬虫文件的方式。

您可以根据以下步骤来运行爬虫

之类是爬虫运行设置的解释。