自定义爬虫

自定义爬虫是指用户可以添加的任何语言任何框架的爬虫,高度自定义化。当用户添加好自定义爬虫之后,Crawlab 就可以将其集成到爬虫管理的系统中来。

我们有两种方式来上传爬虫项目:

  1. 通过 Web 界面(灵活)
  2. 通过 CLI 命令行工具(简单,推荐)

下面我们详细介绍一下。

通过 Web 界面

通过 Web 界面上传爬虫项目的详细步骤如下。

1. 打包为 Zip 文件

在通过Web界面上传之前,需要将爬虫项目文件打包成zip格式。

⚠️注意:您需要在爬虫项目根目录下打包,意思是您需要进入到项目的第一层,将所有文件和文件夹打包成 zip 文件。

2. 输入爬虫数据

首先,您需要导航到爬虫列表页。

然后,点击“添加爬虫”,选择“自定义爬虫”(默认是自定义爬虫),将出现以下界面。

输入相应的参数:“爬虫名称”、“显示名称”、“执行命令”和“结果”。

它们的定义如下:

  • 爬虫名称:爬虫的唯一识别名称,将会在爬虫根目录中创建一个该名称的文件目录,因此建议为没有空格和特殊符号的小写英文,可以带下划线;
  • 显示名称:爬虫显示在前端的名称,可以为任何字符串;
  • 执行命令:爬虫将在 shell 中执行的命令,最终被执行的命令将为 执行命令参数 的组合;
  • 结果:”结果集“的意思,爬虫抓取结果储存在 MongoDB 数据库里的集合(Collection),类似于 SQL 数据库中的表(Table)。
3. 创建爬虫

接下来,您有两个选择来创建爬虫:

  1. 创建空项目:创建一个空爬虫,也就是直接点击”添加“按钮,这将不会上传任何爬虫文件,您可以在创建好之后再上传 Zip 文件(后面会介绍),或者在线创建编辑文件(请参考 在线编辑文件 章节)。
  2. 直接上传 Zip 文件:点击”上传“按钮,选择刚才打包好的 zip 文件。如果爬虫名称已经存在,将覆盖之前的项目文件;如果爬虫名称不存在,则视作新爬虫,并会创建并上传所有爬虫文件。上传好爬虫文件之后,您同样可以通过 文件管理 功能来创建、编辑、删除、重命名爬虫文件。

这样爬虫就创建/更新好了。

通过 CLI 命令行工具

对于比较习惯在命令行中操作的开发者,也许 CLI 工具是一个比较好的选择。而且,这种方式不要求用户将项目打包成 Zip 文件,对于上传爬虫来说要方便很多。

CLI 命令行工具 是一个实验功能,可以让开发者能够轻松上传文件,详情请参考 CLI 命令行工具 章节。

下面,我们将介绍如何通过 CLI 命令行工具上传自定义爬虫。

⚠️注意:使用之前,请保证您已经安装了 CLI 命令行工具,并且已经能够顺利获取 token,如果没有安装或没有获取 token,请参考 CLI 命令行工具 章节。

执行命令上传爬虫

执行以下命令会将爬虫目录中的文件自动打包成 Zip 文件并上传到 Crawlab 服务器上,这样就省去了手动打包的步骤。

# 定位到爬虫项目目录
cd /path/to/spider

# 上传该爬虫目录
crawlab upload
查看帮助信息

下面这个命令可以查看上传操作的帮助文档,这里有一些高级配置项。

crawlab upload --help

关于多爬虫项目

您可能会有疑问,如果一个爬虫项目中有多个爬虫该怎么办。请参考 Q&A 中的 "我在一个 Scrapy 爬虫下有多个爬虫,我需要在 Crawlab 创建多个爬虫项目么?" 问题。如果是非 Scrapy 爬虫也类似,需要做的是编写一个入口文件,例如 main.py,然后通过传参的方式在入口文件中调用不同的爬虫。

© 2020 Crawlab, Made by Crawlab-Team all right reserved,powered by Gitbook该文件最后修改时间: 2020-02-07 09:51:17

results matching ""

    No results matching ""

    results matching ""

      No results matching ""