命令行工具 (CLI)


命令行工具 (CLI)

命令行工具允许用户轻松管理 Crawlab,以及执行常规操作,例如上传爬虫。它是基于 Python 编写的,很容易安装。

安装

Crawlab 命令行工具集成于 Crawlab SDKopen in new window 。 您可以执行以下命令来安装 Crawlab 命令行工具。

pip install crawlab-sdk

注意

目前只有 beta 版本可用,因此我们必须在安装命令中注明版本。

现在您可以使用命令行工具来程式化的与 Crawlab 进行交互了。

登陆

注意

您在进行其他任何操作前,必须 使用命令行工具登陆 Crawlab。

您可以通过执行如下命令来使用命令行工具登陆 Crawlab。

crawlab-cli login --api_address <api_address> \
  --username <username> \
  --password <password>
  • --api_address-a 是 Crawlab API 地址. 默认: http://localhost:8080/api.
  • --username-u 是登陆用户名. 默认: admin.
  • --password-p 是登陆密码. 默认: admin.

上传

您可以用命令行工具上传爬虫。

上传一个新爬虫

如果您希望上传一个新爬虫,您可以执行以下命令。

crawlab-cli upload \
  --dir <target_spider_dir> \
  [--name <spider_name>] \
  [--col_name <results_collection_name>] \
  --create
  • --create-c 即是否需要创建新爬虫. 如果没有注明, 必须注明 --id-i.
  • --dir-d 是需要上传的爬虫目录. 默认: 当前工作目录.
  • --name-n 是需要创建爬虫的名称. 默认: 目录名称.
  • --col_name-C 是需要创建爬虫的结果储存集合名称. 默认: results_<爬虫名称>.
  • --cmd or -m 是需要创建爬虫的执行命令. 默认: echo "hello crawlab".

上传到已存在爬虫

如果您希望上传到已存在爬虫,您可以执行以下命令。

crawlab-cli upload \
  --dir <target_spider_dir> \
  --id <spider_id>
  • --dir-d 是需要上传的爬虫目录. 默认: 当前工作目录.
  • --id-i 是需要上传爬虫的 ID.

配置

您可以用命令行工具查看或设置/取消设置配置。

查看配置

crawlab-cli config

设置配置项

crawlab-cli config --set <key>=<value>
  • --set-s 是需要设置的键值对配置.

取消设置配置项

crawlab-cli config --unset <key>
  • --set-s 是需要取消设置的配置项的键.