结果去重

Crawlab 内置了对单个爬虫的去重处理功能。如果您希望使用 Crawlab 内置的去重功能,您需要在爬虫中打开 “是否去重“ 开关。具体操作为:导航到 "爬虫-概览" 页,打开 "是否去重" 开关,并选择 "覆盖" 或者 "忽略" 的去重策略,并输入 "去重字段"。操作完成后重复执行任务,Crawlab 就会进行去重操作。

⚠️注意:由于 Crawlab 是需要储存在对应的 MongoDB 中的,因此在去重之前,需要在爬虫中注明 "结果集",也就是对应的表名。

覆盖去重

覆盖去重顾名思义,就是将老的数据覆盖掉,保证数据的唯一性,从而达到去重的目的。

其具体原理和步骤如下:

  1. 根据 "去重" 字段找到新数据对应的老数据,并将老数据删除;
  2. 将新数据插入到 "结果集" 中。

忽略去重

忽略去重比覆盖去重简单,其具体原理如下:

  1. 根据 "去重" 字段找到新数据对应的老数据;
  2. 如果存在老数据,则忽略,不插入;
  3. 如果不存在老数据,则插入。

去重字段

"去重字段" 其实相当于结果集的主键(虽然 MongoDB 中的主键永远是 _id),多条同一个主键的数据是不允许的。如果 Crawlab 的去重逻辑打开,则会在该结果集中的 "去重字段" 上创建一个唯一索引,保证数据的唯一性,同时保证查找数据的效率。

© 2020 Crawlab, Made by Crawlab-Team all right reserved,powered by Gitbook该文件最后修改时间: 2020-10-05 06:00:14

results matching ""

    No results matching ""

    results matching ""

      No results matching ""