参数headers=（）,把请求头添加到Scrapy请求中,使爬虫的请求看起来像是从浏览器发起的。

B、SCHEDULER='SCRAPYschedulerScheduleCDUPEFILTER_

C、LASSscrap_redis.dupefilterRfpdupefilter

D、dupefilter-class=scrap.dupefilterRfpdupefilter'

B、process_spider_exception()

C、process_spider_()

D、process_start_requests()

此题为判断题(对，错)。

此题为判断题(对，错)。

B、网络爬虫被广泛用于互联网搜索引擎或其他类似网站

C、传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列直到满足系统的一定停止条件

D、目前互联网上的信息分类大多数都是人工完成的

B.openpyxl

C.PyQt5

D.scrapy

B、有些网络爬虫能够从网站抓取内容聚合起来

C、有些网络爬虫甚至能发动DDos攻击、发送垃圾邮件等

D、隐藏在表单后的信息无法被网络爬虫发现

B、根据某种抓取策略爬行新发现的URL，如此重复下去

C、爬虫程序会抓取所有网页，以保证搜索正确性

D、对于商业搜索引擎来说，分布式爬虫是必须采用的技术