参数

说明

示例

name

爬虫名称，必须唯一

name = “myspider”

handle_httpstatus_list

需要处理的状态码

handle_httpstatus_list = [404]

download_delay

下载延时（单位：s秒）

download_delay = 5

allowed_domains

域名限制

allowed_domains = [“baidu.com”]

custom_settings

用户设置，单独设置爬虫参数

custom_settings ={‘RETRY_TIMES’: 3}

start_urls

起始链接设置

start_urls = [“http://www.baidu.com“]

参数

说明

USER_AGENT

请求头

ROBOTSTXT_OBEY = False

是否遵守robots协议

DOWNLOAD_DELAY = 2

同一个站点抓取延迟（秒s）

CONCURRENT_REQUESTS_PER_DOMAIN = 1

对同一个站点并发线程

CONCURRENT_REQUESTS_PER_IP = 1

对同一个ip并发线程