且构网

分享程序员开发的那些事...
且构网 - 分享程序员编程开发的那些事

python爬虫:scrapy命令失效,直接运行爬虫

更新时间:2022-02-13 01:35:50

scrapy命令失效,直接运行爬虫,无论是什么命令,都直接运行单个爬虫

出现这个错误,很意外

原因是这样的:

一开始,我写了个脚本单独配置爬虫启动项:

# begin.py
from scrapy import cmdline

cmdline.execute("scrapy crawl myspider")

这样一来会比较方便,不用每次都去命令行敲命令

然而

当我想运行其他爬虫的时候,直接就运行 myspider ,而且无论输入什么指令,

scrapy list 

等命令,完全没有用,直接就开始运行 myspider

那么我就把这个爬虫文件删除

接下来报错

raise KeyError("Spider not found: {}".format(spider_name))
KeyError: 'Spider not found: myspider'

顺着报错信息,往上面看

File "workspace/spiders_news/begin.py"

对,就是刚刚创建的那个 begin.py 文件,好吧,那我就再把它删除试试

然而,依然还是这个错,去文件目录看了下,发现还有一个文件,begin.pyc

好吧,那就再把它删除试试,好了,问题解决

scrapy list等命令又可以用了