分享程序员开发的那些事...
更新时间：2022-02-19 12:17:42
今天，python 3 安装 scrapy， 并运行成功。特此纪念！
我的环境：windows 10(64位) + python 3.5.2(64位)
其中几个要点说明一下：
往往，在安装scrapy依赖库，即在
pip install scrapy过程中，会出现红色错误的。此时，做两件事
$ python pip install --upgrade pip
$ python pywin32_postinstall.py -install，切记！好了，运行官网首页的例子：
import scrapy
class BlogSpider(scrapy.Spider):
name = 'blogspider'
start_urls = ['https://blog.scrapinghub.com']
def parse(self, response):
for url in response.css('ul li a::attr("href")').re('.*/category/.*'):
yield scrapy.Request(response.urljoin(url), self.parse_titles)
def parse_titles(self, response):
for post_title in response.css('div.entries > ul > li a::text').extract():
yield {'title': post_title}保存为myspider.py文件，命令行进入此文件夹，运行如下命令，使启动爬虫：
scrapy runspider myspider.pyOK了，可以看到成功的信息。