且构网

分享程序员开发的那些事...
且构网 - 分享程序员编程开发的那些事

Python网络爬虫3 ---- ubuntu下安装爬虫框架scrapy

更新时间:2022-01-29 12:23:40


原文转载自http://www.cnblogs.com/HelloPython/


根据Scrapy安装指南(http://doc.scrapy.org/en/latest/intro/install.html)

Don’t use the python-scrapy package provided by Ubuntu, they are typically too old and slow to catch up with latest Scrapy.

Instead, use the official Ubuntu Packages, which already solve all dependencies for you and are continuously updated with the latest bug fixes.

进入这个页面(http://doc.scrapy.org/en/latest/topics/ubuntu.html#topics-ubuntu)


第一步: 为了安装这个packages,在ubuntu下运行 lsb_release -cs,显示

              Python网络爬虫3 ---- ubuntu下安装爬虫框架scrapy

第二步: 现在需要做的就是用vi添加 deb http://archive.scrapy.org/ubuntu precise main 到 /etc/apt/sources.list中去

              Python网络爬虫3 ---- ubuntu下安装爬虫框架scrapy

第三步: 然后运行 curl -s http://archive.scrapy.org/ubuntu/archive.key | sudo apt-key add - 

第四步:再更新源 sudo apt-get update

第五步:最后安装  sudo apt-get install scrapy-0.1X,可选择不同版本,我安装的是0.16

             Python网络爬虫3 ---- ubuntu下安装爬虫框架scrapy