且构网

分享程序员开发的那些事...
且构网 - 分享程序员编程开发的那些事

Python爬虫:scrapy-splash的请求头和代理参数设置

更新时间:2022-06-20 12:04:45

3中方式任选一种即可

1、lua中脚本设置代理和请求头:

function main(splash, args)
    -- 设置代理              
    splash:on_request(function(request)
        request:set_proxy{
            host = "27.0.0.1",
            port = 8000,
        }
        end)
    
    -- 设置请求头
    splash:set_user_agent("Mozilla/5.0")
    
    -- 自定义请求头
   splash:set_custom_headers({
    ["Accept"] = "application/json, text/plain, */*"
    })
            
    splash:go("https://www.baidu.com/")
    return splash:html()

2、scrapy中设置代理

def start_requests(self):
    for url in self.start_urls:
        yield SplashRequest(url,
            endpoint='execute',
            args={'wait': 5,
                  'lua_source': source,
                  'proxy': 'http://proxy_ip:proxy_port'
                  }

scrapy中设置请求头一样的在headers中设置

3、中间件中设置代理

class ProxyMiddleware(object):
      def process_request(self, request, spider):
          request.meta['splash']['args']['proxy'] = proxyServer
          request.headers["Proxy-Authorization"] = proxyAuth

参考:

  1. using proxy with scrapy-splash
  2. 关于scrapy-splash使用以及如何设置代理ip