python怎么重写start_requests方法

这篇文章给大家分享的是有关python怎么重写start_requests方法的内容。小编觉得挺实用的，因此分享给大家做个参考，一起跟随小编过来看看吧。

说明

1、在scrapy中，start_url是由start_requests处理的，通过重写这种方法，start_url可以携带请求头信息。

2、cookie不能放在scrapy中的headers中，在构建请求时有专门的cookies参数。

可以接收字典形式的cookie。可能需要在settings中设置ROBOTS协议和USER_AGENT。

实例

import scrapy  class Git1Spider(scrapy.Spider):    name = 'git1'    allowed_domains = ['github.com']    start_urls = ['https://github.com/GitLqr']     def start_requests(self):        """        重写start_requests，发送携带cookies的Request。        默认start_requests只是普通的get请求，不会携带自定义的头信息        """        url = self.start_urls[0]         temp = '_octo=GH1.1.1045146750.1615451260; _device_id=cd8d64981fcb3fd4ba7f587873e97804'        # 把cookies字符串转成字典        cookies = {data.split('=')[0]: data.split('=')[-1] for data in temp.split('; ')}         yield scrapy.Request(            url=url,            callback=self.parse,            cookies=cookies        )     def parse(self, response):        print(response.xpath('/html/head/title/text()').extract_first())

感谢各位的阅读！关于"python怎么重写start_requests方法"这篇文章就分享到这里了，希望以上内容可以对大家有一定的帮助，让大家可以学到更多知识，如果觉得文章不错，可以把它分享出去让更多的人看到吧！