python爬虫怎么设置每个代理ip

这篇文章主要介绍了python爬虫怎么设置每个代理ip，具有一定借鉴价值，感兴趣的朋友可以参考下，希望大家阅读完这篇文章之后大有收获，下面让小编带着大家一起了解一下。

python爬虫设置每个代理ip的方法：

1.添加一段代码，设置代理，每隔一段时间换一个代理。

urllib2 默认会使用环境变量 http_proxy 来设置 HTTP Proxy。假如一个网站它会检测某一段时间某个 IP 的访问次数，如果访问次数过多，它会禁止你的访问。所以你可以设置一些代理服务器来帮助你做工作，每隔一段时间换一个代理，网站君都不知道是谁在捣鬼了，这酸爽！ 下面一段代码说明了代理的设置用法。

import urllib2enable_proxy = Trueproxy_handler = urllib2.ProxyHandler({"http" : 'http://some-proxy.com:8080'})null_proxy_handler = urllib2.ProxyHandler({})if enable_proxy:    opener = urllib2.build_opener(proxy_handler)else:    opener = urllib2.build_opener(null_proxy_handler)urllib2.install_opener(opener)

2.Timeout 设置，可以解决一些网站出现响应过慢而造成的影响问题。

之前已经说过urlopen 方法了，第三个参数就是 timeout 的设置，可以设置等待多久超时，为了解决一些网站实在响应过慢而造成的影响。 例如下面的代码，如果第二个参数 data 为空那么要特别指定是 timeout 是多少，写明形参，如果 data 已经传入，则不必声明。

import urllib2response = urllib2.urlopen('http://www.baidu.com', timeout=10)

import urllib2response = urllib2.urlopen('http://www.baidu.com',data, 10)

感谢你能够认真阅读完这篇文章，希望小编分享的"python爬虫怎么设置每个代理ip"这篇文章对大家有帮助，同时也希望大家多多支持，关注行业资讯频道，更多相关知识等着你来学习!