如何进行反爬机制中的封ip处理

如何进行反爬机制中的封ip处理，针对这个问题，这篇文章详细介绍了相对应的分析和解答，希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。

作为爬虫我们的都知道很多网站都有反爬措施阻止别人来爬取数据，而封ip是反爬策略中最常见的一种。通常他们的策略都是发现你在短时间内过多的访问就会把你的ip封禁，针对这个策略要解决其实个很简单，我们可以通过限制访问网站的频率或添加IP代理池就OK了。而在爬虫程序中我们就只需要添加代理就可以搞定了，比如以示例

#! -*- encoding:utf-8 -*-       import requests       import random       # 要访问的目标页面       targetUrl = "http://www.weibo.com"       # 要访问的目标HTTPS页面       # targetUrl = "https://www.weibo.com"       # 代理服务器(产品官网 www.16yun.cn)       proxyHost = "t.16yun.cn"       proxyPort = "31111"       # 代理隧道验证信息       proxyUser = "16VIZRXL"       proxyPass = "125478"       proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {           "host" : proxyHost,           "port" : proxyPort,           "user" : proxyUser,           "pass" : proxyPass,       }       # 设置 http和https访问都是用HTTP代理       proxies = {           "http"  : proxyMeta,           "https" : proxyMeta,       }       #  设置IP切换头       tunnel = random.randint(1,10000)       headers = {"Proxy-Tunnel": str(tunnel)}       resp = requests.get(targetUrl, proxies=proxies, headers=headers)       print resp.status_code       print resp.text

关于如何进行反爬机制中的封ip处理问题的解答就分享到这里了，希望以上内容可以对大家有一定的帮助，如果你还有很多疑惑没有解开，可以关注行业资讯频道了解更多相关知识。