教你解决python爬虫ip被封禁问题

最新资讯发布日期:2021-02-05

99.png

python中我们最多使用的就是关于爬虫的问题,由于网络的不断发展,也引申出来爬取网络信息的业务,好处自然不言而喻,可以更高效率的帮助我们获取对方网站的各种信息,但是对方网站也不是被动的接受,有时候,也会碰到对方防御问题,从而封禁我方爬取的情况,遇到这种问题的时候,可以采用以下办法解决。

首先认清楚从程序本身是无法解决的。可以试一下以下方式:

1、伪装消息头,伪装成浏览器

使用urllib.request.build_opener添加User-agent消息头

opener.addheaders = [('User-agent',

'Mozilla/5.0 (SymbianOS/9.3; Series60/3.2 NokiaE72-1/021.021; ' +

'Profile/MIDP-2.1 Configuration/CLDC-1.1 ) AppleWebKit/525 (KHTML, like Gecko)' +

' Version/3.0 BrowserNG/7.1.16352'),

('Cookie', 自定义cookie信息),

('Accept', 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8')](2)自己装几个虚拟机,分别不同IP在上面跑爬虫的时候频率别太高了,加个过程里加个 time.sleep(1)或2、通常情况只要频率不是太高是无法区别是正常阅读还是爬东西的。

3、找proxy用代理,respose发现异常就换新的代理IP

4、如果为拨号,则被封后断线重新拔号,更换新IP

通过以上的几种方式,我们可以解决python爬虫ip被封禁问题,碰到此类问题的小伙伴,可以跟着小编学习操作起来啦~

挂件 关闭
客服
二维码
客服二维码

加微信 领流量

大客户经理二维码

售前咨询,企业定制

专属客服竭诚为您服务