最新资讯发布日期:2021-02-05
python中我们最多使用的就是关于爬虫的问题,由于网络的不断发展,也引申出来爬取网络信息的业务,好处自然不言而喻,可以更高效率的帮助我们获取对方网站的各种信息,但是对方网站也不是被动的接受,有时候,也会碰到对方防御问题,从而封禁我方爬取的情况,遇到这种问题的时候,可以采用以下办法解决。
首先认清楚从程序本身是无法解决的。可以试一下以下方式:
1、伪装消息头,伪装成浏览器
使用urllib.request.build_opener添加User-agent消息头
opener.addheaders = [('User-agent',
'Mozilla/5.0 (SymbianOS/9.3; Series60/3.2 NokiaE72-1/021.021; ' +
'Profile/MIDP-2.1 Configuration/CLDC-1.1 ) AppleWebKit/525 (KHTML, like Gecko)' +
' Version/3.0 BrowserNG/7.1.16352'),
('Cookie', 自定义cookie信息),
('Accept', 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8')](2)自己装几个虚拟机,分别不同IP在上面跑爬虫的时候频率别太高了,加个过程里加个 time.sleep(1)或2、通常情况只要频率不是太高是无法区别是正常阅读还是爬东西的。
3、找proxy用代理,respose发现异常就换新的代理IP
4、如果为拨号,则被封后断线重新拔号,更换新IP
通过以上的几种方式,我们可以解决python爬虫ip被封禁问题,碰到此类问题的小伙伴,可以跟着小编学习操作起来啦~
专属客服竭诚为您服务