有些网站还采取了相应的防爬措施，如许多网站都会在特定的时间段内检测到特定IP的访问数量，如果访问速度过快而使用户看起来与普通用户不同，则会禁止该IP访问。因此我们需要设置一些代理IP，定期更换代理IP，即使IP被禁用，仍然可以换个IP继续爬取。

代理人分类：

前向代理：代理客户获取数据。前向代理旨在保护客户免于承担责任。

逆向代理：由代理服务器提供数据。逆向代理用于保护服务器或者负责负载平衡。

代理分类：

透明度：知道是代理ip，就会知道你真正的ip。

匿名者：知道是代理ip，就不会知道真实的ip。

高匿：不知道是代理ip，不会知道你的真实ip。

常见代理类型：

HTTP：只能请求HTTP开头的URL。

https：仅可请求https开头的URL。

获取爬虫ip代理的步骤：

步骤1、找到IP资源包。

IP资源并不丰富，也就是说，没有足够的供应，所以通常使用动态IP。

自由方法，直接在络上找到，在搜索引擎中一次搜索出特别多能提供IP资源的网站，收集就可以了。

步骤2、检查IP是否可以保存。提取的IP可以进一步测试是否可用，例如访问固定网站，找出成功的IP并保存。

步骤3、随机调用IP

当爬行器需要使用IP时，可以读取保存了IP的文件，随机调用IP。

以上就是关于爬虫ip代理池的使用等基本问题了，感兴趣的朋友不妨尝试学习下哦~