当今社会虽不是每个人都在使用网络，但是大部分人每天都跟网络打交道，同时产生的还有很多网络垃圾，网络数据庞大，爬虫该如何爬取对自己有用、高质量的信息，已成为网络爬虫一个巨大的挑战。

下面介绍代理IP的使用方法：

1.利用爬虫脚本每天定时爬取代理网站上的ip，写入MongoDB或者其他的数据库中，这张表作为原始表。

2.使用之前需要做一步测试，就是测试这个ip是否有效，方法就是利用curl访问一个网站查看返回值，需要创建一张新表，循环读取原始表有效则插入，验证之后将其从原始表中删除，验证的同时能够利用响应时间来计算这个ip的质量，和最大使用次数，有一个算法能够参考一种基于连接代理优化管理的多线程网络爬虫处理方法。

3.把有效的ip写入ip代理池的配置文件，重新加载配置文件。

4. 让爬虫程序去指定的dailiy的服务ip和端口，进行爬取。

代理IP可以很好的帮助爬虫筛选有用的信息，大大的缩短了爬虫工作的时间。