从事网络通信应用开发的程序员，可能经常会听到“外网IP地址”和“内网IP地址”。还有什么关系呢？此外，内行都知道，提到外网IP和内网IP就不得不提NAT路由转换这种事情，那这两个是什么鬼？这篇文章将简单的介绍一下这些究竟是怎么回事。内部网是局部地理范围，一般在几米以内(例如家庭内部网)，也可以在几千米以内，连接各种计算机、外部设备和数据库等内部网络的主要作用是:1)共享传输渠道:简单理解是每台计算机不需要外部网络IP地址2)传输速度高:由于内部网络之间的计算机没有外部网络的复杂性，相互通信的网络很快，例如从一台计算机到另一台计算机复制几G的文件可能只需要几十秒钟。3)错误率低:由于通信距离近，错误率低，换句话说，网络稳定。公网ip理解：公共网络IP是保留IP地址以外的IP地址，可以与互联网上的其他计算机自由访问。通常所说的IP地址实际上是指公共网络IP。网上的每台计算机都有独立的IP地址，这个IP地址是唯一确定网上的计算机。这里的IP地址是指公共网络IP地址。外网IP和公网IP的区别：IP局域网内网，网线都连接在同一个交换机上，也就是说，它们的IP地址由交换机或路由器分配。而每个IP地址又各不相同，那些与同一个路由器相连的电脑可以通过网络连接共享，也就是说，网吧中的电脑可以进入网吧中的另一台电脑。外部IP是全球唯一的IP地址，并且只被分配到一个网络设备上。而内网IP是路由器分配给每个网络节点内部使用的IP地址，所有内网用户通过相同的外网IP地址上网。不同之处在于，内网的IP地址各异，因特网的用户无法直接访问内网用户。以上就是公网和外网ip如何使用及功能上的区别了，希望本章内容可以帮助到大家哦~

利用python3获取在线更新代理IP，发现一般网站对IP的访问都会有一定的限制，所以我们需要使用IP代理的功能。这里有一个实现免费代理IP的例子。可以根据以下代码，获取正在实时更新的代理ip，大家不妨尝试下！#!/usr/bin/python3# -*- coding: utf-8 -*-import reimport sysimport timeimport datetimeimport threadingfrom random import choiceimport requestsimport bs4 class Proxy:    def __init__(self, url='http://www.xicidaili.com/nn', header='', user_agent=''):        self.url = url        self.header = header        self.user_agent = user_agent    def getIpList(self):        # 获取代理IP（取当前页的ip列表，每页100条ip）        url = self.url        headers = self.header        r = requests.get(url, headers=headers)        soup = bs4.BeautifulSoup(r.text, 'html.parser')        data = soup.table.find_all("td")        # 匹配规则需要用浏览器的开发者工具进行查看        # 匹配IP：<td>208.135.217.21</td>        ip_compile = re.compile(r'<td>(\d+\.\d+\.\d+\.\d+)</td>')        # 匹配端口：<td>808</td>        port_compile = re.compile(r'<td>(\d+)</td>')        # 获取所有IP，返回的是数组[]        ip = re.findall(ip_compile, str(data))        # 获取所有端口：返回的是数组[]        port = re.findall(port_compile, str(data))        # 组合IP+端口，如：125.135.217.7:808        return [":".join(i) for i in zip(ip, port)]    # 打开页面。执行操作    def done(self, code=0, ips=[]):        try:            # 随机选取一个ip            ip = choice(ips)        except:            return False        else:            proxies = {                "http": ip,            }            headers_ = {                "Accept": "*/*",                "Accept-Encoding": "gzip, deflate, sdch",                "Accept-Language": "zh-CN,zh;q=0.8,en;q=0.6",                "Referer": "https://best.zhaopin.com/",                "User-Agent": choice(self.user_agent),            }        try:            # url            link = ''            requests.get(link, headers=headers_, proxies=proxies, verify=False)        except requests.exceptions.ConnectionError:            print("Connection Error")            if not ips:                print("not ip")                sys.exit()            # 删除不可用            if ip in ips:                ips.remove(ip)            # 重新请求            self.done(code, ips)        else:            date = datetime.datetime.now().strftime('%H:%M:%S')            print(u"第%s次 [%s] [%s]： (剩余可用代理IP数：%s)" % (code, date, ip, len(ips))) if __name__ == '__main__':    url = 'http://www.xicidaili.com/nn'    user_agent = [        "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:17.0; Baiduspider-ads) Gecko/17.0 Firefox/17.0",        "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9b4) Gecko/2008030317 Firefox/3.0b4",        "Mozilla/5.0 (Windows; U; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 2.0.50727; BIDUBrowser 7.6)",        "Mozilla/5.0 (Windows NT 6.3; WOW64; Trident/7.0; rv:11.0) like Gecko",        "Mozilla/5.0 (Windows NT 6.3; WOW64; rv:46.0) Gecko/20100101 Firefox/46.0",        "Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.99 Safari/537.36",        "Mozilla/5.0 (Windows NT 6.3; Win64; x64; Trident/7.0; Touch; LCJB; rv:11.0) like Gecko",    ]    headers = {"Accept": "text/html,application/xhtml+xml,application/xml;",               "Accept-Encoding": "gzip, deflate, sdch",               "Accept-Language": "zh-CN,zh;q=0.8,en;q=0.6",               "Referer": "http://www.xicidaili.com",               "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/42.0.2311.90 Safari/537.36"               }    proxy = Proxy(url, headers, user_agent)    ips = []    # python3把xrange()与rang()e整合为一个range()    for i in range(500):        # 每隔1000次重新获取一次最新的代理IP        if i % 1000 == 0:            ips.extend(proxy.getIpList())        # 启用线程，隔2秒产生一个线程        t1 = threading.Thread(target=proxy.done, args=(i, ips))        t1.start()        # time.sleep的最小单位是毫秒        time.sleep(2)带入到Python中，选定自己想要爬取的代理，就可以实现实时爬取ip了~

该代码是根据上一个爬行代理知识产权代码写的。当我们从国内高匿代理知识产权网站爬到生存时间相对较长的知识产权地址，即知识产权地址已存入知识产权时，我们可以使用爬行知识产权作为代理知识产权，进一步爬行网站所需的知识产权。实现代码如下：from bs4 import BeautifulSoupimport reimport timeimport requestsimport randomfrom fake_useragent import UserAgent def get_ip_list(): f = open('IP.txt','r') ip_list = f.readlines() # print(ip_list) f.close() return ip_list def get_random_ip(ip_list): proxy_ip = random.choice(ip_list) proxy_ip = proxy_ip.strip('\n') proxies = {'https': proxy_ip} return proxies def get_content(url, ip_list): print("get_content函数执行!") try: try: time.sleep(1) proxies = get_random_ip(ip_list) headers = {'User-Agent':str(UserAgent().random)} print(proxies) req = requests.get(url=url, proxies=proxies,headers=headers,timeout=20)#, proxies=proxies,headers=headers,timeout=20 print("requests请求成功") except: print("重新运行") time.sleep(10) proxies = get_random_ip(ip_list) headers = {'User-Agent':str(UserAgent().random)} req = requests.get(url=url, proxies=proxies,headers=headers,timeout=40) except: print("第二次重新运行") time.sleep(15) proxies = get_random_ip(ip_list) headers = {'User-Agent':str(UserAgent().random)} req = requests.get(url=url, proxies=proxies,headers=headers) req.encoding = 'utf-8' soup = BeautifulSoup(req.text, 'lxml') ips = soup.find_all('tr') ip_final_list = [] for i in range(1, len(ips)): ip_info = ips[i] tds = ip_info.find_all('td') if not tds[7].find('div',class_='bar_inner fast') == None: #out = re.findall('<td>(.*?)</td>', str(tds[8])) if tds[8].text.find('天') != -1: tb = tds[8].text tb = tb[:-1] if int(tb) > 10: ip_final_list.append(tds[1].text + ':' + tds[2].text) #print(out) return ip_final_list if __name__ == '__main__': for i in range(1,2): url = 'http://www.xicidaili.com/wt/{}'.format(i) ip_list = get_ip_list() for ip in get_content(url, ip_list): f2 = open('NewFile.txt','a+') f2.write('http://'+ip) f2.write('\n') f2.close()在此放一个截图，满足的IP地址类似于：如果不同时满足两个条件，如何获得连接时间，如果是绿色的呢？这要观察其要素。我观察到，所有绿色的class都是bar_inerfast，可以再放一张屏幕截图，说明清楚。橙色和黄色的class分别是bar_inermedium和bar_inerslow，可以根据class的价格来判断是否是必要的IP地址。大家如果想使用代理服务器ip爬取到想要的指定网站，不妨利用上述代码进行尝试下，希望对大家所有帮助！

在网络行销时代，许多模式已不能适应互联网新时代，常常无法达到行销效果，要想更好地运作网络行销，需要借助许多行销工具，做好每一步。与网络问答推广一样，代理IP的支持也是不可或缺的。必须在营销过程中寻找最有效的工具，提高效率，使网络营销效果最大化。使用Python对网页表格数据进行爬行的代码如下。'''Python 3.x描述：本DEMO演示了使用爬虫（动态）代理IP请求网页的过程，代码使用了多线程逻辑：每隔5秒从API接口获取IP，对于每一个IP开启一个线程去抓取网页源码'''import requestsimport timeimport threadingfrom requests.packages import urllib3ips = []# 爬数据的线程类class CrawlThread(threading.Thread):    def __init__(self,proxyip):        super(CrawlThread, self).__init__()        self.proxyip=proxyip    def run(self):        # 开始计时        start = time.time()        #消除关闭证书验证的警告        urllib3.disable_warnings()        #使用代理IP请求网址，注意第三个参数verify=False意思是跳过SSL验证（可以防止报SSL错误）        html=requests.get(url=targetUrl, proxies={"http" : 'http://' + self.proxyip, "https" : 'https://' + self.proxyip}, verify=False, timeout=15).content.decode()        # 结束计时        end = time.time()        # 输出内容        print(threading.current_thread().getName() +  "使用代理IP, 耗时 " + str(end - start) + "毫秒 " + self.proxyip + " 获取到如下HTML内容：\n" + html + "\n*************")# 获取代理IP的线程类class GetIpThread(threading.Thread):    def __init__(self,fetchSecond):        super(GetIpThread, self).__init__()        self.fetchSecond=fetchSecond    def run(self):        global ips        while True:            # 获取IP列表            res = requests.get(apiUrl).content.decode()            # 按照\n分割获取到的IP            ips = res.split('\n')            # 利用每一个IP            for proxyip in ips:                if proxyip.strip():                    # 开启一个线程                    CrawlThread(proxyip).start()            # 休眠            time.sleep(self.fetchSecond)if __name__ == '__main__':    # 获取IP的API接口    apiUrl = "http:xxxx"    # 要抓取的目标网站地址    targetUrl = "http://ip.chinaz.com/getip.aspx"    # 获取IP时间间隔，建议为5秒    fetchSecond = 5    # 开始自动获取IP    GetIpThread(fetchSecond).start()本文介绍了用python爬虫代理ip爬取网页数据的方法。让我们浏览了解更多！

怎样检查代理ip软件是否有效？当我们做爬虫时都需要使用代理ip软件来辅助我们，现在市场上有很多代理ip软件提供各种爬虫代理给大家使用，但是我们怎样才能对代理ip软件进行检测和判断以确定其是否有效呢？具体内容如下。方法一、使用我们常用的浏览器设置，在右上角点击设置，找到打开代理的设置，在LAN上使用代理服务器设置代理，按提示填写ip地址和端口，查看是否可以正常方式访问，如果网页正常打开，说明代理ip软件没有问题，如果无法打开，也会有错误提示。方法二、使用QQ聊天工具设置，打开QQ登录页面，点击右上角的设置，选择代理类型，填入IP地址和端口，然后点击测试，通常会有两个提示，第一个提示成功连接代理IP服务器，第二个提示：不连接代理IP服务器。方法三、当服务器不能正常访问网页提示登录帐号和密码小页，或使用QQ测试提示不能连接代理服务器时，您需要检查您的绑定的白名单授权是否成功。爬行软件工具不能正常工作的原因有很多种，当我们遇到问题时要注意逐个检查，不要慌张，如果代理ip软件没有问题的情况也有可能是发现了终端服务器，或者可能是软件工具设置等一系列问题，都要逐个排除。希望本章内容可以帮助到大家！

HTTP透明代理，从字面上也能够看出是强调的是透明代理，也就是说，这样的代理对客户来说是看不见的，没有必要在客户的浏览器设置代理。下面就通过一组示例给大家介绍下如何去理解使用HTTP透明代理。1、假设有这样典型的NAT网络环境道闸：192.168.0.1。客户:192.168.0.2。子网口罩:255.255.255.0。互联网上某个主机的地址是123.123.123.123.123。2、客户需要通过HTTP协议访问123.123.123.123首先连接123.123.123.123的80号端口，该连接的TCP包发送的关口192.168.0.1，关口转换数据包然而，如果使用透明代理，也就是说，在网关上进行透明代理的配置，网关将检查每个80号端口连接的TCP数据包。3、透明代理在Linux下的实现在linux下与iptables合作，容易实现透明代理。首先，在网关上启用iptables(通常使用iptables作为NAT)，在nat表上制作REDIRECT，将80号端口的数据重新定向另一个端口，通常使用squid的端口，配置squid即可。其次，在PREROUTING链上制作DNAT，将HTTP连接到另一个主机上，可以实现负荷平衡。最后，HTTP代理服务器接受这个要求后，分析客户发送的HTTP头部，其中Host字段是该连接的主机，HTTP代理连接该主机，取得文件，将文件返回客户端。现在大家清楚明白HTTP透明代理的使用以及实现流程了吧，希望本章内容可以帮助到大家哦~

直接奔入本章主题，windows系统配置http上网代理。代理服务器的设置是为了在公司内部更好地管理网络，也有的是个人活动，比如阅读量、注册、投票等等，一般情况下，大家使用的都是windows系统，对于配置http代理要求较高，下面就来看下详细的实现过程。设置HttpAgent。一、网络和Internet设置的开放。点击桌面右下的“网络连接”图标。点击网络和Internet设置选项(2)。二、设置代理。(1)点击代理。(2)选择使用代理服务器作为打开。(3)输入密码和端口。(4)点击保存。三、验证。(1)使用者名称密码验证：(2)如果不设置IP白名单，私密代理和独享代理需要用户名密码验证。(3)设定了代理功能后，用浏览器打开任意一个网页，浏览器会弹出一个对话框输入用户名密码，然后输入用户名密码回车。(4)完成以上三个步骤可以到百度输入ip，看下改变效果哦~四、取消代理使用代理服务器点关。好啦，以上就是在windows系统配置http代理实现上网的方式了，大家感兴趣的话不妨尝试下哦~

给android设备提供了两种网络代理，一种是直接在网络设置中运行，另一种是通过adb指令运行。最常用的一种是设置页面操作，模拟器大家应该都知道的吧，就是可以在电脑端运行的手机环境人家，第一种方式就是给大家推荐使用这个，实现方式具体如下。第一种、模拟器设置代理服务器设置-->WLAN，选择网络长按(不同设备操作方式不同，点击按钮也不同)-->修改网络-->高级选项，将代理选项设置为手动，在代理服务器主机名中填写您想设置的代理服务器IP，在相应端口上填写相应端口(如Fiddler为8888)，完成设置后点击保存即可。第二种、通过adb指令设置代理，操作方式如下设置代理:adbshellsettingsputglobalhttp_proxip:port.例如:adbshellsettingsputglobalhttp_proxy127.0.0.1:8888.移除代理(三个指令都需要执行，部分机型可能需要重启手机才能完全移除代理):adbshellsettingsdeleteglobalhttp_proxy.adbshellsettingsdeleteglobalglobal_http_proxy_host.adbshellsettingsdeleteglobalglobal_http_proxy_port.adbreboot.以上两种方法基本可以解决大部分场景。大家不妨进行尝试下，内容还是相当简单的。

HTTPAgent原则不难。网上有许多有关协议的资料。但要找一个现成的简单的源代码作为参考并非易事。这些天下载了很多httpproxy的源码，几乎都或多或少有点问题，无法直接使用。于是最终还是决定自己动手写一篇。下面就是实现过程，有兴趣搭建的，试试下吧。第一步、推荐在连接到此计算机时使用安全证书。在22端口上输入机器的ip，然后输入用户名和密码。第二步、安装shadowsocks，在后台运行安装后，聆听端口443。sudosserver-p443-kpassword-MRC4-MD5-usernone-dstart.)第三步、安装Privoxy各种系统指令各不相同第四步、改/etc/privoxy/config文件和下列属性值：地址：8118号。enable-remote-toggle1并添加到文件的结尾：forsocks5/127.0.0.1:443.启动Privoxy以打开http代理程序。Serviceprivoxyrestart：您现在可以使用此机器直接执行http代理，端口号为8118。大家如果对此感兴趣的话，不妨按照这样的步骤进行操作起来哦~希望可以帮助到大家！

有些时候，一些程序提供了socks5代理服务，而另一些则只提供了http代理。此时我们需要将socks5代理服务转换为http代理服务。以下程序提供了将socks5代理服务转换为http代理服务的功能。如果想要转化socks5与http代理，不妨看以下步骤进行设置哦~过程如下：第一步、安装下载工具：privoxy第二步、解压已下载的工具第三步、进入privoxy-3.0.13目录，打开config.txt，使用notepad++或notepad++第四步、修改本地IPHTTP代理监听的IP和端口。List-address:127.0.0.1:1314第五步、修改本地socks的端口。forsocks5/127.0.0.1:7070.第六步、将第127.0.0.1:7070号，修改socks的IP和端口，通常不是7070或1080号，请根据实际情况填写。缺省的监听HTTP地址是127.0.0.1:1314，您可以转换到其他局域网的IP地址(以便其他局域网能够访问，并且只能使用本地监听127.0.0.1，再保存config.txt文件。第七步、启动privoxy.exe现在在编辑器中设置代理IP(主机):127.0.0.1端口：1314。可以正常使用了。大家需要注意的是，如果要开机启动，请右键privoxy.exe，创建一个新的桌面快捷方式，然后将桌面的快捷方式拖到开始菜单的启动菜单上，以实现开机自启动功能。赶快尝试下吧！