python爬虫时如何知道是否代理ip伪装成功

有时候我们的爬虫程序添加了代理，但是我们不知道程序是否获取到了

ip，尤其是动态转发模式的，这时候就需要进行检测了，以下是一种代理是否伪装成功的检测方式，这里推介使用亿牛云提供的代码示例。

Python¶

requests

#! -*- encoding:utf-8 -*-

import requests

import random

# 要访问的目标页面

targetUrl = "http://httpbin.org/ip"

# 要访问的目标HTTPS页面

# targetUrl = "https://httpbin.org/ip"

# 代理服务器

proxyHost = "t.16yun.cn"

proxyPort = "31111"

# 代理隧道验证信息

proxyUser = "16ZKBRLB"

proxyPass = "234076"

proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {

"host" : proxyHost,

"port" : proxyPort,

"user" : proxyUser,

"pass" : proxyPass,

}

# 设置 http和https访问都是用HTTP代理

proxies = {

"http" : proxyMeta,

"https" : proxyMeta,

}

# 设置IP切换头

tunnel = random.randint(1,10000)

headers = {"Proxy-Tunnel": str(tunnel)}

resp = requests.get(targetUrl, proxies=proxies, headers=headers)

print resp.status_code

print resp.text

要检测代理是否获取到，直接在配置代理后访

http://httpbin.org/ip

网站，获取到

ip后再访问www.ip138.com就知道是否获取到了ip。

转载于:https://juejin.im/post/5d08b24a6fb9a07ea7131286

python爬虫时如何知道是否代理ip伪装成功相关推荐

python爬虫教程：爬虫时如何知道是否代理ip伪装成功
python爬虫教程:爬虫时如何知道是否代理ip伪装成功有时候我们的爬虫程序添加了代理,但是我们不知道程序是否获取到了ip,尤其是动态转发模式的,这时候就需要进行检测了,以下是一种代理是否伪装成功的 ...
Python爬虫热点项目之实现代理IP池（IP proxy pool）
代理池概述代理池就是由多个稳定可用代理IP组成的池子.用来应对ip反爬,而网上的免费代理稳定可用的极少,更有甚者连收费的也不都是稳定可用. 开发环境: windous,python3,sublime ...
Python爬虫：爬取免费代理ip
之前写的几个爬虫都只能爬取到少量的信息,这是由于一个ip频繁地访问网站,会被认定为非正常的爬虫从而被屏蔽,这时候就需要使用代理ip来访问网站了,具体方法就是在发送request时添加一个proxy参数 ...
Python爬虫简单运用爬取代理IP
功能1: 爬取西拉ip代理官网上的代理ip 环境:python3.8+pycharm 库:requests,lxml 浏览器:谷歌 IP地址:http://www.xiladaili.com/gaon ...
python爬虫：批量抓取代理ip，进行验证，抓取豆瓣网站影视信息
本文作为学习笔记参考用: [1]批量抓取代理ip: 找到第三方ip代理的网站,进行分析,并批量抓取,抓取程序放到Proxies_spider.py中,如下所示: import re import re ...
python爬虫2.0.5ProxyIpPool---proxies使用代理IP
代理IP定义:代替你原来的IP地址去对接网络的IP地址作用:隐藏自身真是IP,避免被目标网站封掉.代理IP分类: 高匿代理:web端只能看到代理IP 普通代理:web端知道有人通过此代理IP访问,但 ...
（python爬虫时）如何知道是否代理ip伪装成功
通过请求 http://httpbin.org/get 获得类似以下信息: {"args": {}, "headers": {"Accept&q ...
Python爬虫:制作一个属于自己的IP代理模块
Python爬虫:制作一个属于自己的IP代理模块 Python爬虫常常会面临自己ip地址被封的情况,也许不懂的读者就只能等ip解封之后再进行接下来的操作了,为什么自己不做一个Python模块专门用于处 ...
Python爬虫:制作一个属于自己的IP代理模块2
Python爬虫:制作一个属于自己的IP代理模块2 小编前些日子写了一篇关于IP代理模块的博客(Python爬虫:制作一个属于自己的IP代理模块 ),但是那个还需要改进,今天小编改进了一下那个模块,爬 ...

python爬虫时如何知道是否代理ip伪装成功

python爬虫时如何知道是否代理ip伪装成功相关推荐

最新文章

热门文章