【python】request HTTPS代理

之前版本的代理中，可以使用fiddler进行HTTP包的代理，但是代理HTTPS包时，执行错误

    self._sslobj.do_handshake()
ssl.SSLError: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:749)

urllib或requests在打开https站点是会验证证书，简单的处理方式就是把发送https请求时把验证ssl证书关掉，即设置verify为False

具体代码设置如：

requests.post(host, data=requestData, headers=headerData,proxies=proxies,verify=False)

取消SSL验证又带来一个新问题

C:\Users\lluozh\AppData\Local\Programs\Python\Python36\lib\site-packages\urllib3\connectionpool.py:852: InsecureRequestWarning: Unverified HTTPS request is being made. Adding certificate verification is strongly advised. See: https://urllib3.readthedocs.io/en/latest/advanced-usage.html#ssl-warningsInsecureRequestWarning)

虽然不是错误，但是在捕捉异常时，默认会出问题，为了不影响原有流程，应该去掉这些警告信息

from requests.packages.urllib3.exceptions import InsecureRequestWarning
requests.packages.urllib3.disable_warnings(InsecureRequestWarning)

或者直接取消所有urllib3的警告

requests.packages.urllib3.disable_warnings()

【python】request HTTPS代理相关推荐

python request 不走代理proxy
一般情况下,如果系统没有配置网络代理的话,python的request包请求url地址时,是不会走代理的: 举例:如果在linux系统中配置了代理,则request请求会通过代理进行访问: 如果用py ...
python使用http、https代理
在国内利用Python从Internet上爬取数据时,有些网站或API接口被限速或屏蔽,这时使用代理可以加速爬取过程,减少请求失败,Python程序使用代理的方法主要有以下几种: (1)如果是在代码中 ...
Http/Https代理Python实现
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ 对Python感兴趣,工作之余,参照部分文档初步实现了HTTP/HTTPs代理 ...
python爬虫小知识：通过 request库代理proxies来设置，无法访问问题
通过 request库代理proxies来设置防止封ip后无法访问问题 1.为什么使用代理 2.request 如何设置代理需要替换里面的代理池 3.设置需要身份认证的代理 4.request ...
Python之免费代理ip的抓取与使用
Python之免费代理ip的抓取与使用使用爬虫不可避免的就会遇到网站的各种封ip操作,因此就需要我们找寻代理,通过代理进行操作,屏蔽自己真实ip. 本文直接从网站中抓取代理ip地址,进行测试,并将测 ...
【实战】Python爬虫之代理使用详解
在Python爬虫中,代理的使用非常常见.代理的主要作用是隐藏客户端的真实IP地址,从而实现更高的网络访问速度和更好的访问隐私保护.下面我们将通过Python爬虫的实例,带你详细了解Python爬虫中 ...
python 爬虫使用代理爬取
python 专栏收录该内容 40 篇文章0 订阅订阅专栏之前有需要翻墙爬取内容,发现需要使用代理,不能简单的在requests里加个参数就行了,现在把脚本改成通用模板,有需要的可以按照自己的需求 ...
docker代理设置ssl证书_docker - 设置HTTP/HTTPS 代理
1.设置代理原因因公司安全限制,所有外网需配置代理后才可上网,但是因为宿主机上设置过代理,并未太过多注意此问题,之后run时报如下错误: # docker run hello-world Unabl ...
Python笔记-使用代理切换ip爬取数据
爬取某站点运行截图如下: 这里使用了阿布云的产品切换代理. 这个产品的文档还是风全的! 推荐大伙使用: 关键代码如下: 记得这个代理可能异常,记得做异常处理. 源码如下: import re impo ...

【python】request HTTPS代理

【python】request HTTPS代理相关推荐

最新文章

热门文章