python爬虫遇见needs to review the security of your connection before proceeding绕过 Cloudflare

Cloudflare，识别python自带的openssl，直接手动修改

代码如下：
注意：
加粗样式国外网站，本机需要挂梯子

import requests
from requests.adapters import HTTPAdapter
from urllib3.util.ssl_ import create_urllib3_contextclass CipherAdapter(HTTPAdapter):def init_poolmanager(self, *args, **kwargs):context = create_urllib3_context(ciphers='DEFAULT:@SECLEVEL=2')kwargs['ssl_context'] = contextreturn super(CipherAdapter, self).init_poolmanager(*args, **kwargs)def proxy_manager_for(self, *args, **kwargs):context = create_urllib3_context(ciphers='DEFAULT:@SECLEVEL=2')kwargs['ssl_context'] = contextreturn super(CipherAdapter, self).proxy_manager_for(*args, **kwargs)def get_json(url):# time.sleep(1)# base_url=f"https://www.followme.com/api/v3/trade/users/{i}/info"client = requests.Session()client.mount('https://www.xxxxxx.com', CipherAdapter())  #url域名client.headers["User-Agent"] = "Mozilla/5.0"resp = client.get(url)client.close()print(resp.text)
get_json(url='xxxxxx')

python爬虫遇见needs to review the security of your connection before proceeding绕过 Cloudflare相关推荐

python爬虫动态加载页面_如何爬动态加载的页面？ajax爬虫你有必要掌握
通过前面几期Python爬虫的文章,不少童鞋已经可以随心所欲的爬取自己想要的数据,就算是一些页面很难分析,也可以用之前介绍的终极技能之「Selenium」+「Webdriver」解决相关问题,但无奈这 ...
python爬虫数据分析可以做什么-python爬虫爬取的数据可以做什么
在Python中连接到多播服务器问题,怎么解决你把redirect关闭就可以了.在send时,加上参数allow_redirects=False 通常每个浏览器都会设置redirect的次数.如果re ...
Python爬虫进阶五之多线程的用法
前言我们之前写的爬虫都是单个线程的?这怎么够?一旦一个地方卡到不动了,那不就永远等待下去了?为此我们可以使用多线程或者多进程来处理. 首先声明一点! 多线程和多进程是不一样的!一个是 thread ...
python爬虫requests源码链家_python的爬虫项目(链家买二手房）
不知不觉,已经工作6年有余,恍恍惚惚,有机会满足房子需求. 在收集房子信息过程中,做些记录. 贝壳的功能很强大,但很难满足小区.距离.教育.面积等多个方面的匹配,使用起来成本仍然较高. 针对以上情况, ...
python爬虫scrapy安装_Python爬虫:Scrapy框架的安装和基本使用
大家好,本篇文章我们来看一下强大的Python爬虫框架Scrapy.Scrapy是一个使用简单,功能强大的异步爬虫框架,我们先来看看他的安装. Scrapy的安装 Scrapy的安装是很麻烦的,对于一 ...
[python爬虫] BeautifulSoup和Selenium对比爬取豆瓣Top250电影信息
这篇文章主要对比BeautifulSoup和Selenium爬取豆瓣Top250电影信息,两种方法从本质上都是一样的,都是通过分析网页的DOM树结构进行元素定位,再定向爬取具体的电影信息,通过代码的对 ...
Python爬虫任务1
1 爬虫入门 1.1 Requests Get r = requests.get('https://www.baidu.com')r.encoding = 'utf-8'print(r.status_ ...
Python爬虫以及数据可视化分析！
简单几步,通过Python对B站番剧排行数据进行爬取,并进行可视化分析源码文件可以参考Github上传的项目:https://github.com/Lemon-Sheep/Py/tree/maste ...
（第2课）【初识python爬虫】
本文参考6节课掌握python爬虫视频讲座 json json是一种数据交互格式,是字符串,(看起来像python的字典,列表).很多手机版页面发请求后,返回的是json字符串,所以我们也调成手机页面 ...

python爬虫遇见needs to review the security of your connection before proceeding绕过 Cloudflare

python爬虫遇见needs to review the security of your connection before proceeding绕过 Cloudflare相关推荐

最新文章

热门文章