C#使用HTTP代理采集HTTPS网站

隧道转发代理是一种根据请求自动切换代理IP的产品，适合快速启动爬虫采集项目。该产品一般都是http代理，这样可以避免https代理使用中需要安装证书带来的问题，在C#按照下面的步骤可以实现：
1、创建代理对象

var proxy = new WebProxy
{// *** 通过代理服务器域名和端口（官网www.16yun.cn），创建地址 ***Address = new Uri($"http://{t.16yun.cn}:{proxyPort}"),BypassProxyOnLocal = false,UseDefaultCredentials = false,// *** 代理服务器的用户名和密码***Credentials = new NetworkCredential(userName: proxyUserName,password: proxyPassword)
};

2、创建代理客户端

var httpClientHandler = new HttpClientHandler
{Proxy = proxy,
};

3、验证代理用户名和密码

if (needServerAuthentication)
{httpClientHandler.PreAuthenticate = true;httpClientHandler.UseDefaultCredentials = false;// *** 这些认证信息被提供给代理服务器，而不是网络服务器 ***httpClientHandler.Credentials = new NetworkCredential(userName: serverUserName,password: serverPassword);
}

4、创建HTTP客户端

var client = new HttpClient(handler: httpClientHandler, disposeHandler: true);

以上代码创建的HTTP客户端只支持更高的 TLS 版本（比如 TLS 1.2），否则会导致请求失败。要解决其它版本的问题，可以在Address对象创建之前添加如下部分：

System.Net.ServicePointManager.SecurityProtocol = SecurityProtocolType.Tls12 | SecurityProtocolType.Tls11 | SecurityProtocolType.Tls;
Address = new Uri($"https://{t.16yun.cn}:{proxyPort}")

C#使用代理IP采集数据的更多资料，可以微信联系获取，或者搜索亿牛云索取资料。

C#使用HTTP代理采集HTTPS网站相关推荐

火车头采集器采集https网站以及网站cookie 避免蜘蛛爬虫程序等
火车头采集器采集https网站并不是想象中的困难,有时https网站只是用了这个加密协议,但是事实上的数据并没有加密,所以仍然可以采集. 如果确实有困难的可以通过,http分析软件来确认地址,如H ...
Nginx反向代理实现HTTPS网站
1.环境设置这次是在windows环境下实现的,linux环境下步骤差不多 openssl的windows版本下载地址: http://slproweb.com/products/Win32Ope ...
解决火车头7.6版本无法采集部分https网站处理方法
因为现在大多数网站都采取https,导致很多网站无法采集.那哪行,肯定得有解决办法,今日就说说关于火车头采集器7.6版本无法采集部分https网站处理方法. 火车头7.6版本由于发布时间久远,虽然采集 ...
burp 代理的时候无法访问https网站
今天在使用burp的时候发现不能访问https网站了,Google下面还出现这个 ERR_SSL_VERSION_OR_CIPHER_MISMATCH,于是到官网下载了一个最新的burp就可以访问了, ...
Python 网络数据采集（三）：采集整个网站
Python 网络数据采集(三):采集整个网站 1.采集整个网站 2. 完整代码 3. 下一节,继续优化这个"爬虫"程序参见作者:高玉涵时间:2022.5.30 15:3 ...
使用BurpSuite抓取HTTPS网站
昨天面试,技术官问到了我如何使用BurpSuite抓取https网站的数据包,一时间没能回答上来(尴尬!).因为以前https网站的数据包我都是用Fiddler抓取的,Fiddlert自动帮我们配置好 ...
使用Python3采集小说网站
最近使用python3 的 requests 的库,看了下官网的基本教材,及其简单.及其强大. 看完了教程自然就要上手练习了,这次练习就以小说网站为目标.小说网站简单,包含文字和图片,量也大. 1. ...
nginx正向代理转发https出现502
nginx正向代理转发https出现502 现象1 原因1 解决方案1 参考博客1 现象2 原因2 解决方案2 参考博客2 其他原因现象1 nginx的error日志显示如下(xxx是替换过了真实信 ...
python使用代理ip访问网站_python使用代理ip访问网站的实例
实例如下所示: # -*- coding: UTF-8 -*- from urllib import request if __name__ == "__main__": #访问网 ...

C#使用HTTP代理采集HTTPS网站

C#使用HTTP代理采集HTTPS网站相关推荐

最新文章

热门文章