Go爬虫colly官方示例十五【proxy_switcher】- 设置代理池

文章目录

示例介绍
示例代码
输出

转载请标明出处：
http://blog.csdn.net/qq_27818541/article/details/112489172
本文出自:【BigManing的博客】

示例介绍

通过proxy.RoundRobinProxySwitcher 设置代理池

示例代码

package mainimport ("bytes""log""github.com/gocolly/colly/v2""github.com/gocolly/colly/v2/proxy"
)func main() {// Instantiate default collectorc := colly.NewCollector(colly.AllowURLRevisit())// Rotate two socks5 proxiesrp, err := proxy.RoundRobinProxySwitcher("socks5://127.0.0.1:1337", "socks5://127.0.0.1:1338")if err != nil {log.Fatal(err)}// 【设置代理IP】 ，这里使用的是轮询ip方式c.SetProxyFunc(rp)// Print the responsec.OnResponse(func(r *colly.Response) {log.Printf("Proxy Address: %s\n", r.Request.ProxyURL)log.Printf("%s\n", bytes.Replace(r.Body, []byte("\n"), nil, -1))})// Fetch httpbin.org/ip five timesfor i := 0; i < 5; i++ {c.Visit("https://httpbin.org/ip")}
}

输出

自行测试

Go爬虫colly官方示例十五【proxy_switcher】- 设置代理池相关推荐

Go爬虫colly官方示例二十一【shopify_sitemap】- 使用XPath请求抓取shopify网站地图里url
文章目录示例介绍示例代码名词解释 Sitemap 简介 XPath 输出转载请标明出处: http://blog.csdn.net/qq_27818541/article/details/11 ...
Go爬虫colly官方示例六【xkcd_store】- 抓取xkcd商店商品列表
文章目录示例介绍示例代码输出转载请标明出处: http://blog.csdn.net/qq_27818541/article/details/112198134 本文出自:[BigManin ...
Fiddler（五）设置代理 HTTPS 请求
Fiddler(五)设置代理 HTTPS 请求 HTTPS 介绍 Fiddler设置HTTPS代理 HTTPS 介绍 HTTPS(全称:Hyper Text Transfer Protocol ove ...
爬虫学习笔记（十五）——加密解密
文章目录一.概念和作用 1.1.概念 1.2.作用 1.3.常用加密方式二.字符编码 2.1.进制间转换方法(python) 2.2.unicode 三.Base64编码原理 3.1.概念 3.2 ...
Seal库官方示例（五）：ckks_basics.cpp解析
这个代码计算的是π×x3+0.4×x+1\pi \times x^3+0.4 \times x +1π×x3+0.4×x+1. 代码解析方案选择首先照例是方案选择 EncryptionParame ...
（十五）配置代理跨域
1.解决Ajax请求跨域的两种方式服务器之间传输数据不受同源策略的限制,Ajax是前端技术. (1)解决跨域问题的两种方式 jsonp cors jsonp:利用<script>的s ...
Qt笔记(十五)之设置程序图标
一.前言设置程序图标是使用Qt开发应用软件最基本的的东西,可是楼主一开始接触的时候捣鼓了许久,故在此做个记录二.具体实现 1.准备工作新建一个资源文件qrc(主要是为了统一管理图标文件) 添加需 ...
爬虫工具之selenium（五）-建立代理IP池
主要思路是分两步:第一步判断代理IP是否有效,第二步爬取免费网站代理IP,第三步循环判断爬取的代理IP是否有效一.判断代理IP是否有效 proxies:代理,分为http与https两种,爬取不同网 ...
Python爬虫入门之使用Redis+Flask维护动态代理池
代理池的要求多站抓取, 异步检测定时筛选, 持续更新提供接口, 易于提取代理池架构代码代码放到github上了,稍微修改了一点,可以正常运行了.有问题评论留言讨论. 分为两种ProxyPo ...

Go爬虫colly官方示例十五【proxy_switcher】- 设置代理池

文章目录

示例介绍

示例代码

输出

Go爬虫colly官方示例十五【proxy_switcher】- 设置代理池相关推荐

最新文章

热门文章