免费代理池(proxy_pool)搭建教程
简介:
让我们先了解一下proxy_pool这个项目:在我们写爬虫的时候,有时候会遇到限制IP访问速度的,这样就严重的影响了我们程序的运行,而想解决限制就不得不去使用代理,网上的代理价格不一,让许多老铁望而生畏,这个时候这个免费的代理池就应运而生了。让一众多喜欢白嫖的老铁欣喜若狂,可是在网上关于这个项目怎么搭建的文档确比较少,这个时候我就应运而生了。我们先了解一下,这个项目需要使用到 redis数据库以及python,思来想去我决定利用我电脑上的VM虚拟机中的deepin Linux系统来给大家演示搭建过程。项目地址:https://github.com/jhao104/proxy_pool
安装redis数据库
先使用su root ,切换一下root权限。
使用命令进行下载redis,
apt-get install redis-server
修改redis配置文件
自动安装的目录在 /etc/redis/redis.conf 接下来我们vi 打开配置文件进行修改一下。
daemonize yes # 守护进程开启
protected-mode no # 关闭保护模式
# bind 127.0.0.1 ::1 # 这条代码表示只允许本机访问所以注释掉
port 6379 # redis 开放端口(如果是有防火墙的服务器需要开启该端口)
编辑好后退出,
#cd 到redis目录下
cd /etc/redis/
# 启动redis
redis-server config/redis.conf
# 连接 Redis 服务
redis-cli
# 使用 ping 测试服务, 出现 PONG 说明成功
ping
# 停止服务
shutdown
# 退出
exit
到这里我们 redis 就安装完成了,下面我们开始 proxy_pool 的配置。
proxy_pool下载及其配置
首先我们新建终端,依然使用root权限。我们可以直接使用get进行下载。如果没有就使用apt-get install git 安装git
git clone https://github.com/jhao104/proxy_pool.git ./proxy_pool
考虑到大家的网速可能不给力下面附上百度网盘链接:
链接:https://pan.baidu.com/s/1KsgOeN3VAe6ndmY_A1ewew
提取码:q8ph
如果是使用git下载下来的不用解压,百度网盘下载下来的解压一下。
使用root权限的终端打开proxy_pool目录vi 编辑一下setting.py文件。
HOST = "192.168.150.132" # 想让其他机器能够访问到api,就改成自己的ip地址,
# 要不然改成127.0.0.1也可以DB_CONN = 'redis://:@127.0.0.1:6379/0'
就编辑这两行,最后保存退出。
pip安装python包
最后使用下面的命令安装python需要的包。
这里有一个小坑,在 proxy_pool 目录中的 requirements.txt 中加上一行,最新版的itsdangerous与proxy_pool不兼容,默认安装后,启动项目的时候会出现错误。
itsdangerous==2.0.0
然后使用以下命令安装python包
python3 -m pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -r requirements.txt
如果提示 **No module named pip** 就使用下面这条命令安装 **pip**,安装成功后再使用上面的命令。
apt-get install python3-pip
这个时候我们所有的环境和配置都配置好了,进入proxy_pool目录使用以下命令启动proxy_pool。
python3 proxyPool.py schedule && python3 proxyPool.py server
出现以下界面就算成功了。
接下来为了方便以后启动项目,我们来编写一个shell脚本。
在proxy_pool目录下面使用root权限创建一个 start_proxy.sh 的文件,保存以下代码。
redis-server /etc/redis/redis.conf # 启动redissleep 5 # 暂停5秒cd /home/lgb/Desktop/proxy_pool && python3 proxyPool.py schedule & # 启动爬虫sleep 5python3 proxyPool.py server # 启动api服务
使用以下命令启动项目
./start_proxy.sh
访问下面的链接看能不能请求到地址。
http://127.0.0.1:5010/get/
这样就算成功了。
免费代理池(proxy_pool)搭建教程相关推荐
- 好用的免费代理池搭建
好用的免费代理池 **项目地址:https://github.com/lin423497786/ProxyPool.git** 效果图 运行项目 使用 项目地址:https://github.com/ ...
- python爬虫免费代理池_Python爬取免费代理搭建代理池
我们在做爬虫的过程中经常会遇到这样的情况:最初爬虫正常运行,正常抓取数据,一切看起来都是那么美好,然而一杯茶的功夫可能就会出现错误,比如403Forbidden:这时候网页上可能会出现 "您 ...
- python爬虫免费代理池_【Python3爬虫】教你怎么利用免费代理搭建代理池
一.写在前面 有时候你的爬虫刚开始的时候可以正常运行,能够正常的爬取数据,但是过了一会,却出现了一个"403 Forbidden",或者是"您的IP访问频率太高" ...
- 第21讲:IP代理池的搭建和使用
我们在上一课时了解了利用代理可以解决目标网站封 IP 的问题,但是如何实时高效地获取到大量可用的代理又是一个问题. 首先在互联网上有大量公开的免费代理,当然我们也可以购买付费的代理 IP,但是代理不论 ...
- 如何维护一个1000 IP的免费代理池
楔子 好友李博士要买房了, 前几天应邀帮他抓链家的数据分析下房价, 爬到一半遇到了验证码. 李博士的想法是每天把链家在售的二手房数据都抓一遍, 然后按照时间序列分析. 链家线上在交易的二手房数据大概有 ...
- 第九部分 代理的使用(代理设置,代理池的搭建,用代理获取微信公众号文章)...
网站采取的反爬虫措施有:弹出验证码,需要登录.检测某个IP在单位时间内的请求次数,超过规定的某个值,服务器拒绝服务,返回一些错误信息,这是封IP. 既然服务器封IP,可采用某种方式伪装IP,让服务器不 ...
- 免费代理平台的搭建和隧道代理的使用
自己搭建代理服务器 在网上看了一些,基本的思路都是抓取各个代理平台的免费的ip,然后测试可用性,在自己使用的方法. 在github上找了一个ip代理池 操作很方便,执行cli下面的start.sh就启 ...
- python爬虫ip代理池_爬虫教程-Python3网络爬虫开发——IP代理池的维护
该楼层疑似违规已被系统折叠 隐藏此楼查看此楼 准备工作 要实现IP代理池我们首先需要成功安装好了 Redis 数据库并启动服务,另外还需要安装 Aiohttp.Requests.RedisPy.PyQ ...
- asyncio+aiohttp异步免费代理池(已失效)
asyncio+aiohttp异步代理池 程序已失效,因为免费代理可用率实在太低,就不维护了. 异步代理池 github地址 初级版本代理池 博客地址 经历了好几天时间,终于将asyncio初步了解, ...
最新文章
- [Java开发之路](21)Comparator与Comparable
- 利用python去除红章
- java ee架构_与Java EE和Spring的集成架构
- [delphi]修改indy源码后重新编译
- java date只保留年月日_java.util.Date、java.sql.Date、java.sql.Timestamp区别和总结
- java 数据路id增长策略_基于数据库实现ID自动生成策略
- 成员函数指针有多态的效果吗?
- 【OCP-052】052认证考试新题库整理-第9题
- matlab液体湿润模拟,【水文模型】01 三水源新安江模型
- BIOS开启了VT,但是CPU-V显示未开启
- 数据结构教程(c语言)(已完结)
- 装机员系统下载合集(五月更新发布)!
- 魔力宝贝 6.0 linux 一键端,魔力宝贝单机版6.0下载_魔力宝贝单机版下载-游戏下载...
- 张飞老师硬件第六部视频整理——电源——开关电源
- 计算机毕业生城市分布情况,2018年中国各省份高考生数量、高校毕业生就业流入集中区及各省份毕业生数量分布情况分析【图】...
- 如何将竖屏视频转换为横屏,横屏转为竖屏
- NOIP2014提高组A.石头剪刀布(解题报告)
- msgpack-c 官方文档整理翻译之pack
- 国内AI众包竞赛加速发展,云计算成助推器
- 基于Matlab虹膜图像的外边界定位
热门文章
- 该微信用户未开启“公众号安全助手”的消息接收功能,请先开启后再绑定
- 直捣三星老巢,小米携红米Note 5进军韩国市场!
- 孪生素数问题——素数(质数)指的是不能被分解的数,除了1和它本身之外没有其他数能够整除。如果两个素数之差为2,则这两个素数就是孪生素数,例如3和5为孪生素数,。找出1-100之间的所有孪生素数。
- [11.7日学习记录]多目标优化和帕累托最优解集(未完成)
- 【论文-笔记】雷达/电子干扰攻防对抗信号级仿真中提高仿真速度的思考和实践
- 【图结构专题】有向图
- 关于jmp指令的机器码
- google网页翻译使用不了的解决方案
- 【Android】程序包com.github.chrisbanes.photoview不存在
- 串口TXD和RXD的线序导致不能通信的问题