搭建ADSL自动拨号高匿代理池

adsl这种服务器网上有很多，各位自己选择一个服务商购买就行.

搭建服务器环境: centos7 64位

首先购买后，连上服务器先进行拨号, 我这里的拨号命令是

pppoe-start

拨号完毕后，先安装squid

yum install squid -y

之后编辑squid的配置文件

vi /etc/squid/squid.conf

用户名密码配置在http_access deny all之前加上

auth_param basic program /usr/lib64/squid/basic_ncsa_auth /etc/squid/passwdacl auth_user proxy_auth REQUIREDhttp_access allow auth_user

修改默认的端口号默认的端口号为3128

http_port 3128

文件最后加上高匿代理的配置

request_header_access X-Forwarded-For deny allrequest_header_access From deny allrequest_header_access Via deny all

之后安装htpasswd

yum -y install httpd-tools

配置用户名密码

htpasswd -c /etc/squid/passwd 用户名

重启squid

service squid restart

将squid设置为开机自启

systemctl enable squid

防火墙开启squid的端口

firewall-cmd --zone=public --add-port=端口/tcp --permanent

重启防火墙使配置生效

firewall-cmd --reload

装好之后可以写个python脚本测试一下是否可用

import requestsproxies = {'http': 'http://刚设置的用户名:密码@代理服务器的ip:设置的端口号',
'https': 'https://刚设置的用户名:密码@代理服务器的ip:设置的端口号'
}response = requests.get('http://httpbin.org/get', proxies=proxies)
print(response.text)

这里有一个python3在centos服务器上自动安装的脚本忘记是在哪里搜到的如果看到了可以告知我我把链接附在下面
这个脚本直接上传到centos服务器用自带的python执行就行

#coding=utf-8
import subprocess
import os,sys
def exe_cmd(cmd):p = subprocess.Popen(cmd, shell=True, stdin=subprocess.PIPE, stdout=subprocess.PIPE, stderr=subprocess.STDOUT)while True:next_line = p.stdout.readline()return_line = next_line.decode("utf-8", "ignore")if return_line == '' and p.poll() != None:breakprint(return_line)stdout, stderr = p.communicate()if p.returncode != 0:return Falsereturn Truedef main():print ("python 3.7.2 一键安装开始！")backinfo = exe_cmd('ping -c 1 -w 1 www.baidu.com')if backinfo == False:print ("网络检测失败程序退出，请重新检测网络环境!")sys.exit()print ("网络连接正常!")yum_jc = exe_cmd('yum list')if yum_jc == False:print ("yum 不可用，请先手动配置yum安装!")sys.exit()print ('yum安装检测可用!')exe_cmd("yum install gcc -y")exe_cmd("yum install openssl-devel bizp2-devel expat-devel gdbm-devel readline-devel sqlite-devel libffi-devel -y")exe_cmd("wget http://npm.taobao.org/mirrors/python/3.7.2/Python-3.7.2.tgz")exe_cmd("tar -zxvf Python-3.7.2.tgz")exe_cmd("mv Python-3.7.2 /usr/local/")exe_cmd("rm -rf Python-3.7.2.tgz")os.chdir('/usr/local/Python-3.7.2')exe_cmd("./configure")exe_cmd("make")exe_cmd("make install")print ("程序执行完成！输入python3 查看效果。")if __name__ == '__main__':main()

成功之后可以自己在服务器上写一个脚本自动拨号之后将拨号成功的脚本发送至服务器，或者存到远程服务器的redis
这里说一下如果是存到远程服务器的redis，每次拨号完程序redis连接会断开,需要重连一下redis

或者说可以用现成大佬们写好的这里贴上崔大的github链接

https://github.com/Python3WebSpider/AdslProxy

搭建ADSL自动拨号高匿代理池相关推荐

python代理池_进击：用Python搭建高匿代理池
Email: WlRCME0zSjRRR2R0WVdsc0xtTnZiUT09 0x01 写在前面常听到很多人抱怨自己的IP因爬虫次数太多而被网站屏蔽,不得不频繁使用各种代理IP,却又因为网上的公开 ...
python爬取高匿代理IP（再也不用担心会进小黑屋了）
一起进步为什么要用代理IP 很多数据网站,对于反爬虫都做了一定的限制,这个如果写过一些爬虫程序的小伙伴应该都深有体会,其实主要还是IP进了小黑屋了,那么为了安全,就不能使用自己的实际IP去爬取人家网 ...
开箱即用的高匿代理抓取工具
golang-proxy v3.0 golang-proxy是一个开箱即用的高匿代理抓取工具, 它是语言无关的项目地址: https://github.com/storyicon/golang-pr ...
golang-proxy 具有性能评估功能的高性能免费高匿代理抓取
Golang-Proxy 项目地址: https://github.com/storyicon/golang-proxy Golang-Proxy – 简单高效的免费代理抓取工具通过抓取网络上公开的免 ...
go proxy 快捷的高匿代理抓取工具
golang-proxy v2.0 Golang-Proxy – 简单高效的免费代理抓取工具通过抓取网络上公开的免费代理,来维护一个属于自己的高匿代理池,用于网络爬虫.资源下载等用途. Version ...
【爬虫】 Squid 3.5.20 安装与配置高匿代理
Squid 介绍 Squid是一个缓存internet数据的一个软件,它接收用户的下载申请,并自动处理所下载的数据.也就是说,当一个用户象要下载一个主页时,它向Squid发出一个申请,要Squid替它 ...
python爬取国内代理ip_【python】国内高匿代理爬取,并验证代理ip有效性
运行环境:python 3.7.3 所需库: 1. requests 2. lxml 3. time 4. multiprocessing 5. sys 目的:构建自己的代理ip池,针对封ip型反爬虫 ...
好用的高匿代理IP有什么特点？
知道代理IP的人越来越多了,不管是单纯的换IP,还是进行大量的数据采集,都会需要代理IP这个工具.那怎么样才能在众多的代理IP平台上找到好用的呢,我们首先要了解好用的高匿代理IP所需的特点高匿代理不 ...
高匿代理,混淆代理,匿名代理,透明代理略解
这4种代理,主要是在代理服务器端的配置不同,导致其向目标地址发送请求时, REMOTE_ADDR, HTTP_VIA,HTTP_X_FORWARDED_FOR三个变量不同. 1.透明代理(Transp ...

搭建ADSL自动拨号高匿代理池

搭建ADSL自动拨号高匿代理池

搭建ADSL自动拨号高匿代理池相关推荐

最新文章

热门文章