proxies获取代理Ip方案

获取代理Ip
防止自己的Ip被封禁,最好用一下代理IP
代理IP网站可以检测一下是否能用,从中随机获取

import requests
from bs4 import BeautifulSoup
import random
import tracebackheaders = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36'}def getHTML(url):try:r = requests.get(url,headers = headers,timeout = 30)r.raise_for_status()r.encoding = r.apparent_encodingreturn r.textexcept:print('爬取失败')def get_ip_list(url):r = getHTML(url)soup = BeautifulSoup(r,'html.parser')ips = soup.find_all('tr')ip_list = []for i in range(len(ips)):try:ip_info = ips[i]tds = ip_info.find_all('td')ip_adress = tds[0].text + ':' + tds[1].textip = {"http": "http://" + ip_adress}ip_list.append(ip)#print(ip_list)except:#traceback.print_exc()continue#检测是否可用for ip in ip_list:try:res = requests.get('http://www.baidu.com',headers=headers,proxies=ip,timeout = 30)res.raise_for_status()except:#traceback.print_exc()print('此代理ip{}不可用'.format(ip))ip_list.remove(ip)continuereturn ip_listdef main():proxieslist=[]for i in range(1,5):url = 'https://www.kuaidaili.com/free/inha/{}/'.format(i)ip_list = get_ip_list(url)print(ip_list)prog = i*100/5print("\r当前进度:{}{:.2f}%".format('***'*int(prog/10),prog),end="")proxieslist += ip_listreturn proxieslistif __name__ == '__main__':proxieslist = main()print(random.choice(proxieslist))

huibif的学习笔记

proxies获取代理Ip方案相关推荐

使用python多线程获取代理IP（代理IP池，附源码）
@[TOC]使用python多线程获取代理IP(代理IP池,附源码) 代理IP池都说现在是大数据的时代,大多数的厂商会特别的注重自己家的数据安全问题,但同时,也有着许多的行业是需要大数据来做支撑的, ...
Python3获取代理IP
操作步骤分析代理IP网站页面结构. 请求代理IP网站,解析并获取代理IP. 校验代理IP的可用性. 保存可用代理IP到文件中. 页面解析分析https://www.xicidaili.com/nn ...
Python获取代理IP地址
代码: import requests from bs4 import BeautifulSoup# 获取代理ip TEST_URL = 'https://www.kuaidaili.com/free ...
ProxyPool proxy-pool: java 基于springboot框架获取代理ip
PROXY-POOL: java 基于springboot框架获取代理ip
使用Storm proxies动态代理IP海外代理服务器IP及端口怎么获取？
获取海外代理服务器IP和端口的方法有多种,这里介绍两种常用的方法: 在代理服务提供商的网站上查找:一般来说,代理服务提供商都会在其官方网站上提供海外代理服务器的IP地址和端口信息.可以在网站上查找相应 ...
实战项目一：爬取西刺代理（获取代理IP）
爬虫的学习就是与反扒措施.反扒系统做斗争的一个过程,而使用代理IP是我们重要的防反扒的重要措施,代理IP的来源有两种一是你花钱去购买商家会给你提供一个接口你直接调用就可以了,二是自己在网上爬取高效IP ...
代理IP的背后原理简单介绍与python写一个获取代理IP的爬虫
title: 代理IP的那些事 copyright: true top: 0 date: 2019-11-13 14:20:39 tags: 代理IP categories: 爬虫笔记 permali ...
免费获取代理ip和使用
获取代理ip-python 当我们爬取一个网站的信息,重复快速的同时使用一个ip来访问,可能会被网站认为是恶意然后禁止访问,这种时候我们就需要使用代理ip,我们的电脑首先先访问代理ip,然后通过代理i ...
爬虫获取代理IP并检验可用性与识别指纹
前段时间在做有关代理IP与路由器的学习,基于FreeBuf上feiniao的文章http://www.freebuf.com/articles/web/159172.html,自己总结并修改了部分代码 ...

proxies获取代理Ip方案

proxies获取代理Ip方案相关推荐

最新文章

热门文章