需求分析

使用单一ip抓取网页过程中，经常碰到IP被封的情况；现需要获取一批代理IP进行网页抓取；
目前找到一个叫”西刺”的网站，可以提供免费代理IP，领导要求对上面的IP进行爬取，以供日后使用；

分析网站结构

首页
- 各分类IP列表连接（国内高匿代理等）
- IP列表（多页）
- 具体IP获取（查看页面源码-分析html结构编写scrapy）
- 注意：
  1. 匿名：若代理服务器是匿名时，当访问国外的网站时候，国外网站是看不到我们的初始ip的，当然还有一些透明的代理，当访问一些网站时候，他们是可以看到我们的初始ip的
  2. 验证时间：代理ip在某一刻可能是可以使用的，但下一秒或下一分钟可能就不可用了，所以在使用前，应该对其进行可用性验证

存储方式分析

文本文件；
csv文件；
json文件；
jsonlines文件(每一行是一个json字符串)；
数据库
云存储

代码结构规划

使用scrapy（功能强大-使用简便）
抓取进阶
对西刺网站的抓取

8.抓取西刺网站（代理ip网站）相关推荐

爬取西刺网代理ip，并把其存放mysql数据库
需求: 获取西刺网代理ip信息,包括ip地址.端口号.ip类型西刺网:http://www.xicidaili.com/nn/ 那,如何解决这个问题? 分析页面结构和url设计得知: 数据都在本页面 ...
Python 爬取西刺可用代理IP，自带检测。
功能: 爬取西刺代理IP 添加了自动检测IP是否可用功能输出到Data.txt文件中注意: 爬取西刺的时候,有可能真实IP被封,可以先尝试爬取少量的代理IP,放入ip_use中. 测试: 1.测试 ...
爬取西刺网代理IP并检验保存
准备把以前写过的小爬虫慢慢贴出来,抱歉还没怎么去改~ 最后可用的IP保存在运行目录下的ip_ues.txt中. #encoding:utf8 #author : buracag_mc import u ...
应对IP被封--抓取西刺代理，并构建自己的代理池
一.IP简介: 互联网协议地址(英语:Internet Protocol Address,又译为网际协议地址),缩写为IP地址(英语:IP Address),是分配给网络上使用网际协议(英语:Inte ...
爬虫学习3.2 抓取西刺代理，并构建自己的代理池
任务描述学习什么是IP,为什么会出现IP被封,如何应对IP被封的问题. 抓取西刺代理,并构建自己的代理池. 西刺直通点:https://www.xicidaili.com/ . 参考资料:https ...
抓取西刺代理，并构建自己的代理池
1.IP地址: 互联网协议地址(Internet Protocol Address,又译为网际协议地址),缩写为IP地址(IP Address),是分配给用户上网使用的网际协议(IP)的设备的数字标签 ...
爬取西刺网实现ip代理池
使用ip代理服务器可以防止在爬虫时被封本机ip.国内免费的高匿代理可以选择西刺网总体目标是写一个爬虫,将这些字段保存在数据库中,然后筛选速度快的作为代理服务器,实现ip代理池. 在这里使用reque ...
Scrapy抓取西刺高匿代理ip
如题:因为想试试代理ip,所以就想着在西刺上爬一些ip用用如上两节所示,具体如何建立Scrapy工程的细节不在赘述. scrapy startproject xiciscrapy genspider ...
python3 抓取西刺网免费代理IP并验证是否可用
爬取西祠网免费高匿代理IP并验证是否可用存到csv文件 #导入模块import requestsimport chardetimport randomfrom scrapy.selector impo ...

8.抓取西刺网站（代理ip网站）

需求分析

分析网站结构

存储方式分析

代码结构规划

8.抓取西刺网站（代理ip网站）相关推荐

最新文章

热门文章