python爬虫接单经历_记一次的接单经历

这几天在学校里也没有什么事,就翻了翻程序接单群,想赚几个鸡腿钱,于是就找了一个看起来还挺简单的爬虫需求,接了下来

要求是爬取豆瓣2018年所有的电影信息,豆瓣算是爬虫学习必爬的一个网址了,这也是我觉得简单的一个原因.

接下来就开始写代码,当时是三点,我自信满满的说会在六点之前把代码交给他,代码写的很快,大概逻辑是这样的:

1.分析网页结构:

在豆瓣2018分类下,只展示了20个电影其余电影是点击"加载更多"按钮才能出来的,这是爬虫第一个难点,第二个就是,需要点进去才能看到点影响评分,地区,上映时间等详细信息.

解决方案,放弃直接在网页上爬取,去找json数据

2.观察json的网址,找到规律,收集到所有的jsonurl,然后再解析json数据,从中得到电影信息的url,再存起来.

3.再爬取存储的url,通xpath把详细信息爬取下来,遇到缺省值则放弃保存

4.采用了多线程的方式爬取数据,url保存到queue中

逻辑上是没有问题的,代码也很快写完了,但是运行的时候出了问题.

豆瓣的反扒机制!

一分钟内,如果一个ip地址向豆瓣请求了超过40次的请求,则会暂时把这个ip封掉.宿舍的无线网已经被封掉了,自己的手机wifi也在第二次测试被办了,在废掉n个手机后,得出了一个结论,一个ip能爬取200左右的链接

当前我知道IP的解决方法--花钱去买代理池,但是费用昂贵,不值,

最后和买家商量了,把原本9900+的电影数据改成了1000左右,我在其他宿舍借用了n个手机,轮流给我开热点,终于完成了任务,拿着最后得到的七十块钱,感叹道真的好累呀!

python爬虫接单经历_记一次的接单经历相关推荐

python 工业软件开发_记一次工业软件开发经历
项目概述项目背景:工厂表面处理产线项目 b司接了a司一条表面处理产线的项目,包含硬件及软件,由于现在b司做的软件难用且数据难以查找,a司不满意验收不通过,款项没有结清.所有b司找到我们,希望我们能帮 ...
python爬虫爬取音乐_利用python爬虫实现爬取网易云音乐热歌榜
利用python爬虫实现爬取网易云音乐热歌榜发布时间:2020-11-09 16:12:28 来源:亿速云阅读:102 作者:Leah 本篇文章给大家分享的是有关利用python爬虫实现爬取网易云 ...
python爬虫工资高吗_月薪2万的爬虫工程师，Python需要学到什么程度？
Python 爬虫学到什么样就可以找工作了? 非计算机专业,正在自学python,很多教程里提到的网站的爬虫都会写了.比如拉勾网,豆瓣,实习僧,京东,淘宝,某妹子图等等--但是因为不是计算机专业的,也 ...
python爬虫抖音音浪_爬虫抖音_抖音淘宝联盟入驻条件
如果你刚开始操作抖音,运营抖音还不懂平台的操作技巧,可以加我的微信:422591055 带你玩转抖音自媒体平台,我还联合了抖音运营的几位大佬,每日分享免费的抖音运营的实操讲解,还可以免费获取到抖音运营 ...
python爬虫崔庆才_崔庆才老师爬虫原理讲解笔记
目录: 一.什么是爬虫? 二.爬虫的基本流程三.什么是Request和Response? 四.Request中包含什么? 五.Response中包含什么? 六.能抓怎样的数据七.解析方式八.为啥 ...
python爬虫爬微信红包_爬虫之微博抢红包
先让大家看下最终效果... 1,使用的工具及包 google浏览器 User-Agent Switcher for Google Chrome 这是一个能自定义浏览器头的Google浏览器插件 req ...
Python爬虫实战Pro | (1) 爬取猫眼电影Top100榜单
在本篇博客中,我们将使用requests+正则表达式来爬取猫眼电影官网的TOP100电影榜单,获取每部电影的序号,片名,主演,上映日期,评分和封面等内容. 之前在Python爬虫实战(1)中我们曾爬取 ...
python爬虫编程100例_哪种Python程序员最赚钱？爬虫数据告诉你！
世界上有三种宝贵的东西: 知识.粮食和友谊. 那么,1 块钱,你能买到什么呢? 骑一次共享单车买 2 包辣条 1/190 件格子衬衫 1/299 支口红 1/10099 个 iPhone XS 但是 ...
python爬虫去哪儿网_大型爬虫案例：爬取去哪儿网
世界那么大,我想去看看.相信每到暑假期间,就会有很多人都想去旅游.但是去哪里玩,没有攻略这又是个问题.这次作者给大家带来的是爬取去哪网自由行数据.先来讲解一下大概思路,我们去一个城市旅行必定有一个出发 ...

python爬虫接单经历_记一次的接单经历

python爬虫接单经历_记一次的接单经历相关推荐

最新文章

热门文章