简单写一个python爬虫程序：爬取音乐资源

转自：http://www.baobaoshequ.com/article/4630

运行结果：

第一次运行爬取了40首歌，第一个for循环 for i in range（0,2）把前两页共40首歌全部爬取下来了。

第二次运行爬取了120首歌，我加了一行代码page=int(input("请输入您要爬取的页码："))第二个for循环 for i in range（0,page），企图爬取所有的音乐，但是在Python自带的IDE无法运行，提示没有ruquests库。后面我把for循环改成for i in range（0,20）企图爬完所有的音乐结果只爬取下来120歌（一共380首），触发了网页的反爬虫机制，无法爬后面的歌了。

第三次运行爬取了40首歌，我引入了random模块把0最后一行time.sleep（0.5）改成a=random.random()（随机生成0-1的数字）\time.sleep(a)这样的两行企图破了网站的反爬虫机制，结果只爬取了40首，还是触发了网站的反爬虫机制。

第四次运行爬取了20首音乐，我调回如图的程序代码，20首后触发了网站的反爬虫机制，在后面我的爬虫就完全失效了。

遇到的问题：

1、我通过pip install ruquests安装了ruquests库为什么不运行程序？我电脑安装了pycharm、python3.7以及anconda最新版本。

2、如何才能不触发网站的反爬虫机制？

简单写一个python爬虫程序：爬取音乐资源相关推荐

五分钟写一个小爬虫，爬取小说并写入txt文件
先上代码: #-*- coding:UTF-8 -*- import requests from lxml import html url='http://www.shuge.net/html/111 ...
10-24-程序员日-我的第一个python爬虫项目-爬取蜂鸟上的图片
今天是诸位程序员的节日,为了1024勋章,我这个菜鸟也来发个博客网络爬虫(又被称为网页蜘蛛,网络机器人)就是模拟浏览器发送网络请求,接收请求响应,一种按照一定的规则,自动地抓取互联网信息的程序. 在 ...
第一次写爬虫程序爬取豆瓣5W条电影数据
第一次写爬虫程序爬取豆瓣5W条电影数据最近工作比较不是很忙,想到之前使用httpclient和jsoup爬取过一次豆瓣电影TOP250,但总觉得数据量太小,不过瘾.于是趁着最近不是很忙的机会,重新写 ...
Python 爬虫之爬取古代的诗歌，并保存本地（这里以爬取李白的所有诗歌为例）（以备作为AI写诗的训练数据）
Python 爬虫之爬取古代的诗歌,并保存本地(这里以爬取李白的所有诗歌为例)(以备作为AI写诗的训练数据) 目录
python爬虫都能干什么用_5 行代码就能写一个 Python 爬虫
欢迎关注我的公众号:第2大脑,或者博客:高级农民工,阅读体验更好. 摘要:5 行代码就能写一个 Python 爬虫. 如果你是比较早关注我的话,会发现我此前的大部分文章都是在写 Python 爬虫,前 ...
python爬虫能爬取微信密码吗_爬虫如何爬取微信公众号文章
下篇文章:python爬虫如何爬取微信公众号文章(二) 下下篇连接python爬虫如何实现每天爬取微信公众号的推送文章因为最近在法院实习,需要一些公众号的数据,然后做成网页展示出来便于查看,之前我倒 ...
python爬虫之爬取捞月狗直播信息
诶,本人一个大三真皮沙发男.最近迷上了斗鱼大司马,这个就很有意思,你知道吧. 就想写一个python爬虫来搞一波事情,觉得捞月狗这个平台还不错,就花了点时间写了一个用pyqt5做UI界面的爬虫.顿时就 ...
python爬虫实战---爬取大众点评评论
python爬虫实战-爬取大众点评评论(加密字体) 1.首先打开一个店铺找到评论很多人学习python,不知道从何学起. 很多人学习python,掌握了基本语法过后,不知道在哪里寻找案例上手. 很多 ...
python爬虫之爬取网页基础知识及环境配置概括
记:python爬虫是爬取网页数据.统计数据必备的知识体系,当我们想统计某个网页的部分数据时,就需要python爬虫进行网络数据的爬取,英文翻译为 spider 爬虫的核心 1.爬取网页:爬取整个网页 ...

简单写一个python爬虫程序：爬取音乐资源

简单写一个python爬虫程序：爬取音乐资源相关推荐

最新文章

热门文章