爬取小说——爬取书的地址

def getBook(type,page):"爬取书网址，type=int小说类型，page=int书架页码，book_L=list所有书的地址列表"hd = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36 SLBrowser/7.0.0.4071 SLBChan/21"}url = "https://www.duquanben.com/book%d/0/%d/"url = url % (type,page)page = requests.get(url,headers=hd)page.encoding = page.apparent_encodingsoup = BeautifulSoup(page.text, 'html.parser')dIv = soup.find('div', attrs={'class':"clearfix rec_rullist"})li = dIv.find_all('li', attrs={'class':"two"})book_L = []for i in li:src = i.a['href']name = i.a.textbook_L.append((name,src))return book_L

爬取小说——爬取书的地址相关推荐

python爬取小说爬取_用python爬取笔趣阁小说
原标题:用python爬取笔趣阁小说首先打开笔趣阁网址,链接,搜索自己想要的小说. 在网站内单击右键,点击检查,会出现如下界面! 我们需要的章节信息就在我划的这块, 可以将每个标签点一下,它对应的内 ...
使用PyCharm批量爬取小说
使用pycharm批量爬取小说爬取小说的思路: 首先获取小说的地址. 分析目录地址结构. 进行地址的拼接. 分析章节内容结构. 获取并保存文本. 完整代码 1.获取小说地址本文以搜书网一小说为例& ...
python爬去百度百科词条_Python爬虫入门学习实践——爬取小说
本学期开始接触python,python是一种面向对象的.解释型的.通用的.开源的脚本编程语言,我觉得python最大的优点就是简单易用,学习起来比较上手,对代码格式的要求没有那么严格,这种风格使得我 ...
python爬虫笔记（八）实例3：用Python批量爬取全站小说【以书趣阁为例】
1. 用Python批量爬取全站小说爬取这个网站小说:http://www.shuquge.com/txt/89644/index.html 2. 爬取一本书 # -*- coding: utf-8 ...
python按章节分割txt_python爬虫，爬取小说
功能:爬取并下载小说中非vip部分的内容. 对于一个有八九年书龄的老书虫而言,遇到想看的小说,却没有找到下载的窗口,每次阅读都需要网上搜索,特别是网不好的地方,是十分不方便的.因此利用python写了 ...
Python爬取小说网站
感觉好像蛮久没用更新博客了,这不准备成人高考了嘛,作为中专毕业的我来说,觉得大专证还是会有一点用处滴,所以花了点时间看书,可惜每次看书,看着看着就找周先生聊天去了,哎,不知有没有大佬教下我怎么提高看书 ...
还在苦于Kindle的epub格式吗？python爬虫，一键爬取小说加txt转换epub。
还在苦于Kindle的epub格式吗?python爬虫,一键爬取小说加txt转换epub. 项目地址: https://github.com/Fruiticecake/dubuNovel/blob/m ...
qu.la网站上的小说爬取
qu.la网站上的小说爬取 ##这个项目是我最早开始写的爬虫项目,代码比较简陋在写这个项目时,我还不会Python的协程编程,用协程可提升爬虫速度至少5倍,参考我的文章[线程,协程对比和Python ...
还不知道要看什么小说嘛？爬取小说网站前10页的小说数据分析一波
爬取小说数据效果网页分析网页网址分析书内容位置分析不同书内容位置分析将内容存到Excel 完整代码效果网页分析网页网址分析对比我们可以发现,不同的网页只有后边的数字不一样. 得到前 ...

爬取小说——爬取书的地址

爬取小说——爬取书的地址相关推荐

最新文章

热门文章