Python3小说下载、自动转存为TXT、方便自己使用

Python3小说下载

小说下载说明：
运行环境：Pycharm2020.2.2
1.网址：http://www.31xiaoshuo.org/ （大部分小说都能搜索到）
2.首页搜索小说，或点开主页中的小说，即打开全部章节，复制网址，如：http://www.31xiaoshuo.org/1/1886/，复制到

if __name__ == '__main__': url = 'http://www.31xiaoshuo.org/1/1886/'

3.运行如下：

     /usr/bin/python3.8 /home/maya/PycharmProjicts/Event/31*小说下载.py总章节数：1582你正准备下载小说：【圣墟】,确认需开始的章节：1一共1582章，要下至多少章？1582*

代码：


# 小说下载说明：
# 网址：http://www.31xiaoshuo.org/ （大部分小说都能搜索到）
# 首页搜索小说，或点开主页中的小说，即打开全部章节，复制网址，如：http://www.31xiaoshuo.org/1/1886/，复制到if __name__ == '__main__':
#     url = 'http://www.31xiaoshuo.org/1/1886/'，运行如下：
# /usr/bin/python3.8 /home/maya/PycharmProjicts/Event/31小说下载.py
# 总章节数：1582
# 你正准备下载小说：【圣墟】,确认需开始的章节：1
# 一共1582章，要下至多少章？1582import requests,time
from bs4 import BeautifulSoupname,href,book=[],[],[]  #节名,href,小说名
def html(url):r=requests.get(url)#print(r)# soup转换soup=BeautifulSoup(r.text,"html.parser")#print(soup)section = soup.select('div#list dl dd a')# print(len(section)) #<a href="/17/17545/11904841.html">第一章 门派弃徒</a># 获取章节名称book_name = soup.select('div#info h1')[0].text  #仙武帝尊book.append(book_name)# name,href,book=[],[],[]for i in range(len(section)):section_name=section[i].text #第一章 门派弃徒name.append(section_name)# 获取章节hrefsection_href=section[i].get('href')href.append(section_href)# /17/17545/11904841.html   or :sectionhref'])# return name,href
def zhangjie():print('总章节数：'+str(len(href)))start=int(input('你正准备下载小说：【'+book[0]+'】,确认需开始的章节：'))total=int(input('一共'+str(len(href))+'章，要下至多少章？'))if total<=len(href):# print(href[start],start)sleep=0for i in range(start-1,total):book_url = 'http://www.31xiaoshuo.org' + href[i]# print(start,start+total,href[i],book_url)header = {'Connection': 'keep-alive','Cookie': 'Hm_lvt_29a352f58f525381803e1ef14929689d=1603441754,1603462717,1603498391; bdshare_firstime=1603441753801; tongji=1; _ga=GA1.2.633931289.1603441755; _gid=GA1.2.96401951.1603441755; Hm_lpvt_29a352f58f525381803e1ef14929689d=1603498396; _gat_gtag_UA_139602484_1=1','Referer': 'http://www.31xiaoshuo.org/17/17545/','User-Agent': 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:81.0) Gecko/20100101 Firefox/81.0'}r = requests.get(book_url, headers=header)# print(r.text)soup = BeautifulSoup(r.text, "html.parser", exclude_encodings='utf-8')# book_name=soup.select('div.con_top a')[1].text #仙武帝尊zhangjie_name = soup.select('div.bookname h1')[0].text  # 第一章 门派弃徒zhangjie_content = soup.select('div#content p')  # [<p>“外门弟子叶辰。。。# zhangjie_content1=soup.select('div#content p')[56].text# print(book_name)if sleep%10==0:time.sleep(2)else:sleep = sleep + 1print('正在下载章节：' + zhangjie_name)f = open(book[0] + '.txt', "ab+")  # 打开小说文件# 以二进制写入章节题目 需要转换为utf-8编码，否则会出现乱码f.write(('\t\r' + zhangjie_name + '\r\n\n').encode('UTF-8'))  # 回车+换行：\r\n# 以二进制写入章节内容for t in range(len(zhangjie_content)):f.write((zhangjie_content[t].text + '\r').encode('UTF-8'))f.close()  # 关闭小说文件# 关闭小说文件else:print('WARRING...输入超过总章节，出错！请重新输入，重新运行!')if __name__ == '__main__':url = 'http://www.31xiaoshuo.org/1/1886/'html(url)# print(name[0],href[0],book[0],href[150])zhangjie()# print(req(url)[0][0],req(url)[1][0])

运行效果：

Python3小说下载、自动转存为TXT、方便自己使用相关推荐

实战干货：Python3小说站点爬虫｜附下载
点击上方"Python高校",关注文末干货立马到手作者:Jack Cui http://cuijiahua.com/blog/2017/10/spider_tutorial_1 ...
python3免费下载小说案例
python3免费下载小说案例说明:本案例使用selenium爬取"www.50331.net"网站小说,小说内容定位通过xpath.利用centos7安装google浏览器,通 ...
2021年scrapy一分钟内爬取笔趣阁整本小说存为txt｜解决章节排序问题
本人是一个小说迷,喜欢用电纸书看小说,但苦于难以寻找网络小说的txt版本,加之最近学习了一下怎么用scrapy爬取网页数据,所以想到去使用scrapy框架来爬取笔趣阁小说存为txt文件,在爬取过程中对 ...
【githubshare】支持有声小说与文本小说，可下载 mobi、epub、txt 格式文本小说，兼容 Win
分享一款项目管理后台搭建工具:Motor Admin.无需编码,即可快速为应用搭建简单易用的管理后台. 开发者可定制 CRUD 界面,并提供表单生成器.SQL 语句在线运行.数据可视化.应用管理面板. ...
python tkinter下载器_下载小说还要去找网站？Python使用tkinter打造一个小说下载器...
前言今天教大家用户Python GUI编程--tkinter 打造一个小说下载器,想看什么小说,就下载什么小说先看下效果图 Tkinter 是使用 python 进行窗口视窗设计的模块.Tkint ...
小说下载阅读器_初始简单版
小说下载阅读器_初始简单版相信园子里面的很多人和我一样喜欢阅读小说,下面是这几年用的比较多一点的阅读器,功能相对完整. Windows本地程序/手机 1.http://www.mybook66.co ...
PTCms小说系统自动在线采集修正版+手机
介绍: PTCms小说系统自动在线采集修正版,小说聚合网站带手机端,4套模板,在线听书和TXT下载 1.安装前的准备工作将程序上传到网站根目录下,不要在二级目录下调试,请勿删除根目录下的bbs.## ...
python 小说下载工具_使用tkinter打造一个小说下载器，想看什么小说，就下什么...
前言今天教大家用户Python GUI编程--tkinter 打造一个小说下载器,想看什么小说,就下载什么小说先看下效果图 Tkinter 是使用 python 进行窗口视窗设计的模块.Tkint ...
python +pyqt 小说下载阅读器转语音合成 ,基于PyQt5生成图形页面（已打成exe可直接下载使用）
最近在学习python,写了一款简单的小说下载器,基本功能都已经实现,废话不多说直接上效果简单说下功能把 1.支持在线阅读,翻页键盘快捷键上下(阅读) 左右(翻页).可以导出TXT到本地,默认是 ...

Python3小说下载、自动转存为TXT、方便自己使用

Python3小说下载

Python3小说下载、自动转存为TXT、方便自己使用相关推荐

最新文章

热门文章