python网络爬虫实战之下载笔趣看小说网小说

更多爬虫内容请关注博主专栏python3网络爬虫

笔趣看小说网：https://www.biqukan.com/

就拿最近热播的猫腻小说《将夜》来实验吧

代码

import requests,sys,os
from bs4 import BeautifulSoup'''@ author: Face_to_sun@ modigy: 2018-12-1'''def getListHTML(url):headers = {'Referer': 'https://www.biqukan.com/s.php?ie=gbk&s=2758772450457967865&q=%BD%AB%D2%B9','User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.62 Safari/537.36'}try:response = requests.get(url, headers=headers)response.raise_for_status()response.encoding = response.apparent_encodingreturn response.textexcept:return "产生异常"def downLoadPage(url, filename):headers = {'Referer': 'https://www.biqukan.com/2_2758/','User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.62 Safari/537.36'}response = requests.get(url, headers=headers, timeout=30)soup = BeautifulSoup(response.text,'lxml')content = soup.find_all('div', class_='showtxt')try:  print(content[0].text.replace('\xa0'*8,'\n\n'))    with open(filename+'.txt', 'w', encoding='utf8') as f:f.write(content[0].get_text().replace('\xa0'*8,'\n\n'))except:print("失败")def getUrl(soup):server = "https://www.biqukan.com"div = soup.find_all('div', class_='listmain')# print(div)Tag_a = div[0].find_all('a')nums = len(Tag_a)for index in range(len(Tag_a)):page_url = server + Tag_a[index].get('href')name = Tag_a[index].string# print(name, page_url)downLoadPage(page_url, name)sys.stdout.write("已下载：%.3f%%" % float(index/nums) + '\r')sys.stdout.flush()if __name__  == "__main__":url = "https://www.biqukan.com/2_2758/"html = getListHTML(url)soup = BeautifulSoup(html,'lxml')getUrl(soup)

效果

python网络爬虫实战之下载笔趣看小说网小说相关推荐

Python网络爬虫实战案例之：7000本电子书下载（2）
一.前言本文是<Python开发实战案例之网络爬虫>的第二部分:7000本电子书下载网络爬虫开发环境安装部署.配套视频课程详见网易云课堂二.章节目录 (1)Python开发环境依赖 ( ...
python商业爬虫教程_廖雪峰老师的Python商业爬虫课程 Python网络爬虫实战教程体会不一样的Python爬虫课程...
廖雪峰老师的Python商业爬虫课程 Python网络爬虫实战教程体会不一样的Python爬虫课程 1.JPG (53.51 KB, 下载次数: 1) 2019-8-9 08:15 上传 2.JPG ...
python爬虫文件代码大全-Python网络爬虫实战项目代码大全（长期更新，欢迎补充）...
WechatSogou[1]- 微信公众号爬虫.基于搜狗微信搜索的微信公众号爬虫接口,可以扩展成基于搜狗搜索的爬虫,返回结果是列表,每一项均是公众号具体信息字典.[1]: https://github ...
python常用代码大全-Python 网络爬虫实战项目代码大全
原标题:Python 网络爬虫实战项目代码大全 DouBanSpider 豆瓣读书的爬虫.你可以爬豆瓣读书下面标签下的所有图书,按评分排名依次存储,存储到Excel中,可方便大家筛选搜罗,比如筛选评价 ...
python基础代码大全-Python网络爬虫实战项目代码大全（长期更新，欢迎补充）
WechatSogou[1]- 微信公众号爬虫.基于搜狗微信搜索的微信公众号爬虫接口,可以扩展成基于搜狗搜索的爬虫,返回结果是列表,每一项均是公众号具体信息字典.[1]: https://github ...
Python 网络爬虫实战：去哪儿网旅游攻略图文爬取保存为 Markdown电子书
接上回,<Python 网络爬虫实战:爬取<去哪儿>网数千篇旅游攻略数据>. 我们爬取到了数千篇的旅游攻略文章的数据. 但是事情还没有结束,对于大部分的人来讲,最希望得到的东西 ...
[day4]python网络爬虫实战：爬取美女写真图片(Scrapy版)
l> 我的新书<Android App开发入门与实战>已于2020年8月由人民邮电出版社出版,欢迎购买.点击进入详情文章目录 1.开发环境 2.第三方库 3.Scrapy简介 4. ...
[day1]python网络爬虫实战：爬取美女写真图片
l> 我的新书<Android App开发入门与实战>已于2020年8月由人民邮电出版社出版,欢迎购买.点击进入详情文章目录 1.开发环境 2.第三方库 3.实现 1.分析url格 ...
[day2]python网络爬虫实战：爬取美女写真图片(增强版)
l> 我的新书<Android App开发入门与实战>已于2020年8月由人民邮电出版社出版,欢迎购买.点击进入详情文章目录 1.开发环境 2.第三方库 3.实现 1.分析url格 ...
Python网络爬虫实战项目代码大全（长期更新，欢迎补充）
Python网络爬虫实战项目代码大全(长期更新,欢迎补充) 阿橙 · 1 个月内 WechatSogou [1]- 微信公众号爬虫.基于搜狗微信搜索的微信公众号爬虫接口,可以扩展成基于搜狗搜索的爬虫, ...

python网络爬虫实战之下载笔趣看小说网小说

python网络爬虫实战之下载笔趣看小说网小说相关推荐

最新文章

热门文章