HomeWorkDay05---下载小说

import multiprocessing
from lxml import etree
import requests
import re
def novel():response = requests.get('https://www.17k.com/list/3015690.html')   #请求网页 <Response [200]>response.encoding = 'utf8'tree = etree.HTML(response.text)    #调用HTML类进行初始化，这样就成功构造了一个XPath解析对象w_list = tree.xpath('//html/body/div[@class="Main List"]/dl[@class="Volume"]/dd/a')   #提取每一个a标签的内容#<a target="_blank" href="/chapter/3015690/38259921.html" title="第一章 和龙王谈交易url = []for i in w_list:href = i.xpath('./@href')[0]    #提取href标签的内容a  = 'http://www.17k.com/'html = a + hrefurl.append(html)return url
html_list = novel()
def write_(html_list):b = 0for html in html_list:res = requests.get(html)res.encoding = 'utf8'#red = re.compile('<p>(.*?)</p>')#result = re.findall(red,rec)tree1 = etree.HTML(res.text)#b_list = tree1.xpath('//html/body/div[@class="area"]/div[@class="read"]/div[@class="readArea"]/div[@class="readAreaBox content"]/div[@class="p"]/p/text()')  b_list = tree1.xpath('//html/body/div[@class="area"]/div[2]/div[2]/div[1]/div[2]/p/text()')  txt = str(b_list)#print(txt)b += 1with open('D:\\novel\\'+str(b)+'.txt',mode='w') as f:f.write(txt) if __name__ == "__main__":x = int(len(html_list)/2)p1 = multiprocessing.Process(target=write_,args=(html_list[0:x],))p2 = multiprocessing.Process(target=write_,args=(html_list[x:],))p1.start()p2.start()p1.join()p2.join()print("Over")

HomeWorkDay05---下载小说相关推荐

Python 小把戏之下载小说
Python 小把戏之下载小说 #! /usr/bin/python3 # -*- coding: utf-8 -*- from bs4 import BeautifulSoup import sys ...
批量下载小说网站上的小说（python爬虫）
随便说点什么因为在学python,所有自然而然的就掉进了爬虫这个坑里,好吧,主要是因为我觉得爬虫比较酷,才入坑的. 想想看,你可以批量自动的采集互联网上海量的资料数据,是多么令人激动啊! 所以我就被 ...
python tkinter下载器_下载小说还要去找网站？Python使用tkinter打造一个小说下载器...
前言今天教大家用户Python GUI编程--tkinter 打造一个小说下载器,想看什么小说,就下载什么小说先看下效果图 Tkinter 是使用 python 进行窗口视窗设计的模块.Tkint ...
Python3 网络爬虫：下载小说的正确姿势
1 前言很多人学习python,不知道从何学起. 很多人学习python,掌握了基本语法过后,不知道在哪里寻找案例上手. 很多已经做案例的人,却不知道如何去学习更加高深的知识. 那么针对这三类人,我 ...
使用Python开发小说下载器，不再为下载小说而发愁 #华为云·寻找黑马程序员#
需求分析免费的小说网比较多,我看的比较多的是笔趣阁.这个网站基本收费的章节刚更新,它就能同步更新,简直不要太叼.既然要批量下载小说,肯定要分析这个网站了- 在搜索栏输入地址后,发送post请求获取数 ...
爬虫代码分析（1）--下载小说
目录代码块代码剖析字符 \xa0 删除:.strip():分割:.split() join()方法: 解析库 find():find_all 传送门代码块 import requests im ...
Python爬虫实战——下载小说
Python爬虫实战--下载小说前言第三方库的安装示例代码效果演示结尾前言使用requests库下载开源网站的小说注意:本文仅用于学习交流,禁止用于盈利或侵权行为. 操作系统:wind ...
python编程免费小说_使用Python开发小说下载器，不再为下载小说而发愁
有点荒废这几天有点荒废,之前弃坑的网文<伏天氏>,这几天又给捡起来了.然后一发不可收拾的只想看小说,荒废了我的学习.在这里我要检讨啊..... 像我这样的穷人,看小说肯定是找免费的网站, ...
简单的分布式爬虫（下载小说）
最初下载小说的爬虫只有二十几行代码,虽然二十几行代码就可以完成这项工作,但是如果把爬虫的各个功能封装成不同的类,这样便于以后复用也便于阅读. 拓展之后,把刚开始下载小说的代码拓展成一个基础爬虫,但是这 ...
python3 Requests+Sqlite+Pyquery断点下载小说爬虫
爬取https://www.duquanben.com/小说实现断线之后继续从上次断开的章节下载. sqlite安装 https://www.sqlite.org/download.html ...

HomeWorkDay05---下载小说

HomeWorkDay05---下载小说相关推荐

最新文章

热门文章