爬取起点中文网的小说

运行无反应，也不报错，啥毛病??

import xlwt
import requests
from lxml import etree
import timeall_info_list=[]
def get_info(url):html=requests.get(url)selector=etree.HTML(html.text)infos=selector.xpath('//ul[@class="all_img_list cf"]/li')for info in infos:title=info.xpath('div[2]/h4/a/text()')[0]author=info.xpath('div[2]/p[1]/a[1]/text()')[0]style_1=info.xpath('div[2]/p[1]/a[2]/text()')[0]style_2=info.xpath('div[2]/p[1]/a[3]/text()')[0]style=style_1+'.'+style_2complete=info.xpath('div[2]/p[1]/span[1]/text()')introduce=info.xpath('div[2]/p[2]')[0].strip()word=info.xpath('div[2]/p[3]/span/span[1]/text()')[0].strip('万字')info_list=['title','author','style','complete','imtroduce','word']all_info_list.append(info_list)time.sleep(3)
if __name__=="__main__":urls=['https://www.qidian.com/all?page={}'.format(str(i)) for i in range(1,29655)]for url in urls:get_info(url)header=['title','author','style','complete','introduce','word'] book=xlwt.Workbook(encoding='utf-8')sheet=book.add_sheet('Sheet1')for h in range(len(header)):sheet.write(0,h,header[h])i=1for list in all_info_list:j=0for data in list:sheet.write(i,j,data)j+=1i+=1
book.save('H:/python/xiaoshuo.xls')

爬取起点中文网的小说相关推荐

python爬虫怎么爬小说_Python 新手] 爬虫练习：爬取起点中文网的小说排行并存入 excel 表格中...
使用的 python 库 1.request 库,用于向服务器发起请求信息. 2.lxml 库,用于解析服务器返回的 HTML 文件. 3.time 库,设置爬取时间差,防止短时间内多次页面请求而被限 ...
python 爬虫抓取网页数据导出excel_Python爬虫|爬取起点中文网小说信息保存到Excel...
前言: 爬取起点中文网全部小说基本信息,小说名.作者.类别.连载\完结情况.简介,并将爬取的数据存储与EXCEL表中环境:Python3.7 PyCharm Chrome浏览器主要模块:xlwt ...
python爬虫之爬取起点中文网小说
python爬虫之爬取起点中文网小说 hello大家好,这篇文章带大家来制作一个python爬虫爬取阅文集团旗下产品起点中文网的程序,这篇文章的灵感来源于本人制作的一个项目:电脑助手启帆助手 ⬆是项 ...
Python爬虫之爬取起点中文网
python之爬取起点中文网最近学了爬虫,想实战一下就选取了最近经常看小说的起点中文网来进行爬取过程如下: 分析爬取信息: 爬取网址:https://www.qidian.com/rank?chn ...
scrapy爬取起点中文网24小时热销榜单
系列文章目录第一章 scrapy爬取起点中文网24小时热销榜单. 文章目录系列文章目录前言一.项目需求二.项目分析三.程序编写 1.编写item(数据存储) 2.编写spider(数据抓取 ...
scrapy 爬取起点中文网首页的本周强推作品的详情介绍
scrapy 爬取起点中文网首页的每周强推作品的详情介绍从列表页跳转到详情页保存的数据封面图小说名作者类型简介 import scrapy# 起点首页本周推荐 class Weektj ...
Go爬取起点中文网解决文字反爬
Go语言的爬虫库不如Python强大,却也五脏俱全. 今天我们分析如何爬取起点中文网数据,以及遇到反爬如何处理. 作品链接:http://www.365yg.com/i6678092837810078 ...
Scrapy 爬取起点中文网存储到 MySQL 数据库（自定义 middleware）
Scrapy 爬取起点中文网 1. 创建项目 2. 创建爬虫实例 3. 创建一个启动文件 main.py 4. 项目的总体树结构 5. settings.py 6. items.py 7. qidia ...
python爬虫之爬取起点中文原创小说排行榜
学习python有段时间了,最近做了一个网上爬虫工具爬取起点中文原创小说排行榜数据,作为最近学习python的一个阶段性成果. 工具对于做网络爬虫工具经常用到的就是chrome浏览器,主要用于抓取网 ...

爬取起点中文网的小说

爬取起点中文网的小说相关推荐

最新文章

热门文章